Www :: Schraper :: Lite Een raamwerk voor het schrapen van resultaten van zoekmachines
Download nu

Www :: Schraper :: Lite Rangschikking & Samenvatting

Www :: Schraper :: Lite Tags

domein Perl-module Http perl domein schraper HTTP schraper

Www :: Schraper :: Lite Beschrijving

Een raamwerk voor het schrapen van resultaten van zoekmachines Www :: Scraper :: Lite is een HTTP-schrapermodule geschreven in Perl.Synopsis My $ Domain = 'http: //devsite.local/'; Mijn $ Scraper = www :: Schraper :: Lite-> Nieuw (); $ Scraper-> Crawl ($ domein, {'// a' => sub {# handler voor alle 'A' tags mijn ($ schraper, $ knooppunten) = @_; $ Scraper-> Enquumue (grep {$ _ = ~ m {^ $ domein}} # alleen deze domeinkaart {$ Scraper-> URL_Remove_anchor ($ _)} # Alleen indexpagina's zonder #anchor kaart {$ Scraper-> URL_MAKE_ABSOLUTE ($ _)} # Indexer heeft absolute URLS-kaart nodig $ _-> {href}} # Trek Href uit de 'A' DOM-knooppunt @ {$ knooppunten});}, '/ *' => sub {# handler voor alle inhoud My ($ Scraper, $ NODEN) = @_; Print $ Scraper -> {actueel} -> {reactie} -> Inhoud; # Doe iets bruikbaar met HTTP-reactie},}); Vereisten: · Perl · streng · WAARSCHUWINGEN · LWP :: Useragent · HTML :: TreeBuilder :: XPath

Www :: Schraper :: Lite Gerelateerde software