Crawler4j

Open Source Web Crawler voor Java
Download nu

Crawler4j Rangschikking & Samenvatting

Advertentie

  • Rating:
  • Vergunning:
  • Apache
  • Prijs:
  • FREE
  • Naam uitgever:
  • Yasser Ganjisaffar
  • Uitgever website:
  • http://www.ics.uci.edu/~yganjisa/
  • Besturingssystemen:
  • Mac OS X
  • Bestandsgrootte:
  • 29 KB

Crawler4j Tags


Crawler4j Beschrijving

Open Source Web Crawler voor Java Crawler4j is een open source en gratis Java Crawler die een eenvoudige interface biedt voor het kruipen van het web. Met Crawler4j kunt u een Web Crawler met meerdere draad instellen in 5 minuten! Crawler4j is zeer efficiënt ontworpen en heeft het vermogen om domeinen zeer snel te kruipen (bijvoorbeeld, het heeft 200 Wikipedia-pagina's per seconde kunnen kruipen). Aangezien dit echter tegen het kruipen van beleid is en enorme lading op servers plaatsen (en ze kunnen u blokkeren!), Sinds versie 1.3 wacht Crawler4j in standaard 200 milliseconden tussen verzoeken. Deze parameter kan worden afgestemd op de functie "SETPOLITESSDELAY" in de controller. Gedetailleerde gebruiksaanwijzing voor de Crawler4j Web Crawler zijn hier beschikbaar.


Crawler4j Gerelateerde software