Methabot Een gratis webcrawler en opdrachtregelopleiding geoptimaliseerd voor snelheid
Download nu

Methabot Rangschikking & Samenvatting

Methabot Tags

filter crawler kruipen Web Crawler Website Crawler URL-filter

Methabot Beschrijving

Een gratis webcrawler en opdrachtregelgereedschap geoptimaliseerd voor snelheid Methabot ondersteunt scripted filetype parsing, een grote verscheidenheid aan maatwerkingsopties en is eenvoudig geconfigureerd om te passen op anyes-specifieke behoeften. Methabot is gericht op extensibiliteit en maatwerk. Het wordt ontwikkeld voor een hoge modulariteit en wordt geleverd met JavaScript als scriptingtaal. Met het gebruik van het modulesysteem en de scriptaal, kunnen gebruikers volledige of gedeeltelijke controle van het kruipende proces nemen en bepalen, maar methabot moet webgegevens, statistieken en nog veel meer opslaan. Gewoon door methabot uit de opdrachtregel te gebruiken, configureert u aangepaste filetypen, filtering uitdrukkingen, gedrag en nog veel meer, dus u hoeft geen scripters te zijn! Methabot is draagbaar en getest met succes op Mac OS X, 32-bits / 64-bit Linux 2.6, 32-bits / 64-bits FREBSD 6.X / 7.0 en Windows XP. Zou moeten werken aan bijna elk unix-achtig besturingssysteem. Hier zijn enkele belangrijke kenmerken van "Methabot": · Het is snel, ontworpen van de grond en omhoog met snelheid-optimalisatie in gedachten. · Schriftbaar via E4X · Door de gebruiker gedefinieerde filetype filteren (volgens MIME-type, bestandsextensie of UMEX-expressie) · Meerdradig · Zeer configureerbaar vanaf de opdrachtregel · Extensible module-systeem, ondersteuning van aangepaste dataparsers en filters. · Eenvoudig maar krachtig filtering van URL's via Umex. · Geautomatiseerde download · Ondersteuning voor automatische cookieafhandeling bij het uitvoeren van HTTP · Betrouwbaar, fout-tolerant netwerken Wat is er nieuw in deze release: · Ondersteuning voor het omzetten tussen tekencoderingen via Libiconv · Nieuwe parser UTF8CONV voor het converteren van bijna elk karakter dat codeert voor UTF8 · Nieuwe parser-entiteitConv, converteert HTML-entiteiten zoals Ä naar de · Overeenkomstig UTF-8-teken · Het configuratiesysteem is verplaatst naar een afzonderlijke bibliotheek, libmethaconfig · Verschillende verbeteringen aan de configuratievlader, zoals dynamisch toevoegen · En veranderende klassen en scopes · Veel geheugengebruiksoptimalisaties en opruimen · De documentatie die beschikbaar is in de Wiki is gekopieerd naar een Texinfo-bestand, · Vanaf nu wordt alle documentatie in dit Texinfo-bestand geplaatst en beschikbaar · Als handmatig zowel online als offline · Ondersteuning voor filetypie-kenmerken. Parsers kunnen nu aangepaste gegevens instellen die dat doen · Worden geassocieerd met een geparseerd bestand. Attributen 'primair gebruiksgebied is wanneer u · Zijn verbonden met een methanolsysteem en willen meta-gegevens over een URL opslaan. · Nieuwe JavaScript-functie SET_ATTRIBUT () voor het instellen van attributen voor de · Huidige URL · API-ondersteuning voor aangepaste status, fout / waarschuwings- en doelrapporteerfuncties · LMETHA_GLOBAL_SETOPT () is niet langer beschikbaar, vervangen door LMETHA_SETOPT () · Opties · Spidermonkey-1.8.0 Ondersteuning toegevoegd · Nieuwe Global JavaScript-functie Exec () · Nieuwe ingebouwde handlerfunctie Wrifefile · Libmetha is niet langer afhankelijk van Libev, maar gebruikt in plaats daarvan leidingen en epoll () voor · Inter-thread communicatie en wachten op evenementen op sockets. · Toegevoegd interne tellers die nuttig zijn voor het houden van statistieken · Nieuwe filetype-optie 'ignore_host' · --Externale optie ingesteld op false kan niet langer worden omzeild met behulp van een http- · Doorverwijzing · Ondersteuning voor Curie (waarom niet?) In de ingebouwde HTML-parser toegevoegd · Bugfix, een syntaxisfout zou in sommige zeldzame gevallen optreden bij het parseren van gehele getal · Waarden in configuratiebestanden · Bugfix in het configuratiebestand PARDER bij het lezen van vlagwaarden · Bugfix, wanneer JavaScript-filetype parsers geen waarde terugkeerden, was het · Behandeld als een tekenreeks, "undefined", en gebruikt als een relatieve URL

Methabot Gerelateerde software