 | MethabotBestandssysteem Crawler |
| Download nu | |
Methabot Rangschikking & Samenvatting
Advertentie
Methabot Tags
Methabot Beschrijving
Bestandssysteem Crawler De methabot-software is een snelheidsgeoptimaliseerd, schriftbaar en zeer configureerbaar Web-, FTP- en lokale bestandssysteemcrawler. Het ondersteunt scripted filetype parsing, een grote verscheidenheid aan maatwerkingsopties en is eenvoudig geconfigureerd om te voldoen aan anyes-specifieke behoeften. Met het gebruik van het modulesysteem en de script-taal kunnen gebruikers volledige of gedeeltelijke controle van het kruipende proces nemen en echter een methabot nemen Moet webgegevens, statistieken en nog veel meer opslaan door methabot uit de opdrachtregel te gebruiken, configureert u aangepaste filetypen, filtering uitdrukkingen, gedrag en nog veel meer, zodat u geen scriptor hoeft te zijn! Hier zijn enkele belangrijke kenmerken van "Methabot": · Het is snel, ontworpen van de grond en omhoog met snelheid-optimalisatie in gedachten. · Schriftbaar via JavaScript met E4X · Door de gebruiker gedefinieerde filetype filteren (volgens MIME-type, bestandsextensie of UMEX-expressie) · Meerdradig · Zeer configureerbaar vanaf de opdrachtregel · Extensible module-systeem, ondersteuning van aangepaste dataparsers en filters. · Eenvoudig maar krachtig filtering van URL's via Umex. · Geautomatiseerde download · Ondersteuning voor automatische cookieafhandeling bij het uitvoeren van HTTP · Betrouwbaar, fout-tolerant netwerken · Draagbaar, getest met succes op 32-bits / 64-bit Linux 2.6, 32-bits / 64-bits FreeBSD 6.x / 7.0, Windows XP en Mac OS X. zou moeten werken aan bijna elk unix-achtig besturingssysteem. Vereisten: · Spidermonkey headers · Krul en libcurl Wat is er nieuw in deze release: · Bugfix, wanneer extern-Peek werd gebruikt, was de diepteslimiet in de war. · Geheugengebruik opruimen · Dynamic-URL-optie is niet langer ingesteld op Lookup, omdat het de kruipen aanzienlijk vertraagt · Build-systeem creëert nu en installeert enkele header-bestanden die modules kunnen gebruiken bij het koppelen · Metha-config-tool toegevoegd · LMM_MYSQL verhuisde buiten dit pakket
Methabot Gerelateerde software
