spiderfetch gratis python-gebaseerde webspin
Download nu

spiderfetch Rangschikking & Samenvatting

spiderfetch Tags

ophalen webspin kruipen Web Crawler spin Fetch-website

spiderfetch Beschrijving

Gratis python-gebaseerde webspin Spiderfetch is een gratis modulaire webspin aangedreven door recepten bestaande uit reguliere uitdrukkingen. Spiderfetch begon als een hulpmiddel om alle links op een webpagina te spinnen, maar beetje bij beetje werd een volledig geblazen webspin.Spiderfetch is nu meer een reeks gereedschappen die op zichzelf kunnen worden gebruikt, zoals de spin en de fetcher . De hele suite is geschreven in pure python (voorheen Ruby) en vereist geen afhankelijkheden. Hier zijn enkele belangrijke kenmerken van "Spiderfetch": · Spiders de pagina voor alles wat eruit ziet als een URL. · Mogelijkheid om URL's te filteren voor een reguliere expressie (houd er rekening mee dat dit nog steeds Ruby's Regex is, dus. * Om elk personage aan te passen, niet * zoals in bestand globbing, (TRUE | FALSE) voor de keuze enzovoort.) · Downloadt alle URL's serieel of voert u gewoon uit op het scherm (met - dump) als u wilt filteren / sorteren / etc. · Kan een bestaand indexbestand (met - gebruikteindex) gebruiken, maar dan als er relatieve koppelingen zijn onder de URL's, hebben ze nabewerking nodig, omdat het pad van de indexpagina op de server niet bekend is nadat het is opgeslagen nadat het is opgeslagen lokaal. · Gebruikt wget intern en relais ook de uitvoer. Ondersteunt HTTP-, HTTPS- EN FTP-URL's. · Semantiek consistent met voor URL in URL's; Do wget $ URL ... Download geen voltooide bestanden, hervat de downloads, probeert onderbroken transfers. Vereisten: · Python Beperkingen: · Niet gegarandeerd om elke laatste URL te vinden, hoewel de matching behoorlijk mild is. Als je een bepaalde URL niet kunt matchen, zit je nog steeds vast met grep en sed. · Als u zelf in de browser uzelf moet authenticeren om uw mediabestanden te kunnen downloaden, kan SpiderFETCH ze niet downloaden (zoals bij WGET in het algemeen). Alles is echter niet verloren. Als de URL's FTP of de webserver eenvoudige authenticatie gebruikt, kunt u ze nog steeds plaatsen naar: FTP: // Gebruikersnaam: wachtwoord@the.rest.of.the.url, hetzelfde voor http.

spiderfetch Gerelateerde software