Sitemapcrawler

Console-toepassing die alle URL's in Sitemap.xml-bestand chacken
Download nu

Sitemapcrawler Rangschikking & Samenvatting

Advertentie

  • Rating:
  • Vergunning:
  • Freeware
  • Naam uitgever:
  • Summer Son
  • Uitgever website:
  • http://www.codeproject.com/Members/Summer-son
  • Besturingssystemen:
  • Windows All
  • Bestandsgrootte:
  • 47 KB

Sitemapcrawler Tags


Sitemapcrawler Beschrijving

Het programma Sitemapcrawler is ontwikkeld om een console-applicatie te zijn die alle URL's in Sitemap.xml-bestand chacken. Heb je ooit gedacht om te proberen elke URL in je Sitemap-bestand te valideren? Ik heb een site met dynamisch gegenereerde pagina links. Die links worden gegenereerd op basis van een paginatitel die elke combinatie van letters, cijfers en symbolen kan zijn. Natuurlijk verwijdert de site alle verboden karakters uit de paginatitel voordat u zijn URL genereert, trimt en het een beetje verkort ... hoe fouten nog steeds van tijd tot tijd voorkomen. Een pagina met een titel: '' ... is_broken '' '' '' '' '' '' '' '' '' 'Wegens My URL-conversiespecifiek hebben de volgende URL: /.is_broken+ Er zijn duizenden pagina's, dus het is duidelijk dat ik het niet kan verifiëren Elke afzonderlijke pagina die de database van de site bevat.Based op een lijst met dynamisch gegenereerde URL's die ik een sitemap.xml-bestand genereer. Die alle sitepagina's bevat. Dus elke keer dat een kaartbestand wordt gegenereerd, moet ik ervoor zorgen dat er geen herhalingsitems zijn (dit kan gebeuren als verschillende pagina's dezelfde titels hebben) en elke afzonderlijke URL is toegankelijk, dat wil zeggen geen slecht verzoek of 404 of iets dergelijks produceert Dat heb ik een C # -programma gemaakt dat door elke URL loopt die wordt vermeld in het bestand Sitemap.xml en probeert er toegang toe te hebben. Het logt dat alle fouten zijn opgetreden in een uitvoerbestand, dus het is gemakkelijk om probleempagina's te volgen. Ik gebruik Xmldocument-klasse voor het laden van een sitemap.xml; Webrequest en Webresponse-lessen voor het bepalen of een URL bestaat.


Sitemapcrawler Gerelateerde software

RSDL

Geautomatiseerde batch-download van bestanden van Rapidshare.com ...

224 6.8 MB

Downloaden