Webgraph WebGraph is een raamwerk om de webgrafiek te bestuderen.
Download nu

Webgraph Rangschikking & Samenvatting

Webgraph Tags

kader Web Framework studie webgrafiek bestuderen webgrafiek WebGraph

Webgraph Beschrijving

Webgraph is een raamwerk om de webgrafiek te bestuderen. Webgraph is een raamwerk om de webgrafiek te bestuderen. WebGraph biedt eenvoudige manieren om zeer grote grafieken te beheren, die moderne compressietechnieken exploiteren. Meer juist, is het momenteel gemaakt van: 1. Een reeks vlakke codes, die codes worden genoemd, die met name geschikt zijn voor het opslaan van webgrafieken (of, in het algemeen, gehele getallen met machtsverdeling in een bepaald exponentbereik). Het feit dat deze codes goed werken, kan gemakkelijk empirisch worden getest, maar we proberen ook een gedetailleerde wiskundige analyse te verstrekken. 2. Algoritmen voor het compressie van webgrafieken die de gapcompressie en referentiatie (? LA-link), interalisatie en codes gebruiken om een hoge compressieverhouding te verschaffen: bijvoorbeeld de webbase grafiek (2001 crawl) wordt gecomprimeerd bij 3,08 bits per link, en een momentopname Van ongeveer 18.500.000 pagina's van het .uk-domein dat wordt verzameld door Ubicrawler, worden gecomprimeerd bij 2,22 bits per koppeling (de overeenkomstige cijfers voor de getranspileerde grafieken zijn 2,89 bits per link en 1,98 bits per link). De algoritmen worden gecontroleerd door verschillende parameters, die verschillende afwegingen verschaffen tussen toegangsnelheid en compressieverhouding. 3. Algoritmen voor toegang tot een gecomprimeerde grafiek zonder het daadwerkelijk te decomprimeren, met behulp van luie technieken die de decompressie vertragen totdat het eigenlijk nodig is. 4. Een volledige, gedocumenteerde implementatie van de algoritmen hierboven in Java, vervat in het pakket it.unimi.dsi.webgraph. Naast een duidelijk gedefinieerde API bevat het pakket verschillende klassen die toestaan om (bijvoorbeeld Transpose) te wijzigen of een grafiek te herstellen, dus om te experimenteren met verschillende instellingen. Het pakket vertrouwt op FASTILIER voor een typespecifiek, hoogwaardig collecties Framework, op MG4J voor bit-level I / O, op de Colt-distributie voor kant-en-klare, efficiënte algoritmen en op GNU GetOPT voor lijnopdracht parseren. 5. Gegevenssets voor zeer grote grafiek (bijvoorbeeld een miljard koppelingen). Deze worden verzameld uit openbare bronnen (zoals webbase), of geproduceerd door Ubicrawler.in het einde, met WebGraph heeft u toegang tot en analyseer een zeer grote webgrafiek, zelfs op een pc met slechts 256 Mbytes RAM. Het gebruik van WebGraph is net zo eenvoudig als het installeren van een paar potbestanden en het downloaden van een dataset. Dit maakt het bestuderen van verschijnselen zoals Pagerank, distributie van grafiekeigenschappen van de webgrafiek, enz. Heel eenvoudig. Wat is er nieuw in deze release: · Een nieuw "compositie" -constructie maakt het mogelijk om (arc-gelabelde) grafieken te componeren.

Webgraph Gerelateerde software