Varken Een platform voor het analyseren van grote gegevenssets
Download nu

Varken Rangschikking & Samenvatting

Varken Tags

programmeren analys gegevens Data Analyzer programmebeoordelaar

Varken Beschrijving

Een platform voor het analyseren van grote datasets Varken is een project voor het analyseren van grote gegevenssets die bestaat uit een taal op hoog niveau voor het uitdrukken van gegevensanalyse-programma's, in combinatie met infrastructuur voor het evalueren van deze programma's. Het opvallende eigendom van varkensprogramma's is dat hun structuur vatbaar is voor substantiële parallelisatie, die in de beurt hen in staat stelt om zeer grote gegevenssets om te gaan. De huidige tijd, varkensinfrastructuurlaag bestaat uit een compiler die reeksen van kaart-verminderingsprogramma's produceert, voor Welke grootschalige parallelle implementaties bestaan al (bijv. Het hadoop subproject). De taallaag van het varken bestaat momenteel uit een tekstuele taal genaamd Pig Latin, die de volgende sleuteleigenschappen heeft: * Gereedschap van programmering. Het is triviaal om parallelle uitvoering van eenvoudige, "beschambare parallelle" data-analyse-taken te bereiken. Complexe taken bestaande uit meerdere onderling verbonden data-transformaties worden uitdrukkelijk gecodeerd als gegevensstroomsequenties, waardoor ze gemakkelijk kunnen schrijven, begrijpen en onderhouden. * Optimalisatie kansen. De manier waarop taken zijn gecodeerd, maakt het systeem mogelijk om hun uitvoering automatisch te optimaliseren, waardoor de gebruiker kan focussen op semantiek in plaats van efficiëntie. * Extensibiliteit. Gebruikers kunnen hun eigen functies maken om de verwerking van speciale doeleinden te doen. Wat is er nieuw in deze release: · Deze release bevat prestatie- en geheugengebruiksverbeteringen, voegt de accumulatorinterface voor UDF's toe en bevat veel bugfixes. · Deze release werkt met Hadoop 0.20.

Varken Gerelateerde software