Varken Een dataflow-programmeeromgeving voor het verwerken van zeer grote bestanden
Download nu

Varken Rangschikking & Samenvatting

Varken Tags

analyseren werkwijze programmeeromgeving dataset Dataset Analyzer Dataset-processor

Varken Beschrijving

Een dataflow-programmeeromgeving voor het verwerken van zeer grote bestanden Varken is een open source en een gratis platform voor het analyseren van grote datasets die bestaan uit een taal op hoog niveau voor het uitdrukken van gegevensanalyse-programma's, in combinatie met infrastructuur voor het evalueren van deze programma's. Het opvallende eigendom van varkensprogramma's is dat hun structuur vatbaar is voor substantiële parallelisatie, die in de beurt hen in staat stelt om zeer grote gegevenssets om te gaan. De huidige tijd, varkensinfrastructuurlaag bestaat uit een compiler die reeksen van kaart-verminderingsprogramma's produceert, voor Welke grootschalige parallelle implementaties bestaan al (bijv. Het hadoop subproject). De taallaag van het varken bestaat momenteel uit een tekstuele taal genaamd Pig Latin, die de volgende sleuteleigenschappen heeft: · Gemak van programmering. Het is triviaal om parallelle uitvoering van eenvoudige, "beschambare parallelle" data-analyse-taken te bereiken. Complexe taken bestaande uit meerdere onderling verbonden data-transformaties worden uitdrukkelijk gecodeerd als gegevensstroomsequenties, waardoor ze gemakkelijk kunnen schrijven, begrijpen en onderhouden. · Optimalisatie kansen. De manier waarop taken zijn gecodeerd, maakt het systeem mogelijk om hun uitvoering automatisch te optimaliseren, zodat de gebruiker zich kan concentreren op semantiek in plaats van efficiëntie. · Extensibiliteit. Gebruikers kunnen hun eigen functies maken om de verwerking van speciale doeleinden te doen. Vereisten: · Java 1.6.x of later · Mier · Hadoop 0.18.x Wat is er nieuw in deze release: · De belangrijkste focus van deze release is multiquery-ondersteuning die het mogelijk maakt om meerdere query's te optimaliseren in hetzelfde script dat een berekening deelt.

Varken Gerelateerde software