hamelen Open Source Hadoop Merk utility
Download nu

hamelen Rangschikking & Samenvatting

hamelen Tags

werkwijze automatiseren dataset Dataset-proces processorautomatisering Dataset Automation

hamelen Beschrijving

Open Source Hadoop maakt utility Hamake is een gratis en open source-hulpprogramma waarmee u een incrementele verwerking van datasets wilt automatiseren die op HDF's zijn opgeslagen met behulp van Hadoop-taken die zijn geschreven in Java of met behulp van Piglatin-scripts. Datasets kunnen individuele bestanden of mappen zijn die groepen bestanden bevatten. Nieuwe bestanden kunnen worden toegevoegd (of verwijderd) op willekeurige locatie die de herberekening van gegevens kan activeren, afhankelijk van hen. Het is vergelijkbaar met UNIX 'MAKE' UTILITY.FIRST, u formuleert u het verwerkingsmodel in termen van gegevenslocaties (die kunnen worden gebruikt als ingangen of uitgangen) en taken. Taken twee typen taken die worden ondersteund (hoewel ze "kaart" worden ondersteund en "verminderen", maar ze mogen niet in de war zijn met Hadoop "MAP" en "Verkleinen"): Kaart - Dit een type taak dat een groep bestanden op één locatie op een andere locatie (s) kaarten. Deze taak veronderstelt 1 tot 1 bestandskaarten tussen locaties en kan ze incrementeel verwerken, alleen bestanden omzetten die aanwezig zijn op de bronlocatie, maar niet op alle bestemmingen. Vereisten: · Python 2.5 of later · Hadoop 0,18.3 of later · Hadooopthripserver (beschikbaar op de downloadpagina)

hamelen Gerelateerde software