Hadoop Ontwikkel eenvoudig apps die in staat zijn om enorme hoeveelheden gegevens te verwerken
Download nu

Hadoop Rangschikking & Samenvatting

Hadoop Tags

werkwijze ontwikkelen data Processor Cluster Development TROS Mapreduce-ontwikkeling

Hadoop Beschrijving

Gemakkelijk te ontwikkelen apps die in staat is de verwerking van grote hoeveelheden gegevens Hadoop is een softwareplatform waarmee men gemakkelijk te schrijven en uitvoeren van applicaties die grote hoeveelheden data.Hadoop werktuigen MapReduce, met behulp van de Hadoop Distributed File System (HDFS) te verwerken. MapReduce zal uw toepassingen te verdelen in vele kleine blokken work.HDFS maakt meerdere replica's van datablokken voor de betrouwbaarheid, het plaatsen van hen op compute nodes rond de cluster. MapReduce kan dan verwerken de gegevens waar het wordt located.Hadoop is aangetoond op clusters met 2000 nodes. Het huidige ontwerp doel is 10.000 knooppunt clusters. Hier zijn een aantal belangrijke eigenschappen van "Hadoop": · Scalable: Hadoop betrouwbaar kunnen opslaan en verwerken petabytes. · Zuinig: Het verdeelt de gegevens en de verwerking over clusters van algemeen beschikbare computers. Deze clusters kunnen tellen in de duizenden nodes. Efficiënte: Door het verdelen van de gegevens kan Hadoop verwerken parallel aan knooppunten waar de gegevens zich bevinden. Dit maakt het uiterst snel. · Betrouwbaar: Hadoop houdt automatisch meerdere kopieën van data en automatisch redeploys computertaken op basis van mislukkingen. Wat is er nieuw in deze release: · Deeltaak · - Verwijder commons afhankelijkheid commons-cli2 · Beestje · - API schakel in Forrest doc moet verwijzen naar dezelfde versie van Hadoop. · - hadoop fs -help moet een lijst van gedetailleerde hulp informatie voor de volgende opdrachten: test, tekst, staart, stat en touchz · - Document JobInitializationPoller configuratie capaciteit scheduler Forrest documentatie. · - Document TaskTracker's memory management functionaliteit en CapacityScheduler geheugen gebaseerde planning. · - Verminder Taakvoortgang shows> 100% wanneer de totale omvang van de kaart uitgangen (voor één reductiedeel) hoog · - BZip2CompressionOutputStream NullPointerException · - Bij de voor een pad grootte -1, LocalDirAllocator.getLocalPathForWrite mislukt met een DiskCheckerException wanneer de schijf selecteert slecht. · - Recovery duur aangegeven op de jobtracker webpagina is onjuist · - o.a.h.mapred.Merger het niet handhaven kaart uit compressie op tijdelijke bestanden · - Job wordt achtergelaten in Running staat na een killJob · - Mogelijke NPE in CapacityScheduler's MemoryMatcher · - TestQueueCapacities faalt Hudson test voor de laatste paar bouwt · - Niet in staat om gridmix.jar genereren op de reeds gecompileerde versie van Hadoop · - TestReplicationPolicy. mislukt op java.net.BindException · - TestMRServerPorts mislukt op java.net.BindException · - HftpFileSystem.getChecksum (..) werkt niet voor de paden met regeling en autoriteit · - org.apache.hadoop.mapreduce.Reducer mag niet abstract zijn. · - Change Namenode file close log naar info · - Capacity Planner mag niet controleren op de aanwezigheid van standaard wachtrij tijdens het opstarten. · - Jobs is mislukt tijdens job initialisatiesleutelwoord nooit uit Capacity planners wachtlijst verwijderd · - Update CapacityScheduler documentatie naar de meest recente wijzigingen te weerspiegelen · - Fouten aangetroffen in MROutputThread na de laatste kaart / call te verminderen kan onopgemerkt blijven · - DFS Write pijpleiding niet defect datanode goed detecteren in sommige gevallen (Hadoop-3339) · - Gebruik absolute pad voor mapred.local.dir JobTracker in MiniMRCluster · - kaart / verminderen werkt niet banen met 0 kaarten · - mapred metrics shows negatieve telling van het wachten kaarten en vermindert · - TestQueueCapacitisues.apache.org/jjira/browse/HADOOP-OP-6017] - NameNode en SecondaryNameNode niet opnieuw op te starten als gevolg van abnormale bestandsnamen. · - Meerdere bugs w / Hadoop archieven · - Onvolledige hulp melding wordt weergegeven voor rm en RMR opties. · - hadoop 0.20 branch "test-patch" is gebroken · - geen foutmelding voor het verwijderen van niet-bestaand bestand of map. · - fix GenericOptionParser te behandelen met -D '=' de waarde · Verbetering · - Verwijder voorkooprecht van de capaciteit scheduler codebasis · Nieuwe functie · - New binair bestandsformaat · - Metric om het aantal fs.exists (of het aantal getFileInfo) tonen oproepen · - Behandeling van Trash met quota

Hadoop Gerelateerde software