pydoop Een Python MapReduce en HDFS API voor Hadoop
Download nu

pydoop Rangschikking & Samenvatting

pydoop Tags

Python-bibliotheek Python Mapreduce

pydoop Beschrijving

Pydoop is een Python Mapreduce en HDFS API voor Hadoop. Pydoop gebouwd als een wikkel rond de C ++ API, kunt u full-flutig mapreduct-toepassingen met HDFS-toegang ontwikkelen. Hier is hoe u een standaard Python WordCount met PyDoop Schrijft: van Pydoop.Pipes Import Mapper, Reducer, Fabriek, Runtaskclass WordCountMapper (Mapper): Def Map (Zelf, Context): Woorden = context.getInputValue (). Split () voor W in woorden: context.emit (w, "1") Klasse Wordcountreducer (Reducer): DEF Minder (Zelf, Context): S = 0 Terwijl Context.NextValue (): S + = INT (context.getInputValue ()) Context. Emit (context.getInputkey (), Str (en)) Runtask (fabriek (WordCountMapper, WordCountreducer)) of, voor eenvoudige taken zoals het tellen van Word U kunt het Pydoop_Script-tool proberen. Dan zou uw code worden: Def Mapper (K, Tekst, Schrijver): voor Word in Text.SPLIT (): Writer.emit (Word, 1) Def Reducer (Word, Count, Writer): Writer.emit (Word, Sum (Kaart (INT, COUNT))) De startpagina van het product

pydoop Gerelateerde software