pythonhadoop

① 如何使用python為Hadoop編寫一個簡單的MapRece程序

MichaelG.Noll在他的Blog中提到如何在Hadoop中用Python編寫MapRece程序，韓國的gogamza在其Bolg中也提到如何用C編汪瞎寫MapRece程序（我稍微修改了一下原程序,因為他的Map對單詞切分使用tab鍵）。我合並他們兩人的文章，也讓國內的Hadoop用戶能夠使用別的語言來編寫MapRece程序。首先您得配好您的Hadoop集群，這方面的介紹網上比較多，這兒給個鏈接（Hadoop學習筆記二安裝部署）。HadoopStreaming幫助返鋒我們用非java的編程語言使用MapRece，Streaming用STDIN(標准輸入)和STDOUT(標准輸出)來和我們編寫的Map和Rece進行數據的交換數據。任何能夠使用STDIN和STDOUT都可以用來編寫MapRece程序，比如我們用Python的sys.stdin和sys.stdout，或者是C中的stdin和stdout。我們還是使用Hadoop的例子WordCount來做示範如何編寫MapRece，在WordCount的例子中漏陵晌我們要解決計算在一批文檔中每一個單詞的出現頻率。首先我們在Map程序中會接受到這批文檔每一行的數據，然後我們編寫的Map程序把這一行按空格切開成一個數組。並對這個數組遍歷按"1"用標準的輸出輸出來，代表這個單詞出現了一次。在Rece中我們來統計單詞的出現頻率。PythonCodeMap:mapper.py#!/usr/bin/envpythonimportsys#={}#inputcomesfromSTDIN(standardinput)forlineinsys.stdin:#=line.strip()#=filter(lambdaword:word,line.split())#:#writetheresultstoSTDOUT(standardoutput);##Recestep,i.e.theinputforrecer.py##tab-delimited;thetrivialwordcountis1print'%s\t%s'%(word,1)Rece:recer.py#!/usr/bin/#={}#.stdin:#=line.strip()#parsetheinputwegotfrommapper.pyword,count=line.split()#convertcount(currentlyastring)tointtry:count=int(count)word2count[word]=word2count.get(word,0)+countexceptValueError:#countwasnotanumber,sosilently#ignore/discardthislinepass#sortthewordslexigraphically;##thisstepisNOTrequired,wejustdoitsothatour##wordcountexamplessorted_word2count=sorted(word2count.items(),key=itemgetter(0))#writetheresultstoSTDOUT(standardoutput)forword,countinsorted_word2count:print'%s\t%s'%(word,count)CCodeMap:Mapper.c#include#include#include#include#defineBUF_SIZE2048#defineDELIM"\n"intmain(intargc,char*argv[]){charbuffer[BUF_SIZE];while(fgets(buffer,BUF_SIZE-1,stdin)){intlen=strlen(buffer);if(buffer[len-1]=='\n')buffer[len-1]=0;char*querys=index(buffer,'');char*query=NULL;if(querys==NULL)continue;querys+=1;/*nottoinclude'\t'*/query=strtok(buffer,"");while(query){printf("%s\t1\n",query);query=strtok(NULL,"");}}return0;}h>h>h>h>Rece:Recer.c#include#include#include#include#defineBUFFER_SIZE1024#defineDELIM"\t"intmain(intargc,char*argv[]){charstrLastKey[BUFFER_SIZE];charstrLine[BUFFER_SIZE];intcount=0;*strLastKey='\0';*strLine='\0';while(fgets(strLine,BUFFER_SIZE-1,stdin)){char*strCurrKey=NULL;char*strCurrNum=NULL;strCurrKey=strtok(strLine,DELIM);strCurrNum=strtok(NULL,DELIM);/*necessarytocheckerrorbut.*/if(strLastKey[0]=='\0'){strcpy(strLastKey,strCurrKey);}if(strcmp(strCurrKey,strLastKey)){printf("%s\t%d\n",strLastKey,count);count=atoi(strCurrNum);}else{count+=atoi(strCurrNum);}strcpy(strLastKey,strCurrKey);}printf("%s\t%d\n",strLastKey,count);/*flushthecount*/return0;}h>h>h>h>首先我們調試一下源碼：chmod+xmapper.pychmod+xrecer.pyecho"foofooquuxlabsfoobarquux"|./mapper.py|./recer.pybar1foo3labs1quux2g++Mapper.c-oMapperg++Recer.c-oRecerchmod+xMapperchmod+xRecerecho"foofooquuxlabsfoobarquux"|./Mapper|./你可能看到C的輸出和Python的不一樣,因為Python是把他放在詞典里了.我們在Hadoop時,會對這進行排序,然後相同的單詞會連續在標准輸出中輸出.在Hadoop中運行程序首先我們要下載我們的測試文檔wget頁面中摘下的用php編寫的MapRece程序,供php程序員參考：Map:mapper.php#!/usr/bin/php$word2count=array();//inputcomesfromSTDIN(standardinput)while(($line=fgets(STDIN))!==false){//$line=strtolower(trim($line));//$words=preg_split('/\W/',$line,0,PREG_SPLIT_NO_EMPTY);//increasecountersforeach($wordsas$word){$word2count[$word]+=1;}}//writetheresultstoSTDOUT(standardoutput)////Recestep,i.e.theinputforrecer.pyforeach($word2countas$word=>$count){//tab-delimitedecho$word,chr(9),$count,PHP_EOL;}?>Rece:mapper.php#!/usr/bin/php$word2count=array();//inputcomesfromSTDINwhile(($line=fgets(STDIN))!==false){//$line=trim($line);//parsetheinputwegotfrommapper.phplist($word,$count)=explode(chr(9),$line);//convertcount(currentlyastring)toint$count=intval($count);//sumcountsif($count>0)$word2count[$word]+=$count;}//sortthewordslexigraphically////thissetisNOTrequired,wejustdoitsothatour////wordcountexamplesksort($word2count);//writetheresultstoSTDOUT(standardoutput)foreach($word2countas$word=>$count){echo$word,chr(9),$count,PHP_EOL;}?>作者：馬士華發表於：2008-03-05

② python和hadoop有什麼聯系

沒聯系python是一門動態語言,hadoop是一個分布式計算的框架,是用java寫的.他們是兩個層次的東西.如果說非要有聯系,就是python可以應用hadoop框架,做分布式盯如唯計算的開發.但是語言和框架,是可以自己拼裝的.java也可以使用hadoop開發分布式計算橡悉,python也可以用spark開發分布式計算,他們是松耦合的,可以自己根據需求搭凱培配

③ CentOS7安裝pyspark(python3)

本文檔詳細記錄了在CentOS7的最小化系統虛擬機中安裝pyspark的步驟，涉及的版本均為2019年1月的最新版，包括Java 1.8.0，Hadoop 3.0.3，Python 3.7.2和Spark 2.4.0。

首先，從下載鏈接下載所有需要的軟體包，存儲在/root/download目錄下，然後在/usr/local目錄下進行安裝。在CentOS 7的配置中，要確保網路連接自動啟動，設置靜態IP，並安裝wget以進行後續操作。

安裝Java時，將下載的文件解壓到/usr/local/java，然後編輯環境變數文件。通過檢查是否顯示Java安裝成功，確認安裝過程已成功。

安裝Hadoop，將文件解壓到/usr/local/hadoop，編輯環境變數，配置文件中的路徑和用戶設置，初始化HDFS文件系統，創建hadoop3用戶，並設置SSH免密碼登錄。啟動HDFS和YARN後，可通過jps命令驗證服務運行，並關閉防火牆服務以允許外部訪問。

Python3的安裝則需要添加必要的軟體源，進行解壓和編譯，創建python3和pip3的軟鏈接，並確認安裝成功。編輯yum和urlgrabber-ext-down以適應Python3環境。

最後，編輯/etc/profile，為pyspark設置環境變數，啟動Spark後，看到Spark界面即表示安裝完成。

④ 如何在Hadoop環境下搭建Python

搭建 Python 環境在 Hadoop 上的步驟如下：

• 安裝 Hadoop：在你的計算機上安裝 Hadoop。

• 安裝 Python：請確保你的計孫拿算機上已經安裝了 Python。

• 配置 Hadoop 環境：編輯 Hadoop 的配置文件，以確保 Hadoop 可以與 Python 配合使用。

• 安裝相關模塊：請安裝所需的 Python 模塊，以便在 Hadoop 環境下使用 Python。

• 測試灶行 Python 安裝：請運行一些測試腳本，以確保 Python 可以在 Hadoop 環境下正常工作。

這些步驟可以幫助你在 Hadoop 環境下搭建 Python。請注意，具體的步驟可能因 Hadoop 的版本和環境而異，請仔細查則辯搭看相關文檔。