python網路
在當今Python伺服器框架 (framework, 比如Django, Twisted, web.py等等) 橫行的時代，從底層的socket開始寫伺服器似乎是一個出力不討好的笨方法。框架的意義在於掩蓋底層的細節，提供一套對於開發人員更加友好的API，並處理諸如MVC的布局問題。框架允許我們快速的構建一個成型而且成熟的Python伺服器。然而，框架本身也是依賴於底層(比如socket)。對於底層socket的了解，不僅可以幫助我們更好的使用框架，更可以讓我們明白框架是如何設計的。更進一步，如果擁有良好的底層socket編程知識和其他系統編程知識，你完全可以設計並開發一款自己的框架。如果你可以從底層socket開始，實現一個完整的Python伺服器，支持用戶層的協議，並處理好諸如MVC(Model-View-Control)、多線程(threading)等問題，並整理出一套清晰的函數或者類，作為介面(API)呈現給用戶，你就相當於設計了一個框架。socket介面是實際上是操作系統提供的系統調用。socket的使用並不局限於Python語言，你可以用C或者JAVA來寫出同樣的socket伺服器，而所有語言使用socket的方式都類似(Apache就是使用C實現的伺服器)。而你不能跨語言的使用框架。框架的好處在於幫你處理了一些細節，從而實現快速開發，但同時受到Python本身性能的限制。我們已經看到，許多成功的網站都是利用動態語言(比如Python, Ruby或者PHP，比如twitter和facebook)快速開發，在網站成功之後，將代碼轉換成諸如C和JAVA這樣一些效率比較高的語言，從而讓伺服器能更有效率的面對每天億萬次的請求。在這樣一些時間，底層的重要性，就遠遠超過了框架。
② python網路編程
那個，conn.recv返回的是接收到的數據，不是數據長度！
file_size = str(conn.recv(1024))這句完全沒有意義
data = conn.recv(1024))
file_size = len(data)
這樣才是獲取數據長度，不過你的邏輯還是有問題，你第一次接收的數據給扔了。。。
③ 用python寫一些網路操作
python寫文件
代碼如下 復制代碼
object_id_list=[1, 3, 88, 99]
f=open(『mylist』, 「w」)
for id in object_id_list:
f.writelines(str(id))
f.close() #只有輸入這一句之後才會真正寫入到文件中
cat mylist
138899% # 最後有一個%表示沒有換行
>>> object_id_list=[1, 3, 88, 99]
>>> f=open(『mylist』, 「w」)
>>> for id in object_id_list:
… f.writelines(str(id) + 『＼n』)
…
>>> f.close()
➜ ~ cat mylist
1
3
88
99
例子2
代碼如下 復制代碼
def processFile(inputFile, outputFile): #定義一個函數
fin = open(inputFile, 'r') #以讀的方式打開文件
fout = open(outputFile, 'w') #以寫得方式打開文件
for eachLine in fin: #讀取文件的每一行
line = eachLine.strip().decode('utf-8', 'ignore') #去除每行的首位空格，並且將文件編碼轉換成Unicode編碼
outStr = line #我沒對讀入的文本進行處理，只是直接將其輸出到文件
fout.write(outStr.strip().encode('utf-8') + 'n') #去除首位的空格，並轉回到utf-8編碼，然後輸出
fin.close() #關閉文件
fout.close()
processFile('myinputFile.txt', 'myoutputFile.txt') #調用該函數對文件進行處理
注意：1、由於Python能夠很方便的對Unicode編碼進行處理，所以最好先轉換成Unicode編程進行處理；
2、由於讀入文本後進行處理，可能會在文本末尾加上空格，所以寫入文件的時候，最好先用strip()函數清除一下首位的空格；
我使用的是Linux環境，程序寫完之後，輸入：python test.py 就能執行該程序了。
讀文件
讀文本文件
input = open('data', 'r')
#第二個參數默認為r
input = open('data')
讀二進制文件
input = open('data', 'rb')
讀取所有內容
file_object = open('thefile.txt')
try:
all_the_text = file_object.read( )
finally:
file_object.close( )
讀固定位元組
file_object = open('abinfile', 'rb')
try:
while True:
chunk = file_object.read(100)
if not chunk:
break
do_something_with(chunk)
finally:
file_object.close( )
讀每行
list_of_all_the_lines = file_object.readlines( )
如果文件是文本文件，還可以直接遍歷文件對象獲取每行：
for line in file_object:
process line
3.寫文件
寫文本文件
output = open('data', 'w')
寫二進制文件
output = open('data', 'wb')
追加寫文件
output = open('data', 'w+')
寫數據
file_object = open('thefile.txt', 'w')
file_object.write(all_the_text)
file_object.close( )
寫入多行
file_object.writelines(list_of_text_strings)
注意，調用writelines寫入多行在性能上會比使用write一次性寫入要高。
在處理日誌文件的時候，常常會遇到這樣的情況：日誌文件巨大，不可能一次性把整個文件讀入到內存中進行處理，例如需要在一台物理內存為 2GB 的機器上處理一個 2GB 的日誌文件，我們可能希望每次只處理其中 200MB 的內容。
在 Python 中，內置的 File 對象直接提供了一個 readlines(sizehint) 函數來完成這樣的事情。以下面的代碼為例：
file = open('test.log', 'r')sizehint = 209715200 # 200Mposition = 0lines = file.readlines(sizehint)while not file.tell() - position < 0: position = file.tell() lines = file.readlines(sizehint)
每次調用 readlines(sizehint) 函數，會返回大約 200MB 的數據，而且所返回的必然都是完整的行數據，大多數情況下，返回的數據的位元組數會稍微比 sizehint 指定的值大一點（除最後一次調用 readlines(sizehint) 函數的時候）。通常情況下，Python 會自動將用戶指定的 sizehint 的值調整成內部緩存大小的整數倍。
file在python是一個特殊的類型，它用於在python程序中對外部的文件進行操作。在python中一切都是對象，file也不例外，file有file的方法和屬性。下面先來看如何創建一個file對象：
file(name[, mode[, buffering]])
file()函數用於創建一個file對象，它有一個別名叫open()，可能更形象一些，它們是內置函數。來看看它的參數。它參數都是以字元串的形式傳遞的。name是文件的名字。
mode是打開的模式，可選的值為r w a U，分別代表讀（默認） 寫 添加支持各種換行符的模式。用w或a模式打開文件的話，如果文件不存在，那麼就自動創建。此外，用w模式打開一個已經存在的文件時，原有文件的內容會被清空，因為一開始文件的操作的標記是在文件的開頭的，這時候進行寫操作，無疑會把原有的內容給抹掉。由於歷史的原因，換行符在不同的系統中有不同模式，比如在 unix中是一個n，而在windows中是『rn』，用U模式打開文件，就是支持所有的換行模式，也就說『r』 'n' 'rn'都可表示換行，會有一個tuple用來存貯這個文件中用到過的換行符。不過，雖說換行有多種模式，讀到python中統一用n代替。在模式字元的後面，還可以加上+ b t這兩種標識，分別表示可以對文件同時進行讀寫操作和用二進制模式、文本模式（默認）打開文件。
buffering如果為0表示不進行緩沖;如果為1表示進行「行緩沖「;如果是一個大於1的數表示緩沖區的大小，應該是以位元組為單位的。
file對象有自己的屬性和方法。先來看看file的屬性。
closed #標記文件是否已經關閉，由close()改寫
encoding #文件編碼
mode #打開模式
name #文件名
newlines #文件中用到的換行模式，是一個tuple
softspace #boolean型，一般為0，據說用於print
file的讀寫方法：
F.read([size]) #size為讀取的長度，以byte為單位
F.readline([size])
#讀一行，如果定義了size，有可能返回的只是一行的一部分
F.readlines([size])
#把文件每一行作為一個list的一個成員，並返回這個list。其實它的內部是通過循環調用readline()來實現的。如果提供size參數，size是表示讀取內容的總長，也就是說可能只讀到文件的一部分。
F.write(str)
#把str寫到文件中，write()並不會在str後加上一個換行符
F.writelines(seq)
#把seq的內容全部寫到文件中。這個函數也只是忠實地寫入，不會在每行後面加上任何東西。
file的其他方法：
F.close()
#關閉文件。python會在一個文件不用後自動關閉文件，不過這一功能沒有保證，最好還是養成自己關閉的習慣。如果一個文件在關閉後還對其進行操作會產生ValueError
F.flush()
#把緩沖區的內容寫入硬碟
F.fileno()
#返回一個長整型的」文件標簽「
F.isatty()
#文件是否是一個終端設備文件（unix系統中的）
F.tell()
#返迴文件操作標記的當前位置，以文件的開頭為原點
F.next()
#返回下一行，並將文件操作標記位移到下一行。把一個file用於for ... in file這樣的語句時，就是調用next()函數來實現遍歷的。
F.seek(offset[,whence])
#將文件打操作標記移到offset的位置。這個offset一般是相對於文件的開頭來計算的，一般為正數。但如果提供了whence參數就不一定了，whence可以為0表示從頭開始計算，1表示以當前位置為原點計算。2表示以文件末尾為原點進行計算。需要注意，如果文件以a或a+的模式打開，每次進行寫操作時，文件操作標記會自動返回到文件末尾。
F.truncate([size])
#把文件裁成規定的大小，默認的是裁到當前文件操作標記的位置。如果size比文件的大小還要大，依據系統的不同可能是不改變文件，也可能是用0把文件補到相應的大小，也可能是以一些隨機的內容加上去。
④ python畫網路圖的問題
可以用python的一個包networkx,在這里下載http://pypi.python.org/pypi/networkx/#downloads
安裝後，在python shell 里可以編寫如下代碼：
import networkx as nx
G=nx.Graph()
G.add_node("spam")
G.add_edge(1,2)
print(G.nodes())[1, 2, 'spam']
print(G.edges())[(1, 2)]
然後按F5執行，即可看到上面的圖。
⑤ Python 網路編程
你用到了recv(buffer_size),那麼你用的是TCP協議;tcp協議不同與udp,udp是一次發送,接收到就收到,沒收到就會丟棄,也就是掉包.tcp是分段發送的,沒記錯的話size是在16-4380之間,超過部分會再發,直到服務端收完,如果服務端只手一次的話,也就是說沒循環來接收,客戶端就會在下一次send前刪掉緩存區的數據.
看下下面的代碼,改成你的環境下看看列印出來的東西就知道了:
whileTrue:
print"waitingoftheclienttoconnect"
clt_conn_sock,addr=sock_svr.accept()
print'Connectedby',addr
comp_data=''#完整數據
whileTrue:
data=clt_conn_sock.recv(SIZE)
printdata#這里第一次列印時就是只接收一次的情況
ifnotdata:
break
comp_data+=data
clt_conn_sock.close()
ifnotcomp_data:
continue
printcomp_data
⑥ python檢測網路是否有網
importos
exit_code=os.system('pingwww..com>con')
ifexit_code:
raiseException('connectfailed.')
print("網路異常")
else:
print("網路正常")
⑦ python網路數據採集 用python寫網路爬蟲 哪個好
寫python爬蟲2年多了，主要用的scrapy。關於python3，還沒有開始學；在這方面，我算是傳統的。一直在思考什麼時候轉python3。我主要關注的是我常用的python庫是否支持，一旦支持，就立刻轉python3.從最早的django、MySQLdb、PIL（Pillow）不支持，但現在這三者都支持了。所以在做web項目的時候是可以直接用python3了。所以現在的計劃是今年下半年轉python3。
說回爬蟲。scrapy確實使用者眾，可惜還不支持python3。所以現在的爬蟲項目還是用python2.7。現在用著非常順手。我的思路是，用django開發業務邏輯，根據業務邏輯建立的model，用scrapy抓取。是的，我的項目將django和scrapy代碼放在一個repo了。也可以分開。另外，scrapy的調度使用的是celery，所有爬蟲的調度時間和頻率都是用celery控制的。django、scrapy、celery是我做開發的三大法器。
如果你不想使用scrapy等框架，像上面的回答一樣，用一些請求庫和解析庫也能搭建出來。但我傾向於用django、celery、scrapy搭建通用的抓取系統。簡單說，用django建立模型，scrapy做一些常用爬蟲，規則定義模塊；celery制定調度策略，可以非常快地建立一套系統。
⑧ python網路爬蟲可以幹啥
Python爬蟲開發工程師,從網站某一個頁面(通常是首頁)開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，然後通過這些鏈接地址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站，那麼網路蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。
網路爬蟲(又被稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者)，是一種按照一定的規則，自動的抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻，自動索引，模擬程序或者蠕蟲。爬蟲就是自動遍歷一個網站的網頁，並把內容都下載下來
⑨ 如何用python實現網路圖節點權重的添加以及如何把一個非連通的大網路圖分成多個小網路圖
networkx是python的一個庫，它為圖的數據結構提供演算法、生成器以及畫圖工具。近日在使用ryu進行最短路徑獲取，可以通過該庫來簡化工作量。該庫採用函數方式進行調用相應的api，其參數類型通常為圖對象。
函數API的調用，按照以下步驟來創建構建圖：
1.networkx的載入
在python中調用networkx通常只需要將該庫導入即可
import networkx as nx
2.圖對象的創建
networkx提供了四種基本圖對象：Graph，DiGraph，MultiGraph，MultiDiGraph。
使用如下調用方式，可以創建以上四種圖對象的空圖。
G=nx.Graph()
G=nx.DiGraph()
G=nx.MultiGraph()
G=nx.MultiDiGraph()
在 networkx中，圖的各個節點允許以哈希表對象來表示，而對於圖中邊的各個參量，則可以通過與邊相關聯的方式來標識，一般而言，對於權重，用weight作為keyword，而對於其他的參數，使用者可以採用任何除weight以外的keyword來命名。
3.在2中，創建的只是一副空圖，為了得到一個有節點、有邊的圖，一般採用下面這個函數：
1
2
G.add_edge(1,2) #default edge data=1
G.add_edge(1,2) #specify edge data=0.9
add_edge()函數，該函數在調用時需要傳入兩個參數u和v，以及多個可選參數
u和v即圖中的兩個節點，如果圖中不存在節點，在調用時會自動將這兩個節點添加入內，同時構建兩個節點之間的連接關系，可選參數通常指這條邊的權重等關系參量。需要注意的是，如果圖中已經存在了這條邊，重新進行添加時會對這條邊進行跟新操作（也就是覆蓋了原有的信息）。
對於該函數，除了上述的構建方式以外，還有以下幾種方式來創建邊：
1
2
3
G.add_edge(*e) # single edge as tuple of two nodes
G.add_edge(1, 3, weight=7, capacity=15, length=342.7) #using many arguements to create edge
G.add_edges_from( [(1, 2)] ) # add edges from iterable container
有時候，當採用默認方式創建邊以後，我們可能還會往邊裡面添加邊的相關參數，這時候，可以採用下面的方式來更新邊的信息：
1
2
3
4
5
#For non-string attribute keys, use subscript notation.
G.add_edge(1, 2)
G[1][2].update({0: 5}) #更新邊的信息
G.edges[1, 2].update({0: 5}) #更新邊的信息
#上述兩種更新方式，擇一選取即可
細心的朋友可能注意到我在寫創建圖的內容的時候，提到了add_edges_from（）函數，該函數也是用來創建邊的，該方式與add_edges()略有不同，比之add_edges()採用一個一個節點的方式進行創建，它來的更為便利。這個函數在調用時，需要一個節點元組作為參數以及多個可選參數作為邊的信息。你可以這么傳遞：
默認創建節點之間的邊：
1
G.add_edges_from([(u,v)])
也可以這么寫，在創建的同時添加信息：
1
G.add_edges_from([(3, 4), (1, 4)], label='WN2898')
通過上述方式，就構建了一個3-4-1的圖的連接，並給每條邊打上了標簽。
由此你就可以創建出自己的圖模型了。