python网络
在当今Python服务器框架 (framework, 比如Django, Twisted, web.py等等) 横行的时代，从底层的socket开始写服务器似乎是一个出力不讨好的笨方法。框架的意义在于掩盖底层的细节，提供一套对于开发人员更加友好的API，并处理诸如MVC的布局问题。框架允许我们快速的构建一个成型而且成熟的Python服务器。然而，框架本身也是依赖于底层(比如socket)。对于底层socket的了解，不仅可以帮助我们更好的使用框架，更可以让我们明白框架是如何设计的。更进一步，如果拥有良好的底层socket编程知识和其他系统编程知识，你完全可以设计并开发一款自己的框架。如果你可以从底层socket开始，实现一个完整的Python服务器，支持用户层的协议，并处理好诸如MVC(Model-View-Control)、多线程(threading)等问题，并整理出一套清晰的函数或者类，作为接口(API)呈现给用户，你就相当于设计了一个框架。socket接口是实际上是操作系统提供的系统调用。socket的使用并不局限于Python语言，你可以用C或者JAVA来写出同样的socket服务器，而所有语言使用socket的方式都类似(Apache就是使用C实现的服务器)。而你不能跨语言的使用框架。框架的好处在于帮你处理了一些细节，从而实现快速开发，但同时受到Python本身性能的限制。我们已经看到，许多成功的网站都是利用动态语言(比如Python, Ruby或者PHP，比如twitter和facebook)快速开发，在网站成功之后，将代码转换成诸如C和JAVA这样一些效率比较高的语言，从而让服务器能更有效率的面对每天亿万次的请求。在这样一些时间，底层的重要性，就远远超过了框架。
② python网络编程
那个，conn.recv返回的是接收到的数据，不是数据长度！
file_size = str(conn.recv(1024))这句完全没有意义
data = conn.recv(1024))
file_size = len(data)
这样才是获取数据长度，不过你的逻辑还是有问题，你第一次接收的数据给扔了。。。
③ 用python写一些网络操作
python写文件
代码如下 复制代码
object_id_list=[1, 3, 88, 99]
f=open(‘mylist’, “w”)
for id in object_id_list:
f.writelines(str(id))
f.close() #只有输入这一句之后才会真正写入到文件中
cat mylist
138899% # 最后有一个%表示没有换行
>>> object_id_list=[1, 3, 88, 99]
>>> f=open(‘mylist’, “w”)
>>> for id in object_id_list:
… f.writelines(str(id) + ‘＼n’)
…
>>> f.close()
➜ ~ cat mylist
1
3
88
99
例子2
代码如下 复制代码
def processFile(inputFile, outputFile): #定义一个函数
fin = open(inputFile, 'r') #以读的方式打开文件
fout = open(outputFile, 'w') #以写得方式打开文件
for eachLine in fin: #读取文件的每一行
line = eachLine.strip().decode('utf-8', 'ignore') #去除每行的首位空格，并且将文件编码转换成Unicode编码
outStr = line #我没对读入的文本进行处理，只是直接将其输出到文件
fout.write(outStr.strip().encode('utf-8') + 'n') #去除首位的空格，并转回到utf-8编码，然后输出
fin.close() #关闭文件
fout.close()
processFile('myinputFile.txt', 'myoutputFile.txt') #调用该函数对文件进行处理
注意：1、由于Python能够很方便的对Unicode编码进行处理，所以最好先转换成Unicode编程进行处理；
2、由于读入文本后进行处理，可能会在文本末尾加上空格，所以写入文件的时候，最好先用strip()函数清除一下首位的空格；
我使用的是Linux环境，程序写完之后，输入：python test.py 就能执行该程序了。
读文件
读文本文件
input = open('data', 'r')
#第二个参数默认为r
input = open('data')
读二进制文件
input = open('data', 'rb')
读取所有内容
file_object = open('thefile.txt')
try:
all_the_text = file_object.read( )
finally:
file_object.close( )
读固定字节
file_object = open('abinfile', 'rb')
try:
while True:
chunk = file_object.read(100)
if not chunk:
break
do_something_with(chunk)
finally:
file_object.close( )
读每行
list_of_all_the_lines = file_object.readlines( )
如果文件是文本文件，还可以直接遍历文件对象获取每行：
for line in file_object:
process line
3.写文件
写文本文件
output = open('data', 'w')
写二进制文件
output = open('data', 'wb')
追加写文件
output = open('data', 'w+')
写数据
file_object = open('thefile.txt', 'w')
file_object.write(all_the_text)
file_object.close( )
写入多行
file_object.writelines(list_of_text_strings)
注意，调用writelines写入多行在性能上会比使用write一次性写入要高。
在处理日志文件的时候，常常会遇到这样的情况：日志文件巨大，不可能一次性把整个文件读入到内存中进行处理，例如需要在一台物理内存为 2GB 的机器上处理一个 2GB 的日志文件，我们可能希望每次只处理其中 200MB 的内容。
在 Python 中，内置的 File 对象直接提供了一个 readlines(sizehint) 函数来完成这样的事情。以下面的代码为例：
file = open('test.log', 'r')sizehint = 209715200 # 200Mposition = 0lines = file.readlines(sizehint)while not file.tell() - position < 0: position = file.tell() lines = file.readlines(sizehint)
每次调用 readlines(sizehint) 函数，会返回大约 200MB 的数据，而且所返回的必然都是完整的行数据，大多数情况下，返回的数据的字节数会稍微比 sizehint 指定的值大一点（除最后一次调用 readlines(sizehint) 函数的时候）。通常情况下，Python 会自动将用户指定的 sizehint 的值调整成内部缓存大小的整数倍。
file在python是一个特殊的类型，它用于在python程序中对外部的文件进行操作。在python中一切都是对象，file也不例外，file有file的方法和属性。下面先来看如何创建一个file对象：
file(name[, mode[, buffering]])
file()函数用于创建一个file对象，它有一个别名叫open()，可能更形象一些，它们是内置函数。来看看它的参数。它参数都是以字符串的形式传递的。name是文件的名字。
mode是打开的模式，可选的值为r w a U，分别代表读（默认） 写 添加支持各种换行符的模式。用w或a模式打开文件的话，如果文件不存在，那么就自动创建。此外，用w模式打开一个已经存在的文件时，原有文件的内容会被清空，因为一开始文件的操作的标记是在文件的开头的，这时候进行写操作，无疑会把原有的内容给抹掉。由于历史的原因，换行符在不同的系统中有不同模式，比如在 unix中是一个n，而在windows中是‘rn’，用U模式打开文件，就是支持所有的换行模式，也就说‘r’ 'n' 'rn'都可表示换行，会有一个tuple用来存贮这个文件中用到过的换行符。不过，虽说换行有多种模式，读到python中统一用n代替。在模式字符的后面，还可以加上+ b t这两种标识，分别表示可以对文件同时进行读写操作和用二进制模式、文本模式（默认）打开文件。
buffering如果为0表示不进行缓冲;如果为1表示进行“行缓冲“;如果是一个大于1的数表示缓冲区的大小，应该是以字节为单位的。
file对象有自己的属性和方法。先来看看file的属性。
closed #标记文件是否已经关闭，由close()改写
encoding #文件编码
mode #打开模式
name #文件名
newlines #文件中用到的换行模式，是一个tuple
softspace #boolean型，一般为0，据说用于print
file的读写方法：
F.read([size]) #size为读取的长度，以byte为单位
F.readline([size])
#读一行，如果定义了size，有可能返回的只是一行的一部分
F.readlines([size])
#把文件每一行作为一个list的一个成员，并返回这个list。其实它的内部是通过循环调用readline()来实现的。如果提供size参数，size是表示读取内容的总长，也就是说可能只读到文件的一部分。
F.write(str)
#把str写到文件中，write()并不会在str后加上一个换行符
F.writelines(seq)
#把seq的内容全部写到文件中。这个函数也只是忠实地写入，不会在每行后面加上任何东西。
file的其他方法：
F.close()
#关闭文件。python会在一个文件不用后自动关闭文件，不过这一功能没有保证，最好还是养成自己关闭的习惯。如果一个文件在关闭后还对其进行操作会产生ValueError
F.flush()
#把缓冲区的内容写入硬盘
F.fileno()
#返回一个长整型的”文件标签“
F.isatty()
#文件是否是一个终端设备文件（unix系统中的）
F.tell()
#返回文件操作标记的当前位置，以文件的开头为原点
F.next()
#返回下一行，并将文件操作标记位移到下一行。把一个file用于for ... in file这样的语句时，就是调用next()函数来实现遍历的。
F.seek(offset[,whence])
#将文件打操作标记移到offset的位置。这个offset一般是相对于文件的开头来计算的，一般为正数。但如果提供了whence参数就不一定了，whence可以为0表示从头开始计算，1表示以当前位置为原点计算。2表示以文件末尾为原点进行计算。需要注意，如果文件以a或a+的模式打开，每次进行写操作时，文件操作标记会自动返回到文件末尾。
F.truncate([size])
#把文件裁成规定的大小，默认的是裁到当前文件操作标记的位置。如果size比文件的大小还要大，依据系统的不同可能是不改变文件，也可能是用0把文件补到相应的大小，也可能是以一些随机的内容加上去。
④ python画网络图的问题
可以用python的一个包networkx,在这里下载http://pypi.python.org/pypi/networkx/#downloads
安装后，在python shell 里可以编写如下代码：
import networkx as nx
G=nx.Graph()
G.add_node("spam")
G.add_edge(1,2)
print(G.nodes())[1, 2, 'spam']
print(G.edges())[(1, 2)]
然后按F5执行，即可看到上面的图。
⑤ Python 网络编程
你用到了recv(buffer_size),那么你用的是TCP协议;tcp协议不同与udp,udp是一次发送,接收到就收到,没收到就会丢弃,也就是掉包.tcp是分段发送的,没记错的话size是在16-4380之间,超过部分会再发,直到服务端收完,如果服务端只手一次的话,也就是说没循环来接收,客户端就会在下一次send前删掉缓存区的数据.
看下下面的代码,改成你的环境下看看打印出来的东西就知道了:
whileTrue:
print"waitingoftheclienttoconnect"
clt_conn_sock,addr=sock_svr.accept()
print'Connectedby',addr
comp_data=''#完整数据
whileTrue:
data=clt_conn_sock.recv(SIZE)
printdata#这里第一次打印时就是只接收一次的情况
ifnotdata:
break
comp_data+=data
clt_conn_sock.close()
ifnotcomp_data:
continue
printcomp_data
⑥ python检测网络是否有网
importos
exit_code=os.system('pingwww..com>con')
ifexit_code:
raiseException('connectfailed.')
print("网络异常")
else:
print("网络正常")
⑦ python网络数据采集 用python写网络爬虫 哪个好
写python爬虫2年多了，主要用的scrapy。关于python3，还没有开始学；在这方面，我算是传统的。一直在思考什么时候转python3。我主要关注的是我常用的python库是否支持，一旦支持，就立刻转python3.从最早的django、MySQLdb、PIL（Pillow）不支持，但现在这三者都支持了。所以在做web项目的时候是可以直接用python3了。所以现在的计划是今年下半年转python3。
说回爬虫。scrapy确实使用者众，可惜还不支持python3。所以现在的爬虫项目还是用python2.7。现在用着非常顺手。我的思路是，用django开发业务逻辑，根据业务逻辑建立的model，用scrapy抓取。是的，我的项目将django和scrapy代码放在一个repo了。也可以分开。另外，scrapy的调度使用的是celery，所有爬虫的调度时间和频率都是用celery控制的。django、scrapy、celery是我做开发的三大法器。
如果你不想使用scrapy等框架，像上面的回答一样，用一些请求库和解析库也能搭建出来。但我倾向于用django、celery、scrapy搭建通用的抓取系统。简单说，用django建立模型，scrapy做一些常用爬虫，规则定义模块；celery制定调度策略，可以非常快地建立一套系统。
⑧ python网络爬虫可以干啥
Python爬虫开发工程师,从网站某一个页面(通常是首页)开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。爬虫就是自动遍历一个网站的网页，并把内容都下载下来
⑨ 如何用python实现网络图节点权重的添加以及如何把一个非连通的大网络图分成多个小网络图
networkx是python的一个库，它为图的数据结构提供算法、生成器以及画图工具。近日在使用ryu进行最短路径获取，可以通过该库来简化工作量。该库采用函数方式进行调用相应的api，其参数类型通常为图对象。
函数API的调用，按照以下步骤来创建构建图：
1.networkx的加载
在python中调用networkx通常只需要将该库导入即可
import networkx as nx
2.图对象的创建
networkx提供了四种基本图对象：Graph，DiGraph，MultiGraph，MultiDiGraph。
使用如下调用方式，可以创建以上四种图对象的空图。
G=nx.Graph()
G=nx.DiGraph()
G=nx.MultiGraph()
G=nx.MultiDiGraph()
在 networkx中，图的各个节点允许以哈希表对象来表示，而对于图中边的各个参量，则可以通过与边相关联的方式来标识，一般而言，对于权重，用weight作为keyword，而对于其他的参数，使用者可以采用任何除weight以外的keyword来命名。
3.在2中，创建的只是一副空图，为了得到一个有节点、有边的图，一般采用下面这个函数：
1
2
G.add_edge(1,2) #default edge data=1
G.add_edge(1,2) #specify edge data=0.9
add_edge()函数，该函数在调用时需要传入两个参数u和v，以及多个可选参数
u和v即图中的两个节点，如果图中不存在节点，在调用时会自动将这两个节点添加入内，同时构建两个节点之间的连接关系，可选参数通常指这条边的权重等关系参量。需要注意的是，如果图中已经存在了这条边，重新进行添加时会对这条边进行跟新操作（也就是覆盖了原有的信息）。
对于该函数，除了上述的构建方式以外，还有以下几种方式来创建边：
1
2
3
G.add_edge(*e) # single edge as tuple of two nodes
G.add_edge(1, 3, weight=7, capacity=15, length=342.7) #using many arguements to create edge
G.add_edges_from( [(1, 2)] ) # add edges from iterable container
有时候，当采用默认方式创建边以后，我们可能还会往边里面添加边的相关参数，这时候，可以采用下面的方式来更新边的信息：
1
2
3
4
5
#For non-string attribute keys, use subscript notation.
G.add_edge(1, 2)
G[1][2].update({0: 5}) #更新边的信息
G.edges[1, 2].update({0: 5}) #更新边的信息
#上述两种更新方式，择一选取即可
细心的朋友可能注意到我在写创建图的内容的时候，提到了add_edges_from（）函数，该函数也是用来创建边的，该方式与add_edges()略有不同，比之add_edges()采用一个一个节点的方式进行创建，它来的更为便利。这个函数在调用时，需要一个节点元组作为参数以及多个可选参数作为边的信息。你可以这么传递：
默认创建节点之间的边：
1
G.add_edges_from([(u,v)])
也可以这么写，在创建的同时添加信息：
1
G.add_edges_from([(3, 4), (1, 4)], label='WN2898')
通过上述方式，就构建了一个3-4-1的图的连接，并给每条边打上了标签。
由此你就可以创建出自己的图模型了。