pythonrss
① python十大必學模塊是什麼
這個不能一概而論的，據說python目前高達27萬+個庫，看你學習的方向必學模塊也有不同，簡單列舉：
1、網路通用方面：
urllib-網路庫
requests-網路庫
pycurl– 網路庫
httplib2– 網路庫
RoboBrowser– 瀏覽網頁
MechanicalSoup-一個與網站自動交互Python庫
socket– 底層網路介面
2、爬蟲方面：
grab– 爬蟲框架
scrapy– 網路爬蟲框架，不支持Python3
pyspider–爬蟲系統。
cola– 爬蟲框架
portia– 可視化爬蟲
lxml– 高效HTML/ XML處理庫
cssselect– 解析DOM樹和CSS選擇器。
pyquery– 解析DOM樹和jQuery選擇器。
html5lib– 根據WHATWG規范生成HTML/ XML文檔的DOM
feedparser– 解析RSS/ATOM feeds。
MarkupSafe– 為XML/HTML/XHTML提供了安全轉義的字元串。
xhtml2pdf– 將HTML/CSS轉換為PDF。
untangle– XML文件轉Python對象
xpinyin– 將中國漢字轉為拼音
tablib– 數據導出為XLS、CSV、JSON、等格式的模塊
textract– 從文件中提取文本
messytables– 解析表格數據
rows– 常用數據介面
Office
python-docx– 讀取，查詢和修改docx文件
xlwt/xlrd– 從Excel文件讀取寫入數據和格式信息
PDF
Markdown
Python-Markdown– 一個用Python實現的John Gruber的Markdown。
3、HTML/XML解析方面：
4、文件處理方面：
② python如何查看內存佔用空間
利用psutil模塊，如果沒有直接 pip installpsutil
info=psutil.virtual_memory()
printu'內存使用：',psutil.Process(os.getpid()).memory_info().rss
printu'總內存：',info.total
printu'內存佔比：',info.percent
printu'cpu個數：',psutil.cpu_count()
③ python html 解析工具是什麼意思
在准備我的 PyCon上關於HTML的演講 的時候我覺得我應該對現有的一些解析器和文檔模型做個性能對比。
實際上，情況有點復雜，因為處理HTML需要幾個步驟：
解析這個 HTML
把它解析為一個對象(比如一個文檔對象)
把它序列化
有些解析器只處理第一步，有些只處理第二步，有些能處理所有的三個步驟…。例如，ElementSoup 使用 ElementTree 來表示文檔，卻使用 BeautifulSoup 作為實際的解析器。而 BeautifulSoup 內部也擁有一個文檔對象。 HTMLParser 僅僅做解析（不解析出任何對象），然而 html5lib 卻能夠生成幾種不同的文檔樹（DOM樹）。序列化也分為XML和HTML兩種方式。
所以我選取了下面這些解析器的庫做基準性能測試：
lxml:包含一個解析器，能夠產生文檔對象，支持HTML序列化。它也可以不適用內置的解析器而使用 BeautifulSoup 或者 html5lib 進行解析。
BeautifulSoup:nbsp;包含一個解析器，能夠產生文檔對象，支持HTML序列化。
html5lib:有解析器。它也有一個序列化器，但是我沒有使用它。它也有一個內置的文檔對象（即simpletree），只是…除了自我測試我也不知道這東西還能做什麼。
ElementTree:這個包里有一個XML序列化器，ElementTree能夠產生文檔對象，它也是python內置的XML解析模塊。（我覺得下個版本會帶一個HTML序列化器，不過我也沒測試這個XML序列化器）。它也有一個解析器，測試的時候我用html5lib當做解析器來測試ElementTree的。
cElementTree:這是一個使用C語言擴展實現的python模塊，實現了ElementTree。
HTMLParser:包含一個解析器。但是其實它不能解析出文檔對象，很多正常網頁都不能正常處理（包含Table或者Script），有語法錯誤的網頁就更處理不了了。它只是使用解析器遍歷文檔。
htmlfill:它使用了HTMLParser作為解析器，相對HTMLParser，它在解析過程中對Element做了更多處理。
Genshi[1]:包含一個解析器，能夠產生文檔對象，支持HTML序列化。
xml.dom.minidom:python標准庫里的內置文檔模型，html5lib 能夠解析出這種文檔對象。（我並不推薦使用minidom — 這篇文章里寫了一些理由，還有很多理由我沒寫出來）
我預想 lxml 的性能會比較好，因為它基於 libxml2這個C庫。但是實際上它的性能比我預計的還要好，超過其它所有的同類庫。所以，除非考慮到一些難以解決的安裝問題（尤其是在Mac上），我都推薦你用lxml 來進行HTML解析的工作。
我的測試代碼在這里，你可以自己下載下來運行測試程序。裡麵包含了所有的樣例數據，用來生成圖表的命令在這里。這些測試數據來自於從 python.org 隨機選取的一些頁面（總共355個）。
解析
lxml:0.6; BeautifulSoup:10.6; html5lib ElementTree:30.2; html5lib minidom:35.2; Genshi:7.3; HTMLParser:2.9; htmlfill:4.5
第一個測試運行這些解析器解析文檔。需要注意的是：lxml 比 HTMLParser快6倍，盡管 HTMLParser
不生成任何文檔對象（lxml在內存中建立了一個文檔樹)。這里也沒有包含 html5lib 所能生成的全部種類的樹，因為每一種花費的時間都差不多。之所以包含了使用 xml.dom.minidom 作為輸出結果的 html5lib 測試結果是為了說明 minidom 有多慢。Genshi確實很快，只是它也是最不穩定的，相比之下，html5lib , lxml 以及 BeautifulSoup 都要健壯的多。html5lib 的好處是，總是能夠正確的解析HTML（至少在理論上如此）。
lxml在解析過程中會釋放 GIL ，但是我覺得應該影響不大。
序列化
lxml:0.3; BeautifulSoup:2.0; html5lib ElementTree:1.9; html5lib minidom:3.8; Genshi:4.4
所有這些庫執行序列化都很快，可是 lxml 又一次遙遙領先。ElementTree 和 minidom 只做XML序列化，但是沒有理由說HTML序列化更快。還有就是，Genshi居然比minidom要慢，實話說任何比minidom要慢的東西都挺讓人震驚的。
內存佔用
lxml:26; BeautifulSoup:82; BeautifulSoup lxml:104; html5lib cElementTree:54; html5lib ElementTree:64; html5lib simpletree:98; html5lib minidom:192; Genshi:64; htmlfill:5.5; HTMLParser:4.4
最後一項測試是內存。我並不是特別確信我做這個測試的方法很科學，但是數據總能說明一些問題。這項測試會解析所有的文檔並把解析出來的DOM樹保存在內存中，利用 ps 命令結果的RSS（resident set size）段來表示進程佔用的內存。計算基準內存佔用之後所有的庫已經被import，所以只有解析HTML和生成文檔對象會導致內存使用量上升。
我才用 HTMLParser 作為基準線，因為它把文檔保存在內存中，只產生一些中間字元串。這些中間字元串最終也不回佔用多少內存，因為內存佔用基本上等同於這些html問價大小之和。
測量過程中有個棘手的問題就是python的內存分配器並不會釋放它請求的內存，所以，如果一個解析器創建了很多中間對象（字元串等等）然後又釋放了它們，進程仍然會持有這些內存。為了檢測是否有這種情況，我試著分配一些新的字元串知道進程佔用的內存增長（檢測已經分配但是沒有被使用的內存），但是實際上沒檢測到什麼，只有 BeautifulSoup 解析器，在序列化到一個 lxml 樹的時候，顯示出使用了額外的內存。
只有在內存測試中，html5lib 使用 cElementTree 來表示文檔對象同使用 ElementTree 能表現出明顯的不同。我倒不是很驚訝，我猜因為我沒有找到一個C語言編寫的序列化工具，我猜使用 cElementTree 構建文檔樹的話，只有在用本地代碼調用它的時候比較快（就像本地的libxml，並且不需要把數據結構傳遞到python中）。
lxml比較節省內存很可能是因為它使用了本地的libxml2的數據結構，並且只有在需要的時候才創建Python對象。
總結
在進行基準測試之前我就知道lxml會比較快，但是我自己也沒料到會這么快。
所以呢，總結一下：lxml太牛逼了[2]。你可以用很多種方式使用它，你可以對一個HTML進行解析，序列化，解析，再序列化，在機器卡機之前你能重復這些操作很多次。很多操作都是通過本地介面實現的，python只做了一層很淺的封裝。例如，如果你做一次XPath查詢，查詢字元串會被編譯為本地代碼，然後遍歷本地的libxml2對象，只在返回查詢結果的時候才會產生一個python對象。 另外，測試中lxml內存佔用比較小使我更有理由相信lxml在高負載的情況下仍然會很可靠。
我覺得，文檔樹相對按字元流解析（不生成樹，只掃描一次文檔並針對特定的標簽做處理）更有優勢。表面看起來按字元流解析更好：你不把整個文檔放在內存里，處理的時間之和文檔大小線性相關。HTMLParser就是這樣一種解析器，遇到各種符號（標簽開始和關閉，變遷中間的文字等等）。Genshi 也是用的這個模型，因為使用了一些更高級的特性（比如 filters
）所以使用起來更自然一些。其實字元流模型本身就不是一種特別自然的處理XML文檔的方式，從某種程度上說，它只是用來處理一些本來就可以當做字元串處理的文檔的一種笨拙的方法（regex可以實現同樣的功能）。只有你需要處理上G的XML文件的時候按字元流解析才有意義（不過lxml和ElementTree針對這種情況都有額外的參數支持）。HTML文件不會有這么大，這些測試也有理由讓我們相信lxml可以很好的處理大的HTML文件，所以一個大文檔也不會導致一個為小文檔優化過的系統崩潰。
Ian Bicking on Sunday, March30th, 2008
[1]. Genshi是EdgewallSoftware的產品，它的其他產品還包括大名鼎鼎的Trac。
[2]. 本文的作者Ian Bicking是lxml.html(lxml的一個模塊)的開發者和維護者（這里修正一下）。
P.S. 譯者記：這里還有一個解析器沒有提到就是python標准庫里的SGMLParser，它也可以產生ElementTree，但是性能很差，本機測試解析600k的html文檔（ddd的單頁html文檔）需要480秒，不推薦應用在性能要求比較高的場合。本文作者也是lxml的作者，對自己的作品大力推薦也是正常的，我實測過lxml性能確實很好。
④ Python 里itchat 模塊能實現什麼有趣的東西
把itchat和圖靈機器人接上，讓圖靈機器人和微軟小冰聊天。
我是用來做公眾號推送監控的。
因為工作需要，需要密切監視一批(大概五六十個)公眾號的推送內容，以前是用搜狗，可以一次性添加之後用類似RSS閱讀器的方式查看，雖然還需要人工打開頁面，但是比起一個個在微信上查看還是輕松點，可惜後來搜狗取消了這個功能。
於是，我就用itchat的封裝版wxpy做了一個簡單的監控系統。注冊一個全新的微信個人號，分批關注需要監控的公眾號(注意，目前微信似乎對一次性關注大量公眾號有限制，可能超過四五時候就會被限制一天內不能新關注了)，然後寫一個小程序要求他們一旦收到公眾號推送，就獲取標題和鏈接，推送到我一個指定的監控專用微信群，等待同事們的進一步響應——當然，其實如果需要，可以直接在程序中對於這些公眾號內容做我需要的處理。
不過itchat在公眾號的監控上有一個bug，它能夠跟蹤返回的只有公共號推送的第一條，對於那些多圖文的信息，後面幾條的內容無法獲取，這是一個遺憾。期望作者能夠早日修復。
⑤ python怎麼能抓微信公眾號文章的閱讀數
思路一，利用rss生成工具，將搜狗的微信搜索結果生成一個rss，然後通過rss監控這個公眾號的文章是否更新。(理論上應該可行，但沒試過)
思路二，自己做一個桌面瀏覽器，IE內核。用這個瀏覽器登錄web微信，這個微信帳號關注你想抓取的公眾號，這樣就可以監控到是這些公眾號是否已更新，更新後鏈接是什麼，從而達到抓取數據的目的。（使用過，效率不高，但非常穩定）
思路三，通過修改android的微信客戶端來實現(這個方法是我們曾經使用過一段時間的)
思路四，想辦法越過驗證直接取到鏈接，再通過鏈接取到數據。
⑥ Python編程網頁爬蟲工具集介紹
【導語】對於一個軟體工程開發項目來說，一定是從獲取數據開始的。不管文本怎麼處理，機器學習和數據發掘，都需求數據，除了通過一些途徑購買或許下載的專業數據外，常常需求咱們自己著手爬數據，爬蟲就顯得格外重要，那麼Python編程網頁爬蟲東西集有哪些呢?下面就來給大家一一介紹一下。
1、 Beautiful Soup
客觀的說，Beautifu Soup不完滿是一套爬蟲東西，需求協作urllib運用，而是一套HTML / XML數據分析，清洗和獲取東西。
2、Scrapy
Scrapy相Scrapy, a fast high-level screen scraping and web crawling framework
for
Python.信不少同學都有耳聞，課程圖譜中的許多課程都是依託Scrapy抓去的，這方面的介紹文章有許多，引薦大牛pluskid早年的一篇文章：《Scrapy
輕松定製網路爬蟲》，歷久彌新。
3、 Python-Goose
Goose最早是用Java寫得，後來用Scala重寫，是一個Scala項目。Python-Goose用Python重寫，依靠了Beautiful
Soup。給定一個文章的URL, 獲取文章的標題和內容很便利，用起來非常nice。
以上就是Python編程網頁爬蟲工具集介紹，希望對於進行Python編程的大家能有所幫助，當然Python編程學習不止需要進行工具學習，還有很多的編程知識，也需要好好學起來哦，加油!
⑦ Python Web開發比較流行的框架都有什麼
目前Python流行的Web框架包括：Django、Flask和Tornado。框架把構建Web應用的通用的代碼進行了封裝，把相應的模塊組織起來，使用Web框架可以更輕松、快捷的創建web應用，不用去關注一些底層細節。
1、Django框架
Django是基於Python的免費和開放源代碼Web框架，它遵循模型-模板-視圖(MTV)體系結構模式。它由Django Software Foundation(DSF)維護，這是一個由非營利組織成立的獨立組織。Django對基礎的代碼進行了封裝並提供相應的 API，開發者在使用框架是直接調用封裝好的 API 可以省去很多代碼編寫，從而提高工作效率和開發速度。
Django的設計理念如下：
①松耦合——Django的目標是使堆棧中的每個元素彼此獨立。
②更少的編碼——更少的代碼，因此可以快速開發。
③不重復自己(DRY)——一切都應該只在一個地方開發，而不是一次又一次地重復。
④快速開發——Django的理念是盡一切可能促進超快速開發。
⑤簡潔的設計——Django嚴格按照自己的代碼維護簡潔的設計，並易於遵循最佳的Web開發實踐。
Django的一些優勢如下：
①對象關系映射(ORM)支持——Django在數據模型和資料庫引擎之間建立了橋梁，並支持包括MySQL，Oracle，Postgres等在內的大量資料庫系統。
②多語言支持——Django通過其內置的國際化系統支持多語言網站。因此，您可以開發支持多種語言的網站。
③框架支持——Django內置了對Ajax，RSS，緩存和其他各種框架的支持。
④GUI——Django為管理活動提供了一個很好的即用型用戶界面。
⑤開發環境——Django帶有輕量級的Web伺服器，以促進端到端應用程序的開發和測試。
⑥Django是Python Web框架。和大多數現代框架一樣，Django支持MVC模式。
2、Flask框架
Flask 是 Python 編寫的一種輕量級 ( 微 ) 的 Web 開發框架，只提供 Web 框架的核心功能，較其他類型的框架更為的自由、靈活、更加適合高度定製化的 Web 項目。Flask 在功能上面沒有欠缺，只不過更多的選擇及功能的實現交給了開發者去完成，因此 Flask 對開發人員的水平有了一定的要求。
3、Tornado框架
在之前的學習過程當中，學習過了 Flask 和 Django 這兩個 Python Web 框架，現在來認識一個更加復雜但是高效的 Python Web 框架 : Tornado。
Tornado 是 Python 編寫的一個強大的可擴展的 Web 伺服器，在處理高網路流量的時候表現的足夠強大，但是在創建的時候，和 Flask 類似又足夠輕量，並且可以被用到大量的工具當中。相對於其他的框架，
Tornado 有如下特點：
1、完整的 Web 開發框架，和 Django，Flask 一樣，Tornado 也提供了路由映射，request 上下文，基於模板的頁面渲染這些功能。
2、同樣是一個高效的網路庫，性能可以和 Python 的 Twisted，Gevent 等底層框架媲美，同時提供了非同步IO, 超時事件處理，功能，這樣 twisted 除了做 Web 之外還可以做爬蟲，物聯網關或者游戲伺服器等後台應用。
3、提供了高效的 HTTPClient, 除了伺服器端框架，還提供了基於非同步框架的 HTTP 客戶端
4、提供了高效的內部伺服器，Tornado 的內部伺服器可以直接用於生產環境
5、完備的 WebSocket 支持
關於Python的基礎問題可以看下這個網頁的視頻教程，網頁鏈接，希望我的回答能幫到你。
⑧ Python爬蟲是什麼
為自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁。
網路爬蟲為一個自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。
將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，並重復上述過程，直到達到系統的某一條件時停止。另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索。
(8)pythonrss擴展閱讀：
網路爬蟲的相關要求規定：
1、由Python標准庫提供了系統管理、網路通信、文本處理、資料庫介面、圖形系統、XML處理等額外的功能。
2、按照網頁內容目錄層次深淺來爬行頁面，處於較淺目錄層次的頁面首先被爬行。 當同一層次中的頁面爬行完畢後，爬蟲再深入下一層繼續爬行。
3、文本處理，包含文本格式化、正則表達式匹配、文本差異計算與合並、Unicode支持，二進制數據處理等功能。
⑨ python 運維常用腳本
Python 批量遍歷目錄文件,並修改訪問時間
import os
path = "D:/UASM64/include/"
dirs = os.listdir(path)
temp=[];
for file in dirs:
temp.append(os.path.join(path, file))
for x in temp:
os.utime(x, (1577808000, 1577808000))
Python 實現的自動化伺服器管理
import sys
import os
import paramiko
ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
def ssh_cmd(user,passwd,port,userfile,cmd):
def ssh_put(user,passwd,source,target):
while True:
try:
shell=str(input("[Shell] # "))
if (shell == ""):
continue
elif (shell == "exit"):
exit()
elif (shell == "put"):
ssh_put("root","123123","./a.py","/root/a.py")
elif (shell =="cron"):
temp=input("輸入一個計劃任務: ")
temp1="(crontab -l; echo "+ temp + ") |crontab"
ssh_cmd("root","123123","22","./user_ip.conf",temp1)
elif (shell == "uncron"):
temp=input("輸入要刪除的計劃任務: ")
temp1="crontab -l | grep -v " "+ temp + "|crontab"
ssh_cmd("root","123123","22","./user_ip.conf",temp1)
else:
ssh_cmd("lyshark","123123","22","./user_ip.conf",shell)
遍歷目錄和文件
import os
def list_all_files(rootdir):
import os
_files = []
list = os.listdir(rootdir) #列出文件夾下所有的目錄與文件
for i in range(0,len(list)):
path = os.path.join(rootdir,list[i])
if os.path.isdir(path):
_files.extend(list_all_files(path))
if os.path.isfile(path):
_files.append(path)
return _files
a=list_all_files("C:/Users/LyShark/Desktop/a")
print(a)
python檢測指定埠狀態
import socket
sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
sk.settimeout(1)
for ip in range(0,254):
try:
sk.connect(("192.168.1."+str(ip),443))
print("192.168.1.%d server open
"%ip)
except Exception:
print("192.168.1.%d server not open"%ip)
sk.close()
python實現批量執行CMD命令
import sys
import os
import paramiko
ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
print("------------------------------>
")
print("使用說明,在當前目錄創建ip.txt寫入ip地址")
print("------------------------------>
")
user=input("輸入用戶名:")
passwd=input("輸入密碼:")
port=input("輸入埠:")
cmd=input("輸入執行的命令:")
file = open("./ip.txt", "r")
line = file.readlines()
for i in range(len(line)):
print("對IP: %s 執行"%line[i].strip('
'))
python3-實現釘釘報警
import requests
import sys
import json
dingding_url = ' https://oapi.dingtalk.com/robot/send?access_token='
data = {"msgtype": "markdown","markdown": {"title": "監控","text": "apche異常"}}
headers = {'Content-Type':'application/json;charset=UTF-8'}
send_data = json.mps(data).encode('utf-8')
requests.post(url=dingding_url,data=send_data,headers=headers)
import psutil
import requests
import time
import os
import json
monitor_name = set(['httpd','cobblerd']) # 用戶指定監控的服務進程名稱
proc_dict = {}
proc_name = set() # 系統檢測的進程名稱
monitor_map = {
'httpd': 'systemctl restart httpd',
'cobblerd': 'systemctl restart cobblerd' # 系統在進程down掉後，自動重啟
}
dingding_url = ' https://oapi.dingtalk.com/robot/send?access_token='
while True:
for proc in psutil.process_iter(attrs=['pid','name']):
proc_dict[proc.info['pid']] = proc.info['name']
proc_name.add(proc.info['name'])
判斷指定埠是否開放
import socket
port_number = [135,443,80]
for index in port_number:
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
result = sock.connect_ex((飗.0.0.1', index))
if result == 0:
print("Port %d is open" % index)
else:
print("Port %d is not open" % index)
sock.close()
判斷指定埠並且實現釘釘輪詢報警
import requests
import sys
import json
import socket
import time
def dingding(title,text):
dingding_url = ' https://oapi.dingtalk.com/robot/send?access_token='
data = {"msgtype": "markdown","markdown": {"title": title,"text": text}}
headers = {'Content-Type':'application/json;charset=UTF-8'}
send_data = json.mps(data).encode('utf-8')
requests.post(url=dingding_url,data=send_data,headers=headers)
def net_scan():
port_number = [80,135,443]
for index in port_number:
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
result = sock.connect_ex((飗.0.0.1', index))
if result == 0:
print("Port %d is open" % index)
else:
return index
sock.close()
while True:
dingding("Warning",net_scan())
time.sleep(60)
python-實現SSH批量CMD執行命令
import sys
import os
import paramiko
ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
def ssh_cmd(user,passwd,port,userfile,cmd):
file = open(userfile, "r")
line = file.readlines()
for i in range(len(line)):
print("對IP: %s 執行"%line[i].strip('
'))
ssh.connect(hostname=line[i].strip('
'),port=port,username=user,password=passwd)
cmd=cmd
stdin, stdout, stderr = ssh.exec_command(cmd)
result = stdout.read()
ssh_cmd("lyshark","123","22","./ip.txt","free -h |grep 'Mem:' |awk '{print $3}'")
用python寫一個列舉當前目錄以及所有子目錄下的文件，並列印出絕對路徑
import sys
import os
for root,dirs,files in os.walk("C://"):
for name in files:
print(os.path.join(root,name))
os.walk()
按照這樣的日期格式（xxxx-xx-xx）每日生成一個文件，例如今天生成的文件為2013-09-23.log， 並且把磁碟的使用情況寫到到這個文件中。
import os
import sys
import time
new_time = time.strftime("%Y-%m-%d")
disk_status = os.popen("df -h").readlines()
str1 = ''.join(disk_status)
f = open(new_time+'.log','w')
f.write("%s"%str1)
f.flush()
f.close()
統計出每個IP的訪問量有多少？（從日誌文件中查找）
import sys
list = []
f = open("/var/log/httpd/access_log","r")
str1 = f.readlines()
f.close()
for i in str1:
ip=i.split()[0]
list.append(ip)
list_num=set(list)
for j in list_num:
num=list.count(j)
print("%s -----> %s" %(num,j))
寫個程序，接受用戶輸入數字，並進行校驗，非數字給出錯誤提示，然後重新等待用戶輸入。
import tab
import sys
while True:
try:
num=int(input("輸入數字：").strip())
for x in range(2,num+1):
for y in range(2,x):
if x % y == 0:
break
else:
print(x)
except ValueError:
print("您輸入的不是數字")
except KeyboardInterrupt:
sys.exit("
")
ps 可以查看進程的內存佔用大小，寫一個腳本計算一下所有進程所佔用內存大小的和。
import sys
import os
list=[]
sum=0
str1=os.popen("ps aux","r").readlines()
for i in str1:
str2=i.split()
new_rss=str2[5]
list.append(new_rss)
for i in list[1:-1]:
num=int(i)
sum=sum+num
print("%s ---> %s"%(list[0],sum))
關於Python 命令行參數argv
import sys
if len(sys.argv) < 2:
print ("沒有輸入任何參數")
sys.exit()
if sys.argv[1].startswith("-"):
option = sys.argv[1][1:]
利用random生成6位數字加字母隨機驗證碼
import sys
import random
rand=[]
for x in range(6):
y=random.randrange(0,5)
if y == 2 or y == 4:
num=random.randrange(0,9)
rand.append(str(num))
else:
temp=random.randrange(65,91)
c=chr(temp)
rand.append(c)
result="".join(rand)
print(result)
自動化-使用pexpect非交互登陸系統
import pexpect
import sys
ssh = pexpect.spawn('ssh [email protected]')
fout = file('sshlog.txt', 'w')
ssh.logfile = fout
ssh.expect("[email protected]'s password:")
ssh.sendline("密碼")
ssh.expect('#')
ssh.sendline('ls /home')
ssh.expect('#')
Python-取系統時間
import sys
import time
time_str = time.strftime("日期：%Y-%m-%d",time.localtime())
print(time_str)
time_str= time.strftime("時間：%H:%M",time.localtime())
print(time_str)
psutil-獲取內存使用情況
import sys
import os
import psutil
memory_convent = 1024 * 1024
mem =psutil.virtual_memory()
print("內存容量為:"+str(mem.total/(memory_convent))+"MB
")
print("已使用內存:"+str(mem.used/(memory_convent))+"MB
")
print("可用內存:"+str(mem.total/(memory_convent)-mem.used/(1024*1024))+"MB
")
print("buffer容量:"+str(mem.buffers/( memory_convent ))+"MB
")
print("cache容量:"+str(mem.cached/(memory_convent))+"MB
")
Python-通過SNMP協議監控CPU
注意：被監控的機器上需要支持snmp協議 yum install -y net-snmp*
import os
def getAllitems(host, oid):
sn1 = os.popen('snmpwalk -v 2c -c public ' + host + ' ' + oid + '|grep Raw|grep Cpu|grep -v Kernel').read().split('
')[:-1]
return sn1
def getDate(host):
items = getAllitems(host, '.1.3.6.1.4.1.2021.11')
if name == ' main ':
Python-通過SNMP協議監控系統負載
注意：被監控的機器上需要支持snmp協議 yum install -y net-snmp*
import os
import sys
def getAllitems(host, oid):
sn1 = os.popen('snmpwalk -v 2c -c public ' + host + ' ' + oid).read().split('
')
return sn1
def getload(host,loid):
load_oids = Ƈ.3.6.1.4.1.2021.10.1.3.' + str(loid)
return getAllitems(host,load_oids)[0].split(':')[3]
if name == ' main ':
Python-通過SNMP協議監控內存
注意：被監控的機器上需要支持snmp協議 yum install -y net-snmp*
import os
def getAllitems(host, oid):
def getSwapTotal(host):
def getSwapUsed(host):
def getMemTotal(host):
def getMemUsed(host):
if name == ' main ':
Python-通過SNMP協議監控磁碟
注意：被監控的機器上需要支持snmp協議 yum install -y net-snmp*
import re
import os
def getAllitems(host,oid):
def getDate(source,newitem):
def getRealDate(item1,item2,listname):
def caculateDiskUsedRate(host):
if name == ' main ':
Python-通過SNMP協議監控網卡流量
注意：被監控的機器上需要支持snmp協議 yum install -y net-snmp*
import re
import os
def getAllitems(host,oid):
sn1 = os.popen('snmpwalk -v 2c -c public ' + host + ' ' + oid).read().split('
')[:-1]
return sn1
def getDevices(host):
device_mib = getAllitems(host,'RFC1213-MIB::ifDescr')
device_list = []
def getDate(host,oid):
date_mib = getAllitems(host,oid)[1:]
date = []
if name == ' main ':
Python-實現多級菜單
import os
import sys
ps="[None]->"
ip=["192.168.1.1","192.168.1.2","192.168.1.3"]
flage=1
while True:
ps="[None]->"
temp=input(ps)
if (temp=="test"):
print("test page !!!!")
elif(temp=="user"):
while (flage == 1):
ps="[User]->"
temp1=input(ps)
if(temp1 =="exit"):
flage=0
break
elif(temp1=="show"):
for i in range(len(ip)):
print(i)
Python實現一個沒用的東西
import sys
ps="[root@localhost]# "
ip=["192.168.1.1","192.168.1.2","192.168.1.3"]
while True:
temp=input(ps)
temp1=temp.split()
檢查各個進程讀寫的磁碟IO
import sys
import os
import time
import signal
import re
class DiskIO:
def init (self, pname=None, pid=None, reads=0, writes=0):
self.pname = pname
self.pid = pid
self.reads = 0
self.writes = 0
def main():
argc = len(sys.argv)
if argc != 1:
print ("usage: please run this script like [./lyshark.py]")
sys.exit(0)
if os.getuid() != 0:
print ("Error: This script must be run as root")
sys.exit(0)
signal.signal(signal.SIGINT, signal_handler)
os.system('echo 1 > /proc/sys/vm/block_mp')
print ("TASK PID READ WRITE")
while True:
os.system('dmesg -c > /tmp/diskio.log')
l = []
f = open('/tmp/diskio.log', 'r')
line = f.readline()
while line:
m = re.match(
'^(S+)(d+)(d+): (READ|WRITE) block (d+) on (S+)', line)
if m != None:
if not l:
l.append(DiskIO(m.group(1), m.group(2)))
line = f.readline()
continue
found = False
for item in l:
if item.pid == m.group(2):
found = True
if m.group(3) == "READ":
item.reads = item.reads + 1
elif m.group(3) == "WRITE":
item.writes = item.writes + 1
if not found:
l.append(DiskIO(m.group(1), m.group(2)))
line = f.readline()
time.sleep(1)
for item in l:
print ("%-10s %10s %10d %10d" %
(item.pname, item.pid, item.reads, item.writes))
def signal_handler(signal, frame):
os.system('echo 0 > /proc/sys/vm/block_mp')
sys.exit(0)
if name ==" main ":
main()
利用Pexpect實現自動非交互登陸linux
import pexpect
import sys
ssh = pexpect.spawn('ssh [email protected]')
fout = file('sshlog.log', 'w')
ssh.logfile = fout
ssh.expect("[email protected]'s password:")
ssh.sendline("密碼")
ssh.expect('#')
ssh.sendline('ls /home')
ssh.expect('#')
利用psutil模塊獲取系統的各種統計信息
import sys
import psutil
import time
import os
time_str = time.strftime( "%Y-%m-%d", time.localtime( ) )
file_name = "./" + time_str + ".log"
if os.path.exists ( file_name ) == False :
os.mknod( file_name )
handle = open ( file_name , "w" )
else :
handle = open ( file_name , "a" )
if len( sys.argv ) == 1 :
print_type = 1
else :
print_type = 2
def isset ( list_arr , name ) :
if name in list_arr :
return True
else :
return False
print_str = "";
if ( print_type == 1 ) or isset( sys.argv,"mem" ) :
memory_convent = 1024 * 1024
mem = psutil.virtual_memory()
print_str += " 內存狀態如下:
"
print_str = print_str + " 系統的內存容量為: "+str( mem.total/( memory_convent ) ) + " MB
"
print_str = print_str + " 系統的內存以使用容量為: "+str( mem.used/( memory_convent ) ) + " MB
"
print_str = print_str + " 系統可用的內存容量為: "+str( mem.total/( memory_convent ) - mem.used/( 1024*1024 )) + "MB
"
print_str = print_str + " 內存的buffer容量為: "+str( mem.buffers/( memory_convent ) ) + " MB
"
print_str = print_str + " 內存的cache容量為:" +str( mem.cached/( memory_convent ) ) + " MB
"
if ( print_type == 1 ) or isset( sys.argv,"cpu" ) :
print_str += " CPU狀態如下:
"
cpu_status = psutil.cpu_times()
print_str = print_str + " user = " + str( cpu_status.user ) + "
"
print_str = print_str + " nice = " + str( cpu_status.nice ) + "
"
print_str = print_str + " system = " + str( cpu_status.system ) + "
"
print_str = print_str + " idle = " + str ( cpu_status.idle ) + "
"
print_str = print_str + " iowait = " + str ( cpu_status.iowait ) + "
"
print_str = print_str + " irq = " + str( cpu_status.irq ) + "
"
print_str = print_str + " softirq = " + str ( cpu_status.softirq ) + "
"
print_str = print_str + " steal = " + str ( cpu_status.steal ) + "
"
print_str = print_str + " guest = " + str ( cpu_status.guest ) + "
"
if ( print_type == 1 ) or isset ( sys.argv,"disk" ) :
print_str += " 硬碟信息如下:
"
disk_status = psutil.disk_partitions()
for item in disk_status :
print_str = print_str + " "+ str( item ) + "
"
if ( print_type == 1 ) or isset ( sys.argv,"user" ) :
print_str += " 登錄用戶信息如下:
"
user_status = psutil.users()
for item in user_status :
print_str = print_str + " "+ str( item ) + "
"
print_str += "---------------------------------------------------------------
"
print ( print_str )
handle.write( print_str )
handle.close()
import psutil
mem = psutil.virtual_memory()
print mem.total,mem.used,mem
print psutil.swap_memory() # 輸出獲取SWAP分區信息
cpu = psutil.cpu_stats()
printcpu.interrupts,cpu.ctx_switches
psutil.cpu_times(percpu=True) # 輸出每個核心的詳細CPU信息
psutil.cpu_times().user # 獲取CPU的單項數據 [用戶態CPU的數據]
psutil.cpu_count() # 獲取CPU邏輯核心數，默認logical=True
psutil.cpu_count(logical=False) # 獲取CPU物理核心數
psutil.disk_partitions() # 列出全部的分區信息
psutil.disk_usage('/') # 顯示出指定的掛載點情況【位元組為單位】
psutil.disk_io_counters() # 磁碟總的IO個數
psutil.disk_io_counters(perdisk=True) # 獲取單個分區IO個數
psutil.net_io_counter() 獲取網路總的IO，默認參數pernic=False
psutil.net_io_counter(pernic=Ture)獲取網路各個網卡的IO
psutil.pids() # 列出所有進程的pid號
p = psutil.Process(2047)
p.name() 列出進程名稱
p.exe() 列出進程bin路徑
p.cwd() 列出進程工作目錄的絕對路徑
p.status()進程當前狀態[sleep等狀態]
p.create_time() 進程創建的時間 [時間戳格式]
p.uids()
p.gids()
p.cputimes() 【進程的CPU時間，包括用戶態、內核態】
p.cpu_affinity() # 顯示CPU親緣關系
p.memory_percent() 進程內存利用率
p.meminfo() 進程的RSS、VMS信息
p.io_counters() 進程IO信息，包括讀寫IO數及位元組數
p.connections() 返回打開進程socket的nametples列表
p.num_threads() 進程打開的線程數
import psutil
from subprocess import PIPE
p =psutil.Popen(["/usr/bin/python" ,"-c","print 'helloworld'"],stdout=PIPE)
p.name()
p.username()
p.communicate()
p.cpu_times()
psutil.users() # 顯示當前登錄的用戶，和Linux的who命令差不多
psutil.boot_time() 結果是個UNIX時間戳，下面我們來轉換它為標准時間格式，如下：
datetime.datetime.fromtimestamp(psutil.boot_time()) # 得出的結果不是str格式，繼續進行轉換 datetime.datetime.fromtimestamp(psutil.boot_time()).strftime('%Y-%m-%d%H:%M:%S')
Python生成一個隨機密碼
import random, string
def GenPassword(length):
if name == ' main ':
print (GenPassword(6))