python使內存消耗

『壹』 7種檢測python程序運行時間、CPU和內存佔用的方法

1. 使用裝飾器來衡量函數執行時間

有一個簡單方法，那就是定義一個裝飾器來測量函數的執行時間，並輸出結果：

import time

from functoolsimport wraps

import random

def fn_timer(function):

  @wraps(function)

  def function_timer(*args, **kwargs):

      t0= time.time()

      result= function(*args, **kwargs)

      t1= time.time()

      print("Total time running %s: %s seconds" %

          (function.__name__, str(t1- t0))

)

      return result

return function_timer

@fn_timer

def random_sort(n):

  return sorted([random.random() for i in range(n)])

if __name__== "__main__":

  random_sort(2000000)

輸出：Total time running random_sort: 0.6598007678985596 seconds

使用方式的話，就是在要監控的函數定義上面加上 @fn_timer 就行了

或者

# 可監控程序運行時間

import time

import random

def clock(func):

    def wrapper(*args, **kwargs):

        start_time= time.time()

        result= func(*args, **kwargs)

        end_time= time.time()

        print("共耗時: %s秒" % round(end_time- start_time, 5))

        return result

return wrapper

@clock

def random_sort(n):

  return sorted([random.random() for i in range(n)])

if __name__== "__main__":

  random_sort(2000000)

輸出結果：共耗時: 0.65634秒

2. 使用timeit模塊

另一種方法是使用timeit模塊，用來計算平均時間消耗。

執行下面的腳本可以運行該模塊。

這里的timing_functions是Python腳本文件名稱。

在輸出的末尾，可以看到以下結果：4 loops, best of 5: 2.08 sec per loop

這表示測試了4次，平均每次測試重復5次，最好的測試結果是2.08秒。

如果不指定測試或重復次數，默認值為10次測試，每次重復5次。

3. 使用Unix系統中的time命令

然而，裝飾器和timeit都是基於Python的。在外部環境測試Python時，unix time實用工具就非常有用。

運行time實用工具：

輸出結果為：

Total time running random_sort: 1.3931210041 seconds

real 1.49

user 1.40

sys 0.08

第一行來自預定義的裝飾器，其他三行為：

    real表示的是執行腳本的總時間

    user表示的是執行腳本消耗的CPU時間。

    sys表示的是執行內核函數消耗的時間。

注意：根據維基網路的定義，內核是一個計算機程序，用來管理軟體的輸入輸出，並將其翻譯成CPU和其他計算機中的電子設備能夠執行的數據處理指令。

因此，Real執行時間和User+Sys執行時間的差就是消耗在輸入/輸出和系統執行其他任務時消耗的時間。

4. 使用cProfile模塊

5. 使用line_profiler模塊

6. 使用memory_profiler模塊

7. 使用guppy包

『貳』 python 內存佔用分析工具

pip install memory_profiler
pip install psutil
pip install matplotlib

使用方法
from memory_profiler import profile

@profile(precision=4, stream=open('test.log', 'w+'))
def test(args: List):
...

運行：
python3 test.py

Mem usage:表示執行該行後Python解釋器的內存使用情況
Increment:表示當前行的內存相對於上一行的差異，即自己本身增長了多少，如果減少了則不顯示.

『叄』 python如何控制內存

python控制內存的方法：

一、對象的引用計數機制
二、垃圾回收機制
三、內存池機制
一、對象的引用計數機制
Python內部使用引用計數，來保持追蹤內存中的對象，所有對象都有引用計數。
引用計數增加的情況：
1、一個對象分配一個新名稱
2、將其放入一個容器中（如列表、元組或字典）
引用計數減少的情況：
1、使用del語句對對象別名顯示的銷毀
2、引用超出作用域或被重新賦值 sys.getrefcount( )函數可以獲得對象的當前引用計數
多數情況下，引用計數比你猜測得要大得多。對於不可變數據（如數字和字元串），解釋器會在程序的不同部分共享內存，以便節約內存。
二、垃圾回收
1、當一個對象的引用計數歸零時，它將被垃圾收集機制處理掉。
2、當兩個對象a和b相互引用時，del語句可以減少a和b的引用計數，並銷毀用於引用底層對象的名稱。然而由於每個對象都包含一個對其他對象的應用，因此引用計數不會歸零，對象也不會銷毀。（從而導致內存泄露）。為解決這一問題，解釋器會定期執行一個循環檢測器，搜索不可訪問對象的循環並刪除它們。
三、內存池機制
Python提供了對內存的垃圾收集機制，但是它將不用的內存放到內存池而不是返回給操作系統。
1、Pymalloc機制。為了加速Python的執行效率，Python引入了一個內存池機制，用於管理對小塊內存的申請和釋放。
2、Python中所有小於256個位元組的對象都使用pymalloc實現的分配器，而大的對象則使用系統的malloc。
3、對於Python對象，如整數，浮點數和List，都有其獨立的私有內存池，對象間不共享他們的內存池。也就是說如果你分配又釋放了大量的整數，用於緩存這些整數的內存就不能再分配給浮點數。
更多Python知識請關注Python視頻教程欄目。

『肆』 如何釋放Python佔用的內存

在上文的優化中，對每500個用戶，會進行一些計算並記錄結果在磁碟文件中。原本以為這么做，這些結果就在磁碟文件中了，而不會再繼續佔用內存；但實際上，python的大坑就是Python不會自動清理這些內存。這是由其本身實現決定的。具體原因網上多有文章介紹，這里就不了。
本篇博客將貼一個筆者的實驗腳本，用以說明Python確實存在這么一個不釋放內存的現象，另外也提出一個解決方案，即：先del，再顯式調用gc.collect(). 腳本和具體效果見下。

實驗環境一：Win 7， Python 2.7

[python] view plain
from time import sleep, time
import gc

def mem(way=1):
print time()
for i in range(10000000):
if way == 1:
pass
else: # way 2, 3
del i

print time()
if way == 1 or way == 2:
pass
else: # way 3
gc.collect()
print time()

if __name__ == "__main__":
print "Test way 1: just pass"
mem(way=1)
sleep(20)
print "Test way 2: just del"
mem(way=2)
sleep(20)
print "Test way 3: del, and then gc.collect()"
mem(way=3)
sleep(20)

運行結果如下：

[plain] view plain
Test way 1: just pass
1426688589.47
1426688590.25
1426688590.25
Test way 2: just del
1426688610.25
1426688611.05
1426688611.05
Test way 3: del, and then gc.collect()
1426688631.05
1426688631.85
1426688631.95

對於way 1和way 2，結果是完全一樣的，程序內存消耗峰值是326772KB，在sleep 20秒時，內存實時消耗是244820KB；
對於way 3，程序內存消耗峰值同上，但是sleep時內存實時消耗就只有6336KB了。

實驗環境二： Ubuntu 14.10， Python 2.7.3

運行結果：

[plain] view plain
Test way 1: just pass
1426689577.46
1426689579.41
1426689579.41
Test way 2: just del
1426689599.43
1426689601.1
1426689601.1
Test way 3: del, and then gc.collect()
1426689621.12
1426689622.8
1426689623.11

[plain] view plain
ubuntu@my_machine:~$ ps -aux | grep test_mem
Warning: bad ps syntax, perhaps a bogus '-'? See
ubuntu 9122 10.0 6.0 270916 245564 pts/1 S+ 14:39 0:03 python test_mem.py
ubuntu 9134 0.0 0.0 8104 924 pts/2 S+ 14:40 0:00 grep --color=auto test_mem
ubuntu@my_machine:~$ ps -aux | grep test_mem
Warning: bad ps syntax, perhaps a bogus '-'? See
ubuntu 9122 10.0 6.0 270916 245564 pts/1 S+ 14:39 0:03 python test_mem.py
ubuntu 9134 0.0 0.0 8104 924 pts/2 S+ 14:40 0:00 grep --color=auto test_mem
ubuntu@my_machine:~$ ps -aux | grep test_mem
Warning: bad ps syntax, perhaps a bogus '-'? See
ubuntu 9122 11.6 0.1 30956 5608 pts/1 S+ 14:39 0:05 python test_mem.py

結論：
以上說明，當調用del時，其實Python並不會真正release內存，而是將其繼續放在其內存池中；只有在顯式調用gc.collect()時，才會真正release內存。

進一步：
其實回到上一篇博客的腳本中，也讓其引入gc.collect()，然後寫個監控腳本監測內存消耗情況：

[plain] view plain
while ((1)); do ps -aux | sort -n -k5,6 | grep my_script; free; sleep 5; done

結果發現：內存並不會在每500個用戶一組執行完後恢復，而是一直持續消耗到僅存約70MB時，gc才好像起作用。本環境中，機器使用的是Cloud instance，總內存2G，可用內存約為1G，本腳本內存常用消耗是900M - 1G。換句話說，對於這個腳本來說，gc並沒有立即起作用，而是在系統可用內存從1 - 1.2G下降到只剩70M左右時，gc才開始發揮作用。這點確實比較奇怪，不知道和該腳本是在Thread中使用的gc.collect()是否有關，或者是gc發揮作用原本就不是可控的。筆者尚未做相關實驗，可能在下篇博客中繼續探討。

但是，可以肯定的是，若不使用gc.collect(), 原腳本將會將系統內存耗盡而被殺死。這一點從syslog中可以明顯看出。

『伍』 如何釋放Python佔用的內存

1.充分利用內存
任何一種圖像處理軟體對內存的要求都很高，Photoshop也一樣。如果你在使用Photoshop時，沒有使用其它的一些大軟體，這時你就可以將Photoshop佔用內存資源的比例提高。方法是：進行Photoshop，選擇菜單下File\Preference\Memory & Image Cache命令，將Used by Photoshop的比例提高到80%~90%即可。
2.指定虛擬內存
在處理Photoshop時，內存被用完是很正常的，到時會大大影響Photoshop處理圖像的時間，哪將怎麼解決呢？方法是：你可以用硬碟來作為內存來使用，也就是常說的虛擬內存。請選擇菜單下「File\Preference\Plug-Ins & Scratch Disks」命令。在這里的Scratch Disks下，你可以在硬碟上指定四個驅動器來作為虛擬內存，軟體默認的虛擬內存是在Windows\temp之下。當第一個虛擬內存被使用光之後，Photoshop會自動去使用第二個Scratch Dsik，這樣就提高了執行速度。
3.釋放內存與硬碟空間
在進行圖像處理時，你所進行的所有操作將會記錄在Photoshop的History（歷史記錄）工作板中。這些操作包括：復制到Clipboard（粘貼板）、Undo（恢復）、Pattern（填充物）、Histories（記錄）等幾種，選擇菜單下「Edit\Purge」命令。
進行這些操作之後，Photoshop會將這些圖像和數據保存在內存里，使用該命令後，即將這些被佔用的內存空間釋放出來（RAM：Oh! Freeden）這樣就讓Photoshop有更多的Resource（資源）可用，自然就提高了效率。但注意，如果這些操作佔用的內存比較少時，就沒有必要使用啦！
除此之外，在處理大型圖片時，Photoshop會自動產生一些臨時文件，一般都很大，如果你處理的是一個20MB大小的宣傳畫時，那麼臨時文件可能就是100~150MB。請在Windows\temp或在你設定虛擬內存的驅動器里，將產生的Photoshop臨時文件*.tmp刪除掉。

『陸』 退出python程序釋放佔用內存

一般情況下不會占內存，而且Python的內存需要的很小。如果用模擬器的話需要退出一下，輸入close就可以了。請採納，謝謝。

『柒』 pythontimer佔用內存

python程序在運行過程之中會單獨開辟出一個進程來執行，而很多小夥伴都發現程序在運行過程之中所佔用的內存會越來越大，但是不知道是什麼原因以及如何解決。那麼下文會來講解一下python程序內存佔用過大的原因和解決方法，感興趣的和有需要的話就往下看看吧。



一、原因

首先需要知道的一點就是，python是面向對象編程的語言，那麼就表示在其程序之中一切皆為對象。而每一個對象在創建是都會在內存中開辟空間來佔用位置，這樣就會造成一開始的內存佔用。

雖然說python中有自己的內存管理機制和垃圾處理方式，但是它對於一些佔用內存過多的對象不會馬上釋放，只有當這個對象不處於引用狀態時才會處理它。

二、解決方法

既然知道了python程序內存都是因為有對象才將其佔用的，那麼正確的解決方法就是將對象在調用完畢之後馬上刪除掉。該方法需要用到關鍵字del和gc模塊，使用del關鍵字刪除變數之後，調用gc模塊來馬上啟動python垃圾處理機制就可以直接將其徹底從內存空間清除，代碼示例如下所示：

『捌』 Python 多進程內存佔用問題

當我們有一個很長很長的任務隊列(mission_list)和閾值對應的一個處理函數(missionFunction)時，我們一般採用如下的方式進行處理：

但是，如果這任務列表很長很長，處理函數很復雜(佔用cpu)時，單核往往需要很長的時間進行處理，此時，Multiprocess便可以極大的提高我們程序的運行速度，相關內容請借鑒 multiprocessing --- 基於進程的並行 — Python 3.10.4 文檔。

以上這種場景下，推薦大家採用最簡單的進程池+map的方法進行處理，標準的寫法， chunksize要借鑒官方的說法，最好大一點 ：

但是！！！！ 如果我們的任務列表非常的長，這會導致多進程還沒跑起來之前，內存已經撐爆了，任務自然沒法完成，此時我們有幾種辦法進行優化：

進程的啟動方法有三種，可參考官方文檔：

[圖片上傳失敗...(image-48cd3c-1650511153989)]

在linux環境下，使用forkserver可以節省很多的內存空間， 因為進程啟動的是一個服務，不會把主進程的數據全部復制

採用imap會極大的節省空間，它返回的是一個迭代器，也就是結果列表：

但注意，以上寫法中，你寫的結果迭代部分必須寫在with下面。或者採用另一種寫法：

還有最後一種，當你的mission list實在太大了，導致你在生成 mission list的時候已經把內存撐爆了，這個時候就得優化 mission_list了，如果你的mission_list是通過一個for循環生成的，你可以使用yield欄位，將其封裝為一個迭代器，傳入進程池：

這樣子，我們就封裝好了mission_list，它是一個可迭代對象，在取數據的時候才會將數據拉到內存

我在項目中結合了後兩種方法，原本256G的內存都不夠用，但在修改後內存只佔用了不到10G。希望能夠幫助到你

『玖』 如何使用Python動態控制Linux系統的內存佔用百分比

如何使用Python動態控制Linux系統的內存佔用百分比?

近期有網上朋友尋求幫助：如何通過腳本動態控制Linux系統的內存佔用百分比？經過一番網路+編寫調試，終於初步完成了動態控制Linux系統內存佔用百分比。現寫出來以幫助更多的朋友。
1 前言
根據需求是動態控制Linux系統內存佔用百分比，比如當前內存佔用30%，如果設置內存佔用為70%，則需要申請內存使達到佔用70%；如果再降低到40%，則需要釋放部分申請的內存。其實腳本的本質是內存動態申請與釋放。
注意：因為Python腳本運行之前內存有一定佔用，故設定內存佔用不能低於該百分比。
2 內存動態申請
通過查詢資料，使用Python動態申請內存塊，可以使用ctypes包中的函數，導入包及代碼如下所示：
>>> from ctypes import *
>>> mem=create_string_buffer(1024)
說明：內存申請使用create_string_buffer()函數，上面申請了1024位元組的內存塊。
下面演示申請100MB內存前後變化
申請前如下圖所示：

使用代碼如下：
>>>mem=create_string_buffer(104857600)
申請後如下圖所示：

從上述兩幅圖中可以看出，申請內存前內存佔用295MB，申請後內存佔用397MB，增加了約100MB內存佔用。
3 內存動態釋放
由於Python對內存是有垃圾回收機制的，採用對象引用計數方式。當對象的引用計數為0時，啟動垃圾回收GC。此處內存動態釋放就是使用該原理。
代碼如下：
>>> mem=None
釋放後內存佔用如下圖所示：

內存佔用由397MB降低到297MB，釋放了100MB內存佔用。
說明：將None賦值給對象mem後，mem對象的引用計數即為0，此時垃圾回收啟動，釋放mem對象佔用的內存。
4 系統總內存、佔用內存檢測
由於需要設定內存佔用百分比，故需要獲取系統總物理內存和佔用內存。本文使用的方法是讀取系統文件「/proc/meminfo」，從中解析出總內存大小以及當前內存佔用大小等內存相關的信息。該文件內容格式如下圖所示：

代碼片段如下所示：
f = open("/proc/meminfo")
lines = f.readlines()
f.close()
for line in lines:
if len(line)< 2:continue
name = line.split(':')[0]
var = line.split(':')[1].split()[0]
mem[name]= long(var)* 1024.0
mem['MemUsed']= mem['MemTotal']- mem['MemFree']
說明：按行讀取meminfo文件內容，創建字典對象mem，將meminfo文件第一列設置為mem對象的鍵值，將meminfo文件第二列數字設置為mem對象的值。
5 獲取用戶輸入百分比
通過讀取鍵盤輸入字元串，然後轉換為數字實現接收用戶輸入的百分比，代碼如下所示：
input_str=raw_input("Input UsedMemory`s Rate or q to exit:")
rate=float(input_str)
注意：此處鍵盤輸入的都是字元串，需要進行字元串轉換為數字，使用float()或long()函數進行轉換。
6 動態設置內存佔用百分比測試
測試使用兩個Python腳本文件，分別是test.py和mem_rate.py，其功能分別是查看當前內存佔用和動態設定內存佔用百分比。如下圖所示：

注意：上述兩個文件需要使用「chmod +x *.py」修改為可執行屬性。
6.1 查看當前內存佔用
查看當前內存佔用百分比，使用上述test.py文件，運行命令為「./test.py」，運行結果如下圖所示：

當前使用內存為320MB，佔用百分比為17%。
6.2 動態設置內存佔用百分比
動態設置內存佔用百分比使用上述mem_rate.py腳本，注意該腳本文件第一行代碼為「#!/usr/bin/python2.6」，表示該腳本使用python2.6程序運行。該行需要修改為待運行Linux系統中Python實際的安裝程序路徑。
動態內存百分比設置界面如下圖所示：

處於待輸入狀態。另外顯示了當前內存佔用（321MB），總內存大小（1869MB）以及內存佔用百分比（17%）。
如果此時設置內存佔用百分比為80%，則腳本會每次申請10MB空間，直至內存佔用接近或等於80%為止。如下圖所示：

內存申請過程如下圖所示：

內存申請過程中佔用百分比變化為：35%，45%，56%，70%，…
mem_rate.py運行過程如下圖所示：

內存申請過程中佔用變化為：1461MB，1471MB，1481MB，1491MB。
此時如果內存佔用百分比設置為20%，則需要釋放一部分內存。
test.py腳本運行過程如下圖所示：
由於釋放內存運行較快，抓取到最後結果

內存佔用為20%。
mem_rate.py腳本運行過程如下圖所示：

內存釋放過程中內存佔用為：413MB，403MB，393MB，383MB，最後內存佔用穩定在20%，383MB。
輸入「q」或「Q」退出內存佔用百分比設定過程，如下圖所示：

此時內存佔用如下圖所示：

內存佔用恢復到運行mem_rate.py腳本之前狀態，17%，321MB。

※※※※※※※※※※※※※※※※※※※※※※※※※※※※※
附：完整Python腳本代碼
test.py
------------------------------------------------------------------------------------------------
#!/usr/bin/python2.6
def memory_stat():
mem = {}
f = open("/proc/meminfo")
lines = f.readlines()
f.close()
for line in lines:
if len(line)< 2:continue
name = line.split(':')[0]
var = line.split(':')[1].split()[0]
mem[name]= long(var)* 1024.0
mem['MemUsed']= mem['MemTotal']- mem['MemFree']
# - mem['Buffers']- mem['Cached']
return mem

mem=memory_stat()
print("Used(MB):%d"%(long(mem['MemUsed'])/1024/1024))
print("Rate:%d%%"%(100*long(mem['MemUsed'])/float(mem['MemTotal'])))

§§§§§§§§§§§§§§§§§§§§§§§§§§
mem_rate.py
---------------------------------------------------
#!/usr/bin/python2.6

from ctypes import *

# Get Memory Info(Total, Used... Byte)
def get_memory_stat():
mem = {}
f = open("/proc/meminfo")
lines = f.readlines()
f.close()
for line in lines:
if len(line)< 2:continue
name = line.split(':')[0]
var = line.split(':')[1].split()[0]
mem[name]= long(var)* 1024.0
mem['MemUsed']= mem['MemTotal']- mem['MemFree']
# Return MemroyInfo Object
return mem

# Get Simple Memory Info
def get_memory_info(mem):
# Byte -> MB
n=1024* 1024
used=float(mem['MemUsed'])/ n
total=float(mem['MemTotal'])/ n
rate=used/total* 100
smp={'used':used,'total':total,'rate':rate}
return smp

# Display Current Memory Info
def print_memory_info(mem):
# Get SimpleMemory Info
smp=get_memory_info(mem)
print("Used(MB):%d\tTotal(MB):%d\tUsedRate:%d%%"%(smp['used'], smp['total'], smp['rate']))

# Get Rate Of Memory Used To Be Setted(Integer Formate)
def input_memory_used_rate(org_rate):
# Byte -> MB
n=1024* 1024
while(True):
mem=get_memory_stat()
print_memory_info(mem)

input_str=raw_input("Input UsedMemory`s Rate or q to exit:")
if(len(input_str)== 0):
continue
if("q"== input_str):
info={'rate':0,'used':mem['MemUsed']/ n}
return info
if("Q"== input_str):
info={'rate':0,'used':mem['MemUsed']/ n}
return info
try:
rate=float(input_str)
if((rate>=org_rate)and (rate<=95)):
info={'rate':rate,'used':mem['MemUsed']/ n}
return info
else:
print("Please inputa valid number(%d%%~95%%)."%(org_rate))
except:
print("Please inputa valid number(%d%%~95%%)."%(org_rate))

# Set Rate Of Memory Used
def set_memory_used_rate(new_rate, total, pre_used,list):
if(new_rate==0):
return None
dest_mem=total* new_rate /100.0
# 10MB
mb10=10485760
n_chg=10
# Free Memory OrAllocate Memory ?
is_new=dest_mem>pre_used
cur_used=pre_used
while(True):
# To Calc FreeMemory Or Allocate Memory ?
need_new=dest_mem-n_chg>=pre_used
need_del=dest_mem+n_chg<=pre_used

# Need To AllocateMemory
if(is_new):
if(need_new):
p=create_string_buffer(mb10)
list.append(p)
dest_mem=dest_mem-n_chg
cur_used=cur_used+n_chg
else:
return"end"
# Need To FreeMemory
else:
idx=len(list)-1
if(need_deland (idx>=0)):
p=list[idx]
del list[idx]
p=None
dest_mem=dest_mem+n_chg
cur_used=cur_used-n_chg
else:
return"end"
print("****** MemoryUsed(MB):%d"%(cur_used))

# Entry Of Program

# List Of Memory Object, 10MB Of One Object
list=[]
# Get Current Memory Info
mem=get_memory_stat()
# Get Simple Memory Info
smp=get_memory_info(mem)
org_rate=smp['rate']
total=smp['total']

while(True):
# Get Rate OfMemory To Be Used
info=input_memory_used_rate(org_rate)
new_rate=float(info['rate'])
pre_used=float(info['used'])
# Set Rate OfMemory To Be Used
rtn=set_memory_used_rate(new_rate, total, pre_used, list)
if(not rtn):
print("bye!")
exit()

『拾』 如何釋放Python佔用的內存

釋放Python佔用的內存
象的引用計數減少；
函數運行結束，所有局部變數都被銷毀，對象的引用計數也就隨之減少。例如 foo(x) 運行結束，x 被銷毀；
當變數被賦值給另一個對象時，原對象的引用計數也會減少。例如 x = 4，這時候 3 這個對象的引用計數就減 1 了；
使用 del 刪除一個變數也會導致對象引用減少。例如 del x；
對象從集合對象中移除。例如 lst.remove(x)；
包含對象的集合對象被銷毀。例如 del lst；
這些操作都可能使對象變成垃圾回收對象，由垃圾收集器負責收集，當然垃圾收集器也負責處理循環引用對象。
要立即釋放，可以使用下面的代碼
import gc
gc.collect()