python重試
㈠ python 包管理工具
Python之所以受歡迎不光是因為它簡單易學,更重要的是它有成千上萬的寶藏庫。這些庫相當於是已經集成好的工具,只要安裝就能在Python里使用。它們可以處理各式各樣的問題,無需你再造輪子,而且隨著社區的不斷更新維護,有些庫越來越強大,幾乎能媲美企業級應用。那麼這些工具庫怎麼下載安裝呢?它們被放在一個統一的「倉庫」里,名叫PyPi(Python Package Index),所有的庫安裝都是從這里調度。有了倉庫之後,還需要有管理員,pip就是這樣一個角色。
pip 是 Python 中的標准庫管理器,這意味著它是一個工具,用它可以來管理 Python 標准庫中其他的包,允許你安裝和管理不屬於 Python 標准庫的其它軟體包,其提供了對 Python 包的查找、下載、安裝、卸載等功能。總的來說,pip的Python第三方庫的大管家,搞懂它,會讓你省很多事。從Python 3 >= Python 3.4 、Python2 >= Python2.7.9 版本開始,pip默認包含在Python的安裝程序中,在安裝Python時將會自動被安裝,省事方便。
Python 的安裝器中自帶了 pip,所以你可以直接使用它,除非你安裝的是更早版本的 Python。你可以通過以下命令來判斷是否已安裝:
如果你的 Python 環境沒有安裝 pip,則可以使用以下方法來手動安裝。pip 安裝文件下載: pypi.org/project/pip…
pip提供的命令不多,但是都很實用
pip命令默認使用的是國外的pypi鏡像(pypi.python.org),安裝慢不說,有時甚至會導致出現超時等網路問題,有時候為了安裝一個包,失敗重試安裝好幾次都不一定成功。所以,使用國內的pypi鏡像,亦即 切換 pip 源 ,這樣速度上更有保證,不失為一種加速pip安裝第三方包的好方法。常用的鏡像站有阿里雲、清華大學等。其中清華大學開源軟體鏡像站是每 5 分鍾同步一次的,比較推薦使用。阿里雲鏡像站的速度也非常快,這也是我現在在使用的。
切換切換 pip 源可以是臨時性的,也可以設置為默認。臨時性的,就是在安裝包時,通過pip命令的 -i 選項指定鏡像源即可。例如,臨時使用阿里雲鏡像站作為 pip 源,可以是這樣安裝:
如果每次安裝時都想要通過鏡像源來安裝,上面的辦法不免有些麻煩。我們可以修改pip的配置文件,將鏡像源寫入到 pip 配置文件中。 對於linux系統 ,修改 ~/.pip/pip.conf 文件 (沒有就創建一個文件夾及文件,文件夾要加「.」,表示是隱藏文件夾):
然後在文件中保存如下內容:
對於windows系統 ,在C:Users文件夾下的用戶目錄(例如如果當前用戶是Administrator則是C:UsersAdministrator)下創建pip文件夾,然後再在此文件夾下創建pip.ini文件,在文件中寫入一下內容:
配置完成後再通過 pip config list 查看pip配置。
我們經常會遇到這樣的開發需求,比如你手頭有多個開發項目,其中項目A要求用python3.7,項目B需要用python3.6,有要求項目A和項目B依賴包相互獨立,互不幹擾。為了滿足這樣的開發需求,我們需要在自己的電腦上安裝多個Python版本,並且項目之間進行環境隔離。因此,我們要想運行這些項目,在工作電腦上就要安裝不同版本的Python。 pyenv 是Python版本管理工具,通過系統修改環境變數來實現Python不同版本的切換,利用它可以在同一台電腦上安裝多個版本的Python,設置目錄級別的Python,還能創建和管理vitual python enviroments。而且所有的設置都是用戶級別的操作,不需要sudo命令。
首先安裝pyenv,如果你是Mac電腦,那麼推薦使用Homebrew來安裝。
要想升級pyenv,則可以執行:
pyenv安裝完成後,需要將$HOME/.pyenv/bin添加到PATH變數前面,這一步非常關鍵。
也可以採用手動安裝的方式,將pyenv檢出到你想安裝的目錄。
添加環境變數,將PYENV_ROOT 指向 pyenv 檢出的根目錄,並向 $PATH 添加 $PYENV_ROOT/bin 以提供訪問 pyenv命令的路徑。這里的 shell 配置文件(~/.bash_profile)依不同系統而需作修改,如果使用 Zsh 則需要相應的配置 ~/.zshrc
在使用 pyenv 之後使用 pip 安裝的第三方模塊會自動安裝到當前使用 python 版本下,不會和系統模塊產生沖突。使用 pip 安裝模塊之後,如果沒有生效,記得使用 pyenv rehash 來更新。
安裝完pyenv,可以安裝Python,首先查看可安裝的Python版本:pyenv install -l,接下來開始安裝Python
執行命令 pyenv versions 查看安裝結果。
可以看到,已經成功安裝了Python,安裝的位置在 /Users/dllwh/.pyenv。
可以看到,3.9.9 前面有一個星號,說明成功切換到了 3.9.9 版本,可以執行一下python來驗證。
Pipenv 是 Python 官方推薦的包管理工具,它綜合了 virtualenv、pip 和 pyenv 三者的功能,你可以使用 pipenv 這一個工具來安裝、卸載、跟蹤和記錄依賴性,並創建、使用和組織你的虛擬環境。
如果你是Mac電腦,那麼推薦使用Homebrew來安裝和升級pipenv:
也可以通過pip來安裝和升級pipenv:
進入到項目目錄中,通過下面的指令為項目創建虛擬環境。
上面的操作,給pipenv_demo這個項目初始化了一個 Python 3.9.9 的虛擬環境,並在項目錄下生成一個項目依賴包文件 Pipefile。如果系統中沒有 3.9.8 版本的Python,pipenv 會調用 pyenv 來安裝對應的 Python 的版本。默認地,虛擬環境會創建在 ~/.local/share/virtualenvs目錄裡面。我們也可以通過 pipenv --venv查看項目的虛擬環境目錄。可以通過 pipenv --rm 刪除虛擬環境。
如果想更改虛擬環境的目錄,可以在 .bashrc 或 .bash_profile 中,設置環境變數WORKON_HOME,指定虛擬環境的目錄所在位置,比如想將虛擬環境放到~/.venvs目錄,則可以執行下面的命令。
如果希望在項目目錄下創建虛擬環境目錄(.venv),需要在 .bashrc 或 .bash_profile 中配置環境變數PIPENV_VENV_IN_PROJECT:
pipenv使用 Pipfile 和 Pipfile.lock 來管理依賴包,並且在使用pipenv添加或刪除包時,自動維護 Pipfile 文件,同時生成 Pipfile.lock 來鎖定安裝包的版本和依賴信息。相比pip需要手動維護requirements.txt 中的安裝包和版本,具有很大的進步。
為項目安裝依賴包到虛擬環境中,使每個項目擁有相互獨立的依賴包,是非常不錯的Python的開發實踐。安裝依賴包到虛擬環境中的方法:
執行完上面的命令後,檢查一下是否安裝成功:
觀察項目的根目錄下,又多了一個 Pipfile.lock 文件。這兩個文件記錄了此項目的依賴包,這兩個文件的區別是 Pipfile 中安裝的包不包含包的具體版本號,而Pipfile.lock 是包含包的具體的版本號的。如果不想產生 Pipfile.lock 文件,在安裝依賴包的時候,加上 –skip-lock 選項即可。
在使用pipenv的時候,常常會安裝過程比較慢,這個是因為pipenv創建的 Pipfile 中默認的Pypi源是python官方的 pypi.python.org/simple。我們國內…
為了避免每次都要指定–pypi-mirror,我一般會在創建好Pipfile以後,將文件中 source 塊下的 url 欄位,設置為國內的 pypi 源,我推薦的是清華的Pypi源或者阿里源,具體設置如下:
如果是要刪除虛擬環境中的第三方包,執行:
用git管理項目時候,要把Pipfile和Pipfile.lock加入版本跟蹤。這樣clone了這個項目的同學,只需要執行:
就可以安裝所有的Pipfile中 [packages]部分列出來的包了,並且自動為項目在自己電腦上創建了虛擬環境。
上面的方法都是安裝Pipfile中列出來的第三方包的最新版本,如果是想安裝Pipfile.lock中固定版本的第三方依賴包,需要執行:
如果項目之前使用requirements.txt來管理依賴的,那麼使用pipenv安裝所有依賴可以採用類似pip的方法:
虛擬環境創建好了之後,就可以在裡面進行開發了。如果在命令行下開發,則在項目目錄下執行 pipenv shell ,就進入到了虛擬環境中,在這個環境中,已經包含安裝過的所有依賴包了,接下來就可以利用這些依賴包進行開發工作了。如果是用Pycharm進行開發,就更簡單了,直接用Pycharm打開項目即可。可以從Pycharm中的左側導航欄裡面看到External Libraries顯示的是虛擬環境中的Python解釋器了。
在虛擬環境中執行開發好的程序,有兩種方式,一種是前面提到的先執行pipenv shell進入到虛擬環境後,再執行python程序;另一種方式,則是執行pyenv run,比如在虛擬環境中執行基於pytest框架編寫的測試用例,只需要執行下面的命令即可:
作者:獨淚了無痕
鏈接:https://juejin.cn/post/7063699409703272485
㈡ Python - pytest
目錄
pytest是Python的單元測試框架,同自帶的unittest框架類似,但pytest框架使用起來更簡潔,效率更高。
pytest特點
安裝
測試
在測試之前要做的准備
我的演示腳本處於這樣一個的目錄中:
踩坑:你創建的pytest腳本名稱中不允許含有 . ,比如 1.簡單上手.py ,這樣會報錯。當然,可以這么寫 1-簡單上手.py
demo1.py :
上例中,當我們在執行(就像Python解釋器執行普通的Python腳本一樣)測試用例的時候, pytest.main(["-s", "demo1.py"]) 中的傳參需要是一個元組或者列表(我的pytest是5.2.2版本),之前的版本可能需要這么調用 pytest.main("-s demo1.py") ,傳的參數是str的形式,至於你使用哪種,取決於報不報錯:
遇到上述報錯,就是參數需要一個列表或者元組的形式,而我們使用的是str形式。
上述代碼正確的執行結果是這樣的:
大致的信息就是告訴我們:
pytest.main(["-s", "demo1.py"])參數說明
除了上述的函數這種寫法,也可以有用例類的寫法:
用法跟unittest差不多,類名要以 Test 開頭,並且其中的用例方法也要以 test 開頭,然後執行也一樣。
執行結果:
那麼,你這個時候可能會問,我記得unittest中有setup和teardown的方法,難道pytest中沒有嘛?你怎麼提都不提?穩住,答案是有的。
接下來,我們來研究一下pytest中的setup和teardown的用法。
我們知道,在unittest中,setup和teardown可以在每個用例前後執行,也可以在所有的用例集執行前後執行。那麼在pytest中,有以下幾種情況:
來一一看看各自的用法。
模塊級別setup_mole/teardown_mole
執行結果:
類級別的setup_class/teardown_class
執行結果:
類中方法級別的setup_method/teardown_method
執行結果:
函數級別的setup_function/teardown_function
執行結果:
小結
該腳本有多種運行方式,如果處於PyCharm環境,可以使用右鍵或者點擊運行按鈕運行,也就是在pytest中的主函數中運行:
也可以在命令行中運行:
這種方式,跟使用Python解釋器執行Python腳本沒有什麼兩樣。也可以如下面這么執行:
當然,還有一種是使用配置文件運行,來看看怎麼用。
在項目的根目錄下,我們可以建立一個 pytest.ini 文件,在這個文件中,我們可以實現相關的配置:
那這個配置文件中的各項都是什麼意思呢?
首先, pytest.ini 文件必須位於項目的根目錄,而且也必須叫做 pytest.ini 。
其他的參數:
OK,來個示例。
首先,(詳細目錄參考開頭的目錄結構)在 scripts/test_case_01.py 中:
在 scripts/test_case_dir1/test_case02.py 中:
那麼,在不同的目錄或者文件中,共有5個用例將被執行,而結果則是兩個失敗三個成功。來執行驗證一下,因為有了配置文件,我們在終端中(前提是在項目的根目錄),直接輸入 pytest 即可。
由執行結果可以發現, 2 failed, 3 passed ,跟我們的預期一致。
後續執行相關配置都來自配置文件,如果更改,會有相應說明,終端都是直接使用 pytest 執行。
我們知道在unittest中,跳過用例可以用 skip ,那麼這同樣是適用於pytest。
來看怎麼使用:
跳過用例,我們使用 @pytest.mark.skipif(condition, reason) :
然後將它裝飾在需要被跳過用例的的函數上面。
效果如下:
上例執行結果相對詳細,因為我們在配置文件中為 addopts 增加了 -v ,之前的示例結果中,沒有加!
另外,此時,在輸出的控制台中, 還無法列印出 reason 信息,如果需要列印,則可以在配置文件中的 addopts 參數的 -s 變為 -rs :
如果我們事先知道測試函數會執行失敗,但又不想直接跳過,而是希望顯示的提示。
Pytest 使用 pytest.mark.xfail 實現預見錯誤功能::
需要掌握的必傳參數的是:
那麼關於預期失敗的幾種情況需要了解一下:
結果如下:
pytest 使用 x 表示預見的失敗(XFAIL)。
如果預見的是失敗,但實際運行測試卻成功通過,pytest 使用 X 進行標記(XPASS)。
而在預期失敗的兩種情況中,我們不希望出現預期失敗,結果卻執行成功了的情況出現,因為跟我們想的不一樣嘛,我預期這條用例失敗,那這條用例就應該執行失敗才對,你雖然執行成功了,但跟我想的不一樣,你照樣是失敗的!
所以,我們需要將預期失敗,結果卻執行成功了的用例標記為執行失敗,可以在 pytest.ini 文件中,加入:
這樣就就把上述的情況標記為執行失敗了。
pytest身為強大的單元測試框架,那麼同樣支持DDT數據驅動測試的概念。也就是當對一個測試函數進行測試時,通常會給函數傳遞多組參數。比如測試賬號登陸,我們需要模擬各種千奇百怪的賬號密碼。
當然,我們可以把這些參數寫在測試函數內部進行遍歷。不過雖然參數眾多,但仍然是一個測試,當某組參數導致斷言失敗,測試也就終止了。
通過異常捕獲,我們可以保證程所有參數完整執行,但要分析測試結果就需要做不少額外的工作。
在 pytest 中,我們有更好的解決方法,就是參數化測試,即每組參數都獨立執行一次測試。使用的工具就是 pytest.mark.parametrize(argnames, argvalues) 。
使用就是以裝飾器的形式使用。
只有一個參數的測試用例
來看(重要部分)結果::
可以看到,列表內的每個手機號,都是一條測試用例。
多個參數的測試用例
(重要部分)結果:
可以看到,每一個手機號與每一個驗證碼都組合一起執行了,這樣就執行了4次。那麼如果有很多個組合的話,用例數將會更多。我們希望手機號與驗證碼一一對應組合,也就是只執行兩次,怎麼搞呢?
在多參數情況下,多個參數名是以 , 分割的字元串。參數值是列表嵌套的形式組成的。
固件(Fixture)是一些函數,pytest 會在執行測試函數之前(或之後)載入運行它們,也稱測試夾具。
我們可以利用固件做任何事情,其中最常見的可能就是資料庫的初始連接和最後關閉操作。
Pytest 使用 pytest.fixture() 定義固件,下面是最簡單的固件,訪問主頁前必須先登錄:
結果:
在之前的示例中,你可能會覺得,這跟之前的setup和teardown的功能也類似呀,但是,fixture相對於setup和teardown來說更靈活。pytest通過 scope 參數來控制固件的使用范圍,也就是作用域。
比如之前的login固件,可以指定它的作用域:
很多時候需要在測試前進行預處理(如新建資料庫連接),並在測試完成進行清理(關閉資料庫連接)。
當有大量重復的這類操作,最佳實踐是使用固件來自動化所有預處理和後處理。
Pytest 使用 yield 關鍵詞將固件分為兩部分, yield 之前的代碼屬於預處理,會在測試前執行; yield 之後的代碼屬於後處理,將在測試完成後執行。
以下測試模擬資料庫查詢,使用固件來模擬資料庫的連接關閉:
結果:
可以看到在兩個測試用例執行前後都有預處理和後處理。
pytest中還有非常多的插件供我們使用,我們來介紹幾個常用的。
先來看一個重要的,那就是生成測試用例報告。
想要生成測試報告,首先要有下載,才能使用。
下載
如果下載失敗,可以使用PyCharm下載,怎麼用PyCharm下載這里無需多言了吧。
使用
在配置文件中,添加參數:
效果很不錯吧!
沒完,看我大招
Allure框架是一個靈活的輕量級多語言測試報告工具,它不僅以web的方式展示了簡潔的測試結果,而且允許參與開發過程的每個人從日常執行的測試中最大限度的提取有用信息。
從開發人員(dev,developer)和質量保證人員(QA,Quality Assurance)的角度來看,Allure報告簡化了常見缺陷的統計:失敗的測試可以分為bug和被中斷的測試,還可以配置日誌、步驟、fixture、附件、計時、執行 歷史 以及與TMS和BUG管理系統集成,所以,通過以上配置,所有負責的開發人員和測試人員可以盡可能的掌握測試信息。
從管理者的角度來看,Allure提供了一個清晰的「大圖」,其中包括已覆蓋的特性、缺陷聚集的位置、執行時間軸的外觀以及許多其他方便的事情。allure的模塊化和可擴展性保證了我們總是能夠對某些東西進行微調。
少扯點,來看看怎麼使用。
Python的pytest中allure下載
但由於這個 allure-pytest 插件生成的測試報告不是 html 類型的,我們還需要使用allure工具再「加工」一下。所以說,我們還需要下載這個allure工具。
allure工具下載
在現在allure工具之前,它依賴Java環境,我們還需要先配置Java環境。
注意,如果你的電腦已經有了Java環境,就無需重新配置了。
配置完了Java環境,我們再來下載allure工具,我這里直接給出了網路雲盤鏈接,你也可以去其他鏈接中自行下載:
下載並解壓好了allure工具包之後,還需要將allure包內的 bin 目錄添加到系統的環境變數中。
完事後打開你的終端測試:
返回了版本號說明安裝成功。
使用
一般使用allure要經歷幾個步驟:
來看配置 pytest.ini :
就是 --alluredir ./report/result 參數。
在終端中輸入 pytest 正常執行測試用例即可:
執行完畢後,在項目的根目下,會自動生成一個 report 目錄,這個目錄下有:
接下來需要使用allure工具來生成HTML報告。
此時我們在終端(如果是windows平台,就是cmd),路徑是項目的根目錄,執行下面的命令。
PS:我在pycharm中的terminal輸入allure提示'allure' 不是內部或外部命令,也不是可運行的程序或批處理文件。但windows的終端沒有問題。
命令的意思是,根據 reportresult 目錄中的數據(這些數據是運行pytest後產生的)。在 report 目錄下新建一個 allure_html 目錄,而這個目錄內有 index.html 才是最終的allure版本的HTML報告;如果你是重復執行的話,使用 --clean 清除之前的報告。
結果很漂亮:
allure open
默認的,allure報告需要HTTP伺服器來打開,一般我們可以通過pycharm來完成,另外一種情況就是通過allure自帶的open命令來完成。
allure的其他用法
當然,故事還是沒有完!在使用allure生成報告的時候,在編寫用例階段,還可以有一些參數可以使用:
allure.title與allure.description
feature和story
由上圖可以看到,不同的用例被分為不同的功能中。
allure.severity
allure.severity 用來標識測試用例或者測試類的級別,分為blocker,critical,normal,minor,trivial5個級別。
severity的默認級別是normal,所以上面的用例5可以不添加裝飾器了。
allure.dynamic
在之前,用例的執行順序是從上到下依次執行:
正如上例的執行順序是 3 1 2 。
現在,來看看我們如何手動控制多個用例的執行順序,這里也依賴一個插件。
下載
使用
手動控制用例執行順序的方法是在給各用例添加一個裝飾器:
那麼, 現在的執行順序是 2 1 3 ,按照order指定的排序執行的。
如果有人較勁傳個0或者負數啥的,那麼它們的排序關系應該是這樣的:
失敗重試意思是指定某個用例執行失敗可以重新運行。
下載
使用
需要在 pytest.ini 文件中, 配置:
給 addopts 欄位新增(其他原有保持不變) --reruns=3 欄位,這樣如果有用例執行失敗,則再次執行,嘗試3次。
來看示例:
結果:
我們也可以從用例報告中看出重試的結果:
上面演示了用例失敗了,然後重新執行多少次都沒有成功,這是一種情況。
接下來,來看另一種情況,那就是用例執行失敗,重新執行次數內通過了,那麼剩餘的重新執行的次數將不再執行。
通過 random 模塊幫助我們演示出在某次執行中出現失敗的情況,而在重新執行的時候,會出現成功的情況,看結果:
可以看到,用例 02 重新執行了一次就成功了,剩餘的兩次執行就終止了。
一條一條用例的執行,肯定會很慢,來看如何並發的執行測試用例,當然這需要相應的插件。
下載
使用
在配置文件中添加:
就是這個 -n=auto :
並發的配置可以寫在配置文件中,然後其他正常的執行用例腳本即可。另外一種就是在終端中指定,先來看示例:
結果:
pytest-sugar 改變了 pytest 的默認外觀,添加了一個進度條,並立即顯示失敗的測試。它不需要配置,只需 下載插件即可,用 pytest 運行測試,來享受更漂亮、更有用的輸出。
下載
其他照舊執行用例即可。
pytest-cov 在 pytest 中增加了覆蓋率支持,來顯示哪些代碼行已經測試過,哪些還沒有。它還將包括項目的測試覆蓋率。
下載
使用
在配置文件中:
也就是配置 --cov=./scripts ,這樣,它就會統計所有 scripts 目錄下所有符合規則的腳本的測試覆蓋率。
執行的話,就照常執行就行。
結果:
更多插件參考:https://zhuanlan.hu.com/p/50317866
有的時候,在 pytest.ini 中配置了 pytest-html 和 allure 插件之後,執行後報錯:
出現了這個報錯,檢查你配置的解釋器中是否存在 pytest-html 和 allure-pytest 這兩個模塊。如果是使用的pycharm ide,那麼你除了檢查settings中的解釋器配置之外,還需要保證運行腳本的編輯器配置是否跟settings中配置一致。
㈢ Python的for循環中,遇到錯誤後,怎麼再按照原來的設置重新運行一遍
將這段代碼 寫成方法 然後在這里用while循環去判斷 直到返回正常才break
㈣ python 超時重試請教URLError: <urlopen error timed out>
可以利用try,except來重試
try:
#打開網頁
exceptURLError:
#再次打開
或者定義個flag,如果打開失敗就一直重試
flag=True
whileflag:
try:
#打開網頁
#打開成功了
flag=False
exceptURLError:
#打開失敗