如何用python進行數據分析

1. 利用python進行數據分析筆記：3.1數據結構

元組是一種固定長度、不可變的Python對象序列。創建元組最簡單的辦法是用逗號分隔序列值：

tuple 函數將任意序列或迭代器轉換為元組：

中括弧 [] 可以獲取元組的元素， Python中序列索引從0開始 ：

元組一旦創建，各個位置上的對象是無法被修改的，如果元組的一個對象是可變的，例如列表，你可以在它內部進行修改：

可以使用 + 號連接元組來生成更長的元組：

元組乘以整數，則會和列表一樣，生成含有多份拷貝的元組：

將元組型的表達式賦值給變數，Python會對等號右邊的值進行拆包：

拆包的一個常用場景就是遍歷元組或列表組成的序列：

*rest 用於在函數調用時獲取任意長度的位置參數列表：

count 用於計量某個數值在元組中出現的次數：

列表的長度可變，內容可以修改。可以使用 [] 或者 list 類型函數來定義列表：

append 方法將元素添加到列表尾部：

insert 方法可以將元素插入到指定列表位置：
（ 插入位置范圍在0到列表長度之間 ）

pop 是 insert 的反操作，將特定位置的元素移除並返回：

remove 方法會定位第一個符合要求的值並移除它：

in 關鍵字可以檢查一個值是否在列表中；
not in 表示不在：

+ 號可以連接兩個列表：

extend 方法可以向該列表添加多個元素：

使用 extend 將元素添加到已經存在的列表是更好的方式，比 + 快。

sort 方法可以對列表進行排序：

key 可以傳遞一個用於生成排序值的函數，例如通過字元串的長度進行排序：

bisect.bisect 找到元素應當被插入的位置，返回位置信息
bisect.insort 將元素插入到已排序列表的相應位置保持序列排序

bisect 模塊的函數並不會檢查列表是否已經排序，因此對未排序列表使用bisect不會報錯，但是可能導致不正確結果

切片符號可以對大多數序列類型選取子集，基本形式是 [start:stop]
起始位置start索引包含，結束位置stop索引不包含

切片還可以將序列賦值給變數：

start和stop可以省略，默認傳入起始位置或結束位置，負索引可以從序列尾部進行索引：

步進值 step 可以在第二個冒號後面使用， 意思是每隔多少個數取一個值：

對列表或元組進行翻轉時，一種很聰明的用法時向步進值傳值-1：

dict(字典)可能是Python內建數據結構中最重要的，它更為常用的名字是 哈希表 或者 關聯數組 。
字典是鍵值對集合，其中鍵和值都是Python對象。
{} 是創建字典的一種方式，字典中用逗號將鍵值對分隔：

你可以訪問、插入或設置字典中的元素,:

in 檢查字典是否含有一個鍵：

del 或 pop 方法刪除值， pop 方法會在刪除的同時返回被刪的值，並刪除鍵：

update 方法將兩個字典合並：
update方法改變了字典元素位置，對於字典中已經存在的鍵，如果傳給update方法的數據也含有相同的鍵，則它的值將會被覆蓋。

字典的值可以是任何Python對象，但鍵必須是不可變的對象，比如標量類型（整數、浮點數、字元串）或元組（且元組內對象也必須是不可變對象）。
通過 hash 函數可以檢查一個對象是否可以哈希化（即是否可以用作字典的鍵）：

集合是一種無序且元素唯一的容器。

set 函數或者是用字面值集與大括弧，創建集合：

union 方法或 | 二元操作符獲得兩個集合的聯合即兩個集合中不同元素的並集：

intersection 方法或 & 操作符獲得交集即兩個集合中同時包含的元素：

常用的集合方法列表：

和字典類似，集合的元素必須是不可變的。如果想要包含列表型的元素，必須先轉換為元組：

2. 如何用python做數據分析

首先，是數據分析的模塊，numpy 高效處理數據，提供數組支持，很多模塊都依賴它，比如pandas，scipy，matplotlib都依賴他，所
以這個模塊都是基礎。所以必須先安裝numpy。
然後，pandas 主要用於進行數據的採集與分析，scipy 主要進行數值計算。同時支持矩陣運算，並提供了很多高等數據處理功能，比如
積分，微分方程求樣等。matplotlib 作圖模塊，結合其他數據分析模塊，解決可視化問題，statsmodels 這個模塊主要用於統計分析，
Gensim 這個模塊主要用於文本挖掘，sklearn，keras 前者機器學習，後者深度學習。
然後，安裝的numpy版本一定要是帶mkl版本的，沒有返回值的，修改原處的值，這里等於修改了Xx.max() # 最大值，對二維數組都管
用x.min() # 最小值，對二維數組都管用x1=x[1:3] # 取區間，和python的列表沒有區別。
然後，通過pandas導入數據，pandas支持多種輸入格式，我這里就簡單羅列日常生活最常用的幾種，對於更多的輸入方式可以查看源碼
後者官網。csv文件導入後顯示輸出的話，是按照csv文件默認的行輸出的，有多少列就輸出多少列。
更多學習內容，請點擊《Python學習網》！

3. 新手Python數據分析如何入門

1、數據獲取Python具有靈活易用，便利讀寫的特點，其能夠非常便利地調用資料庫和本地的數據，同時，Python也是當下網路爬蟲的首選東西。Scrapy爬蟲，Python開發的一個快速、高層次的屏幕抓取和web抓取框架，用於抓取web站點並從頁面中提取結構化的數據。Scrapy用途廣泛，能夠用於數據挖掘、監測和自動化測驗。
2、數據整理NumPy供給了許多高檔的數值編程東西，如：矩陣數據類型、矢量處理，以及精密的運算庫。專為進行嚴格的數字處理而產生。多為很多大型金融公司運用，以及核心的科學核算組織如：Lawrence
Livermore，NASA用其處理一些原本運用C++，Fortran或Matlab等所做的使命。PandasPandas是根據NumPy的一種東西，該東西是為了處理數據剖析使命而創立的。Pandas納入了大量庫和一些標準的數據模型，供給了高效地操作大型數據集所需的東西。pandas供給了大量能使咱們快速便捷地處理數據的函數和方法。你很快就會發現，它是使Python成為強壯而高效的數據剖析環境的重要因素之一。
3、建模剖析Scikit-learn從事數據剖析建模必學的包，供給及匯總了當時數據剖析范疇常見的演算法及處理問題，如分類問題、回歸問題、聚類問題、降維、模型挑選、特徵工程。
4、數據可視化如果在Python中看可視化，你可能會想到Matplotlib。除此之外，Seaborn是一個類似的包，這是用於統計可視化的包。關於自學python入門，Python數據剖析怎麼入門，以上就是一個根本的學習路線規劃了。

4. 可以讓你快速用Python進行數據分析的10個小技巧

一些小提示和小技巧可能是非常有用的，特別是在編程領域。有時候使用一點點黑客技術，既可以節省時間，還可能挽救「生命」。

一個小小的快捷方式或附加組件有時真是天賜之物，並且可以成為真正的生產力助推器。所以，這里有一些小提示和小技巧，有些可能是新的，但我相信在下一個數據分析項目中會讓你非常方便。

Pandas中數據框數據的Profiling過程

Profiling（分析器）是一個幫助我們理解數據的過程，而Pandas Profiling是一個Python包，它可以簡單快速地對Pandas 的數據框數據進行 探索 性數據分析。

Pandas中df.describe()和df.info()函數可以實現EDA過程第一步。但是，它們只提供了對數據非常基本的概述，對於大型數據集沒有太大幫助。 而Pandas中的Profiling功能簡單通過一行代碼就能顯示大量信息，且在互動式HTML報告中也是如此。

對於給定的數據集，Pandas中的profiling包計算了以下統計信息：

由Pandas Profiling包計算出的統計信息包括直方圖、眾數、相關系數、分位數、描述統計量、其他信息——類型、單一變數值、缺失值等。

安裝

用pip安裝或者用conda安裝

pip install pandas-profiling

conda install -c anaconda pandas-profiling

用法

下面代碼是用很久以前的泰坦尼克數據集來演示多功能Python分析器的結果。

#importing the necessary packages

import pandas as pd

import pandas_profiling

df = pd.read_csv('titanic/train.csv')

pandas_profiling.ProfileReport(df)

一行代碼就能實現在Jupyter Notebook中顯示完整的數據分析報告，該報告非常詳細，且包含了必要的圖表信息。

還可以使用以下代碼將報告導出到互動式HTML文件中。

profile = pandas_profiling.ProfileReport(df)

profile.to_file(outputfile="Titanic data profiling.html")

Pandas實現互動式作圖

Pandas有一個內置的.plot（）函數作為DataFrame類的一部分。但是，使用此功能呈現的可視化不是互動式的，這使得它沒那麼吸引人。同樣，使用pandas.DataFrame.plot（）函數繪制圖表也不能實現交互。 如果我們需要在不對代碼進行重大修改的情況下用Pandas繪制互動式圖表怎麼辦呢？這個時候就可以用Cufflinks庫來實現。

Cufflinks庫可以將有強大功能的plotly和擁有靈活性的pandas結合在一起，非常便於繪圖。下面就來看在pandas中如何安裝和使用Cufflinks庫。

安裝

pip install plotly

# Plotly is a pre-requisite before installing cufflinks

pip install cufflinks

用法

#importing Pandas

import pandas as pd

#importing plotly and cufflinks in offline mode

import cufflinks as cf

import plotly.offline

cf.go_offline()

cf.set_config_file(offline=False, world_readable=True)

是時候展示泰坦尼克號數據集的魔力了。

df.iplot()

df.iplot() vs df.plot()

右側的可視化顯示了靜態圖表，而左側圖表是互動式的，更詳細，並且所有這些在語法上都沒有任何重大更改。

Magic命令

Magic命令是Jupyter notebook中的一組便捷功能，旨在解決標准數據分析中的一些常見問題。使用命令％lsmagic可以看到所有的可用命令。

所有可用的Magic命令列表

Magic命令有兩種：行magic命令（line magics），以單個％字元為前綴，在單行輸入操作；單元magic命令（cell magics），以雙%%字元為前綴，可以在多行輸入操作。如果設置為1，則不用鍵入%即可調用Magic函數。

接下來看一些在常見數據分析任務中可能用到的命令：

% pastebin

％pastebin將代碼上傳到Pastebin並返回url。Pastebin是一個在線內容託管服務，可以存儲純文本，如源代碼片段，然後通過url可以與其他人共享。事實上，Github gist也類似於pastebin，只是有版本控制。

在file.py文件中寫一個包含以下內容的python腳本，並試著運行看看結果。

#file.py

def foo(x):

return x

在Jupyter Notebook中使用％pastebin生成一個pastebin url。

%matplotlib notebook

函數用於在Jupyter notebook中呈現靜態matplotlib圖。用notebook替換inline，可以輕松獲得可縮放和可調整大小的繪圖。但記得這個函數要在導入matplotlib庫之前調用。

%run

用％run函數在notebook中運行一個python腳本試試。

%run file.py

%%writefile

%% writefile是將單元格內容寫入文件中。以下代碼將腳本寫入名為foo.py的文件並保存在當前目錄中。

%%latex

%%latex函數將單元格內容以LaTeX形式呈現。此函數對於在單元格中編寫數學公式和方程很有用。

查找並解決錯誤

互動式調試器也是一個神奇的功能，我把它單獨定義了一類。如果在運行代碼單元時出現異常，請在新行中鍵入％debug並運行它。 這將打開一個互動式調試環境，它能直接定位到發生異常的位置。還可以檢查程序中分配的變數值，並在此處執行操作。退出調試器單擊q即可。

Printing也有小技巧

如果您想生成美觀的數據結構，pprint是首選。它在列印字典數據或JSON數據時特別有用。接下來看一個使用print和pprint來顯示輸出的示例。

讓你的筆記脫穎而出

我們可以在您的Jupyter notebook中使用警示框/注釋框來突出顯示重要內容或其他需要突出的內容。注釋的顏色取決於指定的警報類型。只需在需要突出顯示的單元格中添加以下任一代碼或所有代碼即可。

藍色警示框：信息提示

<p class="alert alert-block alert-info">

<b>Tip:</b> Use blue boxes (alert-info) for tips and notes.

If it』s a note, you don』t have to include the word 「Note」.

</p>

黃色警示框：警告

<p class="alert alert-block alert-warning">

<b>Example:</b> Yellow Boxes are generally used to include additional examples or mathematical formulas.

</p>

綠色警示框：成功

<p class="alert alert-block alert-success">

Use green box only when necessary like to display links to related content.

</p>

紅色警示框：高危

<p class="alert alert-block alert-danger">

It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.

</p>

列印單元格所有代碼的輸出結果

假如有一個Jupyter Notebook的單元格，其中包含以下代碼行：

In [1]: 10+5

11+6

Out [1]: 17

單元格的正常屬性是只列印最後一個輸出，而對於其他輸出，我們需要添加print()函數。然而通過在notebook頂部添加以下代碼段可以一次列印所有輸出。

添加代碼後所有的輸出結果就會一個接一個地列印出來。

In [1]: 10+5

11+6

12+7

Out [1]: 15

Out [1]: 17

Out [1]: 19

恢復原始設置：

InteractiveShell.ast_node_interactivity = "last_expr"

使用'i'選項運行python腳本

從命令行運行python腳本的典型方法是：python hello.py。但是，如果在運行相同的腳本時添加-i，例如python -i hello.py，就能提供更多優勢。接下來看看結果如何。

首先，即使程序結束，python也不會退出解釋器。因此，我們可以檢查變數的值和程序中定義的函數的正確性。

其次，我們可以輕松地調用python調試器，因為我們仍然在解釋器中：

import pdb

pdb.pm()

這能定位異常發生的位置，然後我們可以處理異常代碼。

自動評論代碼

Ctrl / Cmd + /自動注釋單元格中的選定行，再次命中組合將取消注釋相同的代碼行。

刪除容易恢復難

你有沒有意外刪除過Jupyter notebook中的單元格？如果答案是肯定的，那麼可以掌握這個撤消刪除操作的快捷方式。

如果您刪除了單元格的內容，可以通過按CTRL / CMD + Z輕松恢復它。

如果需要恢復整個已刪除的單元格，請按ESC + Z或EDIT>撤消刪除單元格。

結論

在本文中，我列出了使用Python和Jupyter notebook時收集的一些小提示。我相信它們會對你有用，能讓你有所收獲，從而實現輕松編碼！

5. python如何做數據分析

Python做數據分析比較好用且流行的是numpy、pandas庫，有興趣的話，可以深入了解、學習一下。

6. 如何利用python進行數據分析

利用python進行數據分析

鏈接: https://pan..com/s/15VdW4dcuPuIUEPrY3RehtQ

?pwd=3nfn 提取碼: 3nfn

本書也可以作為利用Python實現數據密集型應用的科學計算實踐指南。本書適合剛剛接觸Python的分析人員以及剛剛接觸科學計算的Python程序員。