python下采樣

❶ python 有沒有對信號進行升采樣的方法，從1000點序列數據轉成10000點數據

這個裡面他的話這個是可以進行進行采樣的方法，然後再從他的點型滑簡訓練數據中轉換乘1000點的話，它都是裡面是轉化的，數據比較多，所以所讓雹以的話工程量比較大卜褲。

❷ 人工智慧一些術語總結

隨著智能時代慢慢的到來，有一些基本概念都不知道真的是要落伍了，作為正在積極學習向上的青年，我想總結一份筆記，此份筆記會記錄眾多AI領域的術語和概念，當然，學一部分記錄一部分，並且可能會夾雜著自己的一些理解，由於能力有限，有問題希望大家多多賜教。當然，由於內容太多，僅僅只是記錄了中英名對照，有的加上了簡單的解釋，沒加的後續大家有需求，我會慢慢完善~~。目錄暫定以首字母的字典序排序。可以當作目錄方便以後查閱~~建議收藏加點贊哈哈哈

------------------------------------------------這里是分割線--------------------------------------------------

A

准確率（accuracy）

分類模型預測准確的比例。

二分類問題中，准確率定義為：accuracy = (true positives +true negatives)/all samples

多分類問題中，准確率定義為：accuracy = correctpredictions/all samples

激活譽租函數（activation function）

一種函數，將前一層所有神經元激活值的加權和 輸入到一個非線性函數中，然後作為下一層神經元的輸入，例如 ReLU 或 Sigmoid

AdaGrad

一種復雜的梯度下降演算法，重新調節每個參數的梯度，高效地給每個參數一個單獨的學習率。

AUC（曲線下面積）

一種考慮到所有可能的分類閾值的評估標准。ROC 曲線下面積代表分類器隨機預測真正類（Ture Positives）要比假正類（False Positives）概率大的確信度。

Adversarial example（對抗樣本）

Adversarial Networks（對抗網路）

Artificial General Intelligence/AGI（通用人工智慧）

Attention mechanism（注意力機制）

Autoencoder（自編碼器）

Automatic summarization（自動摘要）

Average gradient（平均梯度）

Average-Pooling（平均池化）

B

反向傳播（Backpropagation/BP）

神經網路中完成梯度下降的重要演算法核返。首先，在前向傳播的過程中計算每個節點的輸出值。然後，在反向傳播的過程中計算與每個參數對應的誤差的偏導數。

基線（Baseline）

被用為對比模型表現參考的簡單模型。

批量（Batch）

模型訓練中一個迭代（指一次梯度更新）使用的樣本集。

批量大小（Batch size）

一個批量中樣本的數量。例如，SGD 的批量大小為 1，而 mini-batch 的批慶氏兆量大小通常在 10-1000 之間。

偏置（Bias）

與原點的截距或偏移量。

二元分類器（Binary classification）

一類分類任務，輸出兩個互斥類別中的一個。比如垃圾郵件檢測。

詞袋（Bag of words/Bow）

基學習器（Base learner）

基學習演算法（Base learning algorithm）

貝葉斯網路（Bayesian network）

基準（Bechmark）

信念網路（Belief network）

二項分布（Binomial distribution）

玻爾茲曼機（Boltzmann machine）

自助采樣法／可重復采樣／有放回採樣（Bootstrap sampling）

廣播（Broadcasting）

C

類別（Class）

所有同類屬性的目標值作為一個標簽。

分類模型（classification）

機器學習模型的一種，將數據分離為兩個或多個離散類別。

收斂（convergence）

訓練過程達到的某種狀態，其中訓練損失和驗證損失在經過了確定的迭代次數後，在每一次迭代中，改變很小或完全不變。

凸函數（concex function）

一種形狀大致呈字母 U 形或碗形的函數。然而，在退化情形中，凸函數的形狀就像一條線。

成本（cost）

loss 的同義詞。深度學習模型一般都會定義自己的loss函數。

交叉熵（cross-entropy）

多類別分類問題中對 Log 損失函數的推廣。交叉熵量化兩個概率分布之間的區別。

條件熵（Conditional entropy）

條件隨機場（Conditional random field/CRF）

置信度（Confidence）

共軛方向(Conjugate directions)

共軛分布(Conjugate distribution)

共軛梯度(Conjugate gradient)

卷積神經網路（Convolutional neural network/CNN）

餘弦相似度（Cosine similarity）

成本函數（Cost Function）

曲線擬合（Curve-fitting）

D

數據集（data set）

樣本的集合

深度模型（deep model）

一種包含多個隱藏層的神經網路。深度模型依賴於其可訓練的非線性性質。和寬度模型對照（widemodel）。

dropout 正則化（dropoutregularization）

訓練神經網路時一種有用的正則化方法。dropout 正則化的過程是在單次梯度計算中刪去一層網路中隨機選取的固定數量的單元。刪去的單元越多，正則化越強。

數據挖掘（Data mining）

決策樹/判定樹（Decisiontree）

深度神經網路（Deep neural network/DNN）

狄利克雷分布（Dirichlet distribution）

判別模型（Discriminative model）

下采樣（Down sampling）

動態規劃（Dynamic programming）

E

早期停止法（early stopping）

一種正則化方法，在訓練損失完成下降之前停止模型訓練過程。當驗證數據集（validationdata set）的損失開始上升的時候，即泛化表現變差的時候，就該使用早期停止法了。

嵌入（embeddings）

一類表示為連續值特徵的明確的特徵。嵌入通常指將高維向量轉換到低維空間中。

經驗風險最小化（empirical risk minimization，ERM）

選擇能使得訓練數據的損失函數最小化的模型的過程。和結構風險最小化（structualrisk minimization）對照。

集成（ensemble）

多個模型預測的綜合考慮。可以通過以下一種或幾種方法創建一個集成方法：

設置不同的初始化；

設置不同的超參量；

設置不同的總體結構。

深度和廣度模型是一種集成。

樣本（example）

一個數據集的一行內容。一個樣本包含了一個或多個特徵，也可能是一個標簽。參見標注樣本（labeledexample）和無標注樣本（unlabeled example）。

F

假負類（false negative，FN）

被模型錯誤的預測為負類的樣本。例如，模型推斷一封郵件為非垃圾郵件（負類），但實際上這封郵件是垃圾郵件。

假正類（false positive，FP）

被模型錯誤的預測為正類的樣本。例如，模型推斷一封郵件為垃圾郵件（正類），但實際上這封郵件是非垃圾郵件。

假正類率（false positive rate，FP rate）

ROC 曲線（ROC curve）中的 x 軸。FP 率的定義是：假正率=假正類數/(假正類數+真負類數)

特徵工程（feature engineering）

在訓練模型的時候，挖掘對模型效果有利的特徵。

前饋神經網路（Feedforward Neural Networks/FNN ）

G

泛化（generalization）

指模型利用新的沒見過的數據而不是用於訓練的數據作出正確的預測的能力。

廣義線性模型（generalized linear model）

最小二乘回歸模型的推廣/泛化，基於高斯雜訊，相對於其它類型的模型（基於其它類型的雜訊，比如泊松雜訊，或類別雜訊）。廣義線性模型的例子包括：

logistic 回歸

多分類回歸

最小二乘回歸

梯度（gradient）

所有變數的偏導數的向量。在機器學習中，梯度是模型函數的偏導數向量。梯度指向最陡峭的上升路線。

梯度截斷（gradient clipping）

在應用梯度之前先修飾數值，梯度截斷有助於確保數值穩定性，防止梯度爆炸出現。

梯度下降（gradient descent）

通過計算模型的相關參量和損失函數的梯度最小化損失函數，值取決於訓練數據。梯度下降迭代地調整參量，逐漸靠近權重和偏置的最佳組合，從而最小化損失函數。

圖（graph）

在 TensorFlow 中的一種計算過程展示。圖中的節點表示操作。節點的連線是有指向性的，表示傳遞一個操作（一個張量）的結果（作為一個操作數）給另一個操作。使用 TensorBoard 能可視化計算圖。

高斯核函數（Gaussian kernel function）

高斯混合模型（Gaussian Mixture Model）

高斯過程（Gaussian Process）

泛化誤差（Generalization error）

生成模型（Generative Model）

遺傳演算法（Genetic Algorithm/GA）

吉布斯采樣（Gibbs sampling）

基尼指數（Gini index）

梯度下降（Gradient Descent）

H

啟發式（heuristic）

一個問題的實際的和非最優的解，但能從學習經驗中獲得足夠多的進步。

隱藏層（hidden layer）

神經網路中位於輸入層（即特徵）和輸出層（即預測）之間的合成層。一個神經網路包含一個或多個隱藏層。

超參數（hyperparameter）

連續訓練模型的過程中可以擰動的「旋鈕」。例如，相對於模型自動更新的參數，學習率（learningrate）是一個超參數。和參量對照。

硬間隔（Hard margin）

隱馬爾可夫模型（Hidden Markov Model/HMM）

層次聚類（Hierarchical clustering）

假設檢驗（Hypothesis test）

I

獨立同分布（independently and identicallydistributed，i.i.d）

從不會改變的分布中獲取的數據，且獲取的每個值不依賴於之前獲取的值。i.i.d. 是機器學習的理想情況——一種有用但在現實世界中幾乎找不到的數學構建。

推斷（inference）

在機器學習中，通常指將訓練模型應用到無標注樣本來進行預測的過程。在統計學中，推斷指在觀察到的數據的基礎上擬合分布參數的過程。

輸入層（input layer）

神經網路的第一層（接收輸入數據）。

評分者間一致性（inter-rater agreement）

用來衡量一項任務中人類評分者意見一致的指標。如果意見不一致，則任務說明可能需要改進。有時也叫標注者間信度（inter-annotator agreement）或評分者間信度（inter-raterreliability）。

增量學習（Incremental learning）

獨立成分分析（Independent Component Analysis/ICA）

獨立子空間分析（Independent subspace analysis）

信息熵（Information entropy）

信息增益（Information gain）

J

JS 散度（Jensen-ShannonDivergence/JSD）

K

Kernel 支持向量機（KernelSupport Vector Machines/KSVM）

一種分類演算法，旨在通過將輸入數據向量映射到更高維度的空間使正類和負類之間的邊際最大化。例如，考慮一個輸入數據集包含一百個特徵的分類問題。為了使正類和負類之間的間隔最大化，KSVM 從內部將特徵映射到百萬維度的空間。KSVM 使用的損失函數叫作 hinge 損失。

核方法（Kernel method）

核技巧（Kernel trick）

k 折交叉驗證／k 倍交叉驗證（K-fold cross validation）

K - 均值聚類（K-MeansClustering）

K近鄰演算法（K-Nearest NeighboursAlgorithm/KNN）

知識圖譜（Knowledge graph）

知識庫（Knowledge base）

知識表徵（Knowledge Representation）

L

L1 損失函數（L1 loss）

損失函數基於模型對標簽的預測值和真實值的差的絕對值而定義。L1 損失函數比起 L2 損失函數對異常值的敏感度更小。

L1 正則化（L1regularization）

一種正則化，按照權重絕對值總和的比例進行懲罰。在依賴稀疏特徵的模型中，L1 正則化幫助促使（幾乎）不相關的特徵的權重趨近於 0，從而從模型中移除這些特徵。

L2 損失（L2 loss）

參見平方損失。

L2 正則化（L2regularization）

一種正則化，按照權重平方的總和的比例進行懲罰。L2 正則化幫助促使異常值權重更接近 0 而不趨近於 0。（可與 L1 正則化對照閱讀。）L2 正則化通常改善線性模型的泛化效果。

標簽（label）

在監督式學習中，樣本的「答案」或「結果」。標注數據集中的每個樣本包含一或多個特徵和一個標簽。在垃圾郵件檢測數據集中，特徵可能包括主題、發出者何郵件本身，而標簽可能是「垃圾郵件」或「非垃圾郵件」。

標注樣本（labeled example）

包含特徵和標簽的樣本。在監督式訓練中，模型從標注樣本中進行學習。

學習率（learning rate）

通過梯度下降訓練模型時使用的一個標量。每次迭代中，梯度下降演算法使學習率乘以梯度，乘積叫作 gradient step。學習率是一個重要的超參數。

最小二乘回歸（least squares regression）

通過 L2 損失最小化進行訓練的線性回歸模型。

線性回歸（linear regression）

對輸入特徵的線性連接輸出連續值的一種回歸模型。

logistic 回歸（logisticregression）

將 sigmoid 函數應用於線性預測，在分類問題中為每個可能的離散標簽值生成概率的模型。盡管 logistic 回歸常用於二元分類問題，但它也用於多類別分類問題（這種情況下，logistic回歸叫作「多類別 logistic 回歸」或「多項式 回歸」。

對數損失函數（Log Loss）

二元 logistic 回歸模型中使用的損失函數。

損失（Loss）

度量模型預測與標簽距離的指標，它是度量一個模型有多糟糕的指標。為了確定損失值，模型必須定義損失函數。例如，線性回歸模型通常使用均方差作為損失函數，而 logistic 回歸模型使用對數損失函數。

隱狄利克雷分布（Latent Dirichlet Allocation/LDA）

潛在語義分析（Latent semantic analysis）

線性判別（Linear Discriminant Analysis/LDA）

長短期記憶（Long-Short Term Memory/LSTM）

M

機器學習（machine learning）

利用輸入數據構建（訓練）預測模型的項目或系統。該系統使用學習的模型對與訓練數據相同分布的新數據進行有用的預測。機器學習還指與這些項目或系統相關的研究領域。

均方誤差（Mean Squared Error/MSE）

每個樣本的平均平方損失。MSE 可以通過平方損失除以樣本數量來計算。

小批量（mini-batch）

在訓練或推斷的一個迭代中運行的整批樣本的一個小的隨機選擇的子集。小批量的大小通常在10 到 1000 之間。在小批量數據上計算損失比在全部訓練數據上計算損失要高效的多。

機器翻譯（Machine translation/MT）

馬爾可夫鏈蒙特卡羅方法（Markov Chain Monte Carlo/MCMC）

馬爾可夫隨機場（Markov Random Field）

多文檔摘要（Multi-document summarization）

多層感知器（Multilayer Perceptron/MLP）

多層前饋神經網路（Multi-layer feedforward neuralnetworks）

N

NaN trap

訓練過程中，如果模型中的一個數字變成了 NaN，則模型中的很多或所有其他數字最終都變成 NaN。NaN 是「Not aNumber」的縮寫。

神經網路（neural network）

該模型從大腦中獲取靈感，由多個層組成（其中至少有一個是隱藏層），每個層包含簡單的連接單元或神經元，其後是非線性。

神經元（neuron）

神經網路中的節點，通常輸入多個值，生成一個輸出值。神經元通過將激活函數（非線性轉換）應用到輸入值的加權和來計算輸出值。

歸一化（normalization）

將值的實際區間轉化為標准區間的過程，標准區間通常是-1 到+1 或 0 到 1。例如，假設某個特徵的自然區間是 800 到 6000。通過減法和分割，你可以把那些值標准化到區間-1 到+1。參見縮放。

Numpy

Python 中提供高效數組運算的開源數學庫。pandas 基於 numpy 構建。

Naive bayes（樸素貝葉斯）

Naive Bayes Classifier（樸素貝葉斯分類器）

Named entity recognition（命名實體識別）

Natural language generation/NLG（自然語言生成）

Natural language processing（自然語言處理）

Norm（范數）

O

目標（objective）

演算法嘗試優化的目標函數。

one-hot 編碼（獨熱編碼）（one-hotencoding）

一個稀疏向量，其中：一個元素設置為 1，所有其他的元素設置為 0。。

一對多（one-vs.-all）

給出一個有 N 個可能解決方案的分類問題，一對多解決方案包括 N 個獨立的二元分類器——每個可能的結果都有一個二元分類器。例如，一個模型將樣本分為動物、蔬菜或礦物，則一對多的解決方案將提供以下三種獨立的二元分類器：

動物和非動物

蔬菜和非蔬菜

礦物和非礦物

過擬合（overfitting）

創建的模型與訓練數據非常匹配，以至於模型無法對新數據進行正確的預測

Oversampling（過采樣）

P

pandas

一種基於列的數據分析 API。很多機器學習框架，包括 TensorFlow，支持 pandas 數據結構作為輸入。參見 pandas 文檔。

參數（parameter）

機器學習系統自行訓練的模型的變數。例如，權重是參數，它的值是機器學習系統通過連續的訓練迭代逐漸學習到的。注意與超參數的區別。

性能（performance）

在軟體工程中的傳統含義：軟體運行速度有多快／高效？

在機器學習中的含義：模型的准確率如何？即，模型的預測結果有多好？

困惑度（perplexity）

對模型完成任務的程度的一種度量指標。例如，假設你的任務是閱讀用戶在智能手機上輸入的單詞的頭幾個字母，並提供可能的完整單詞列表。該任務的困惑度（perplexity，P）是為了列出包含用戶實際想輸入單詞的列表你需要進行的猜測數量。

流程（pipeline）

機器學習演算法的基礎架構。管道包括收集數據、將數據放入訓練數據文件中、訓練一或多個模型，以及最終輸出模型。

Principal component analysis/PCA（主成分分析）

Precision（查准率／准確率）

Prior knowledge（先驗知識）

Q

Quasi Newton method（擬牛頓法）

R

召回率（recall）

回歸模型（regression model）

一種輸出持續值（通常是浮點數）的模型。而分類模型輸出的是離散值。

正則化（regularization）

對模型復雜度的懲罰。正則化幫助防止過擬合。正則化包括不同種類：

L1 正則化

L2 正則化

dropout 正則化

early stopping（這不是正式的正則化方法，但可以高效限制過擬合）

正則化率（regularization rate）

一種標量級，用 lambda 來表示，指正則函數的相對重要性。從下面這個簡化的損失公式可以看出正則化率的作用：

minimize(loss function + λ(regularization function))

提高正則化率能夠降低過擬合，但可能會使模型准確率降低。

表徵（represention）

將數據映射到有用特徵的過程。

受試者工作特徵曲線（receiver operatingcharacteristic/ROC Curve）

反映在不同的分類閾值上，真正類率和假正類率的比值的曲線。參見 AUC。

Recurrent Neural Network（循環神經網路）

Recursive neural network（遞歸神經網路）

Reinforcement learning/RL（強化學習）

Re-sampling（重采樣法）

Representation learning（表徵學習）

Random Forest Algorithm（隨機森林演算法）

S

縮放（scaling）

特徵工程中常用的操作，用於控制特徵值區間，使之與數據集中其他特徵的區間匹配。例如，假設你想使數據集中所有的浮點特徵的區間為 0 到 1。給定一個特徵區間是 0 到 500，那麼你可以通過將每個值除以 500，縮放特徵值區間。還可參見正則化。

scikit-learn

一種流行的開源機器學習平台。網址：www.scikit-learn.org。

序列模型（sequence model）

輸入具有序列依賴性的模型。例如，根據之前觀看過的視頻序列對下一個視頻進行預測。

Sigmoid 函數（sigmoid function）

softmax

為多類別分類模型中每個可能的類提供概率的函數。概率加起來的總和是 1.0。例如，softmax 可能檢測到某個圖像是一隻狗的概率為 0.9，是一隻貓的概率為 0.08，是一匹馬的概率為 0.02。（也叫作 full softmax）。

結構風險最小化（structural risk minimization/SRM）

這種演算法平衡兩個目標：

構建預測性最強的模型（如最低損失）。

使模型盡量保持簡單（如強正則化）。

比如，在訓練集上的損失最小化 + 正則化的模型函數就是結構風險最小化演算法。更多信息，參見 http://www.svms.org/srm/。可與經驗風險最小化對照閱讀。

監督式機器學習（supervised machine learning）

利用輸入數據及其對應標簽來訓練模型。監督式機器學習類似學生通過研究問題和對應答案進行學習。在掌握問題和答案之間的映射之後，學生就可以提供同樣主題的新問題的答案了。可與非監督機器學習對照閱讀。

Similarity measure（相似度度量）

Singular Value Decomposition（奇異值分解）

Soft margin（軟間隔）

Soft margin maximization（軟間隔最大化）

Support Vector Machine/SVM（支持向量機）

T

張量（tensor）

TensorFlow 項目的主要數據結構。張量是 N 維數據結構（N 的值很大），經常是標量、向量或矩陣。張量可以包括整數、浮點或字元串值。

Transfer learning（遷移學習）

U

無標簽樣本（unlabeled example）

包含特徵但沒有標簽的樣本。無標簽樣本是推斷的輸入。在半監督學習和無監督學習的訓練過程中，通常使用無標簽樣本。

無監督機器學習（unsupervised machine learning）

訓練一個模型尋找數據集（通常是無標簽數據集）中的模式。無監督機器學習最常用於將數據分成幾組類似的樣本。無監督機器學習的另一個例子是主成分分析（principal componentanalysis，PCA）

W

Word embedding（詞嵌入）

Word sense disambiguation（詞義消歧）

❸ 怎麼使用Python中Pandas庫Resample，實現重采樣，完成線性插值

#python中的pandas庫主要有DataFrame和Series類(面向對象的的語言更願意叫類) DataFrame也就是
#數據框(主要是借鑒R裡面的data.frame)，Series也就是序列 ，pandas底層是c寫的 性能很棒，有大神
#做過測試 處理億級別的數據沒問題，起性能可以跟同等配置的sas媲美
#DataFrame索引 df.loc是標簽選取操作，df.iloc是位置切片操作
print(df[['row_names','Rape']])
df['行標簽']
df.loc[行標簽,列標簽]
print(df.loc[0:2,['Rape','Murder']])
df.iloc[行位置,列位置]
df.iloc[1,1]#選取第二行，第二列的值，返回的為單個值
df.iloc[0,2],:]#選取第一行及第三行的數據
df.iloc[0:2,:]#選取第一行到第三行（不包含）的數據
df.iloc[:,1]#選取所有記錄的第一列的值，返回的為一個Series
df.iloc[1,:]#選取第一行數據，返回的為一個Series
print(df.ix[1,1]) # 更廣義的切片方式是使用.ix，它自動根據你給到的索引類型判斷是使用位置還是標簽進行切片
print(df.ix[0:2])
#DataFrame根據條件選取子集 類似於sas裡面if、where ,R裡面的subset之類的函數
df[df.Murder>13]
df[(df.Murder>10)&(df.Rape>30)]
df[df.sex==u'男']
#重命名 相當於sas裡面的rename R軟體中reshape包的中的rename
df.rename(columns={'A':'A_rename'})
df.rename(index={1:'other'})
#刪除列 相當於sas中的drop R軟體中的test['col']<-null
df.drop(['a','b'],axis=1) or del df[['a','b']]
#排序 相當於sas裡面的sort R軟體裡面的df[order(x),]
df.sort(columns='C') #行排序 y軸上
df.sort(axis=1) #各個列之間位置排序 x軸上
#數據描述 相當於sas中proc menas R軟體裡面的summary
df.describe()
#生成新的一列 跟R裡面有點類似
df['new_columns']=df['columns']
df.insert(1,'new_columns',df['B']) #效率最高
df.join(Series(df['columns'],name='new_columns'))
#列上面的追加 相當於sas中的append R裡面cbind()
df.append(df1,ignore_index=True)
pd.concat([df,df1],ignore_index=True)
#最經典的join 跟sas和R裡面的merge類似 跟sql裡面的各種join對照
merge()
#刪除重行 跟sas裡面nokey R裡面的which(!plicated(df[])類似
df.drop_plicated()
#獲取最大值 最小值的位置 有點類似矩陣裡面的方法
df.idxmin(axis=0 ) df.idxmax(axis=1) 0和1有什麼不同 自己摸索去
#讀取外部數據跟sas的proc import R裡面的read.csv等類似
read_excel() read_csv() read_hdf5() 等
與之相反的是df.to_excel() df.to_ecv()
#缺失值處理 個人覺得pandas中缺失值處理比sas和R方便多了
df.fillna(9999) #用9999填充
#鏈接資料庫 不多說 pandas裡面主要用 MySQLdb
import MySQLdb
conn=MySQLdb.connect(host="localhost",user="root",passwd="",db="mysql",use_unicode=True,charset="utf8")
read_sql() #很經典
#寫數據進資料庫
df.to_sql('hbase_visit',con, flavor="mysql", if_exists='replace', index=False)
#groupby 跟sas裡面的中的by R軟體中dplyr包中的group_by sql裡面的group by功能是一樣的 這里不多說
#求啞變數
miper=pd.get_mmies(df['key'])
df['key'].join(mpier)
#透視表 和交叉表 跟sas裡面的proc freq步類似 R裡面的aggrate和cast函數類似
pd.pivot_table()
pd.crosstab()
#聚合函數經常跟group by一起組合用
df.groupby('sex').agg({'height':['mean','sum'],'weight':['count','min']})

#數據查詢過濾

test.query("0.2
將STK_ID中的值過濾出來
stk_list = ['600809','600141','600329']中的全部記錄過濾出來，命令是：rpt[rpt['STK_ID'].isin(stk_list)].
將dataframe中，某列進行清洗的命令
刪除換行符：misc['proct_desc'] = misc['proct_desc'].str.replace('\n', '')
刪除字元串前後空格：df["Make"] = df["Make"].map(str.strip)
如果用模糊匹配的話，命令是：
rpt[rpt['STK_ID'].str.contains(r'^600[0-9]{3}$')]

對dataframe中元素，進行類型轉換

df['2nd'] = df['2nd'].str.replace(',','').astype(int) df['CTR'] = df['CTR'].str.replace('%','').astype(np.float64)

#時間變換 主要依賴於datemie 和time兩個包
http://www.2cto.com/kf/201401/276088.html
#其他的一些技巧
df2[df2['A'].map(lambda x:x.startswith('61'))] #篩選出以61開頭的數據
df2["Author"].str.replace("<.+>", "").head() #replace("<.+>", "")表示將字元串中以」<」開頭;以」>」結束的任意子串替換為空字元串
commits = df2["Name"].head(15)
print commits.unique(), len(commits.unique()) #獲的NAME的不同個數，類似於sql裡面count(distinct name)
#pandas中最核心 最經典的函數apply map applymap

❹ 急！！！！如何通過python製作一個簡單的錄音機,錄制自己的聲音採用8k采樣,16位量化編碼,觀察其數值

#我可以幫你寫一段代碼，能夠錄音形成wav文件，不過要分析錄音文件的波形，你可以另外找#工具，比如cooledit，也很方便。
fromsysimportbyteorder
fromarrayimportarray
fromstructimportpack

importpyaudio
importwave

THRESHOLD=500
CHUNK_SIZE=1024
FORMAT=pyaudio.paInt16
RATE=44100

defis_silent(snd_data):
埋物"Returns'True'ifbelowthe'silent'threshold"
returnmax(snd_data)<THRESHOLD

defnormalize(snd_data):
"Averagethevolumeout"
MAXIMUM=16384
times=float(MAXIMUM)/max(abs(i)foriinsnd_data)

r=array('h')
foriinsnd_data:
r.append(int(i*times))
returnr

deftrim(snd_data):
""
def_trim(snd_data):
snd_started=False
r=array('h')

foriinsnd_data:
燃漏ifnotsnd_startedandabs(i)>THRESHOLD:
snd_started=True
r.append(i)

皮液爛elifsnd_started:
r.append(i)
returnr

#Trimtotheleft
snd_data=_trim(snd_data)

#Trimtotheright
snd_data.reverse()
snd_data=_trim(snd_data)
snd_data.reverse()
returnsnd_data

defadd_silence(snd_data,seconds):
"Addsilencetothestartandendof'snd_data'oflength'seconds'(float)"
r=array('h',[0foriinxrange(int(seconds*RATE))])
r.extend(snd_data)
r.extend([0foriinxrange(int(seconds*RATE))])
returnr

defrecord():
"""

.

Normalizestheaudio,trimssilencefromthe
startandend,andpadswith0.5secondsof

itwithoutgettingchoppedoff.
"""
p=pyaudio.PyAudio()
stream=p.open(format=FORMAT,channels=1,rate=RATE,
input=True,output=True,
frames_per_buffer=CHUNK_SIZE)

num_silent=0
snd_started=False

r=array('h')

while1:
#littleendian,signedshort
snd_data=array('h',stream.read(CHUNK_SIZE))
ifbyteorder=='big':
snd_data.byteswap()
r.extend(snd_data)

silent=is_silent(snd_data)

ifsilentandsnd_started:
num_silent+=1
elifnotsilentandnotsnd_started:
snd_started=True

ifsnd_startedandnum_silent>30:
break

sample_width=p.get_sample_size(FORMAT)
stream.stop_stream()
stream.close()
p.terminate()

r=normalize(r)
r=trim(r)
r=add_silence(r,0.5)
returnsample_width,r

defrecord_to_file(path):
"'path'"
sample_width,data=record()
data=pack('<'+('h'*len(data)),*data)

wf=wave.open(path,'wb')
wf.setnchannels(1)
wf.setsampwidth(sample_width)
wf.setframerate(RATE)
wf.writeframes(data)
wf.close()

if__name__=='__main__':
print("")
record_to_file('demo.wav')
print("done-resultwrittentodemo.wav")

❺ 【小項目-1】用Python進行人聲伴奏分離和音樂特徵提取

比如采樣率為22050，音頻文件有36s，那麼x為長度為22050*36=793800的float。

用到了python庫 Spleeter
抽象地了解下原理吧
參考文章是這篇：Spleeter: a fast and efficient music source separation tool with pre-trained models
原理文章是這篇 SINGING VOICE SEPARATION: A STUDY ON TRAINING DATA
粗略掃了一眼，原理主要是用U-Net進行分割，然後這個Python工具主要是利用了一個pre-trained的閉亂model。

參考鏈接：機器之心的一篇文章

縱軸表示頻率（從0到10kHz），橫軸表示剪輯的時間。由於我們看到所有動作都發生在頻譜的底部，我們可以將頻率軸轉換為對數軸。

可以對頻率取對數。

感覺這個參數蠻有意思的

整個頻譜被投影到12個區間，代表音樂八度音的12個不同的半音（或色度）， librosa.feature.chroma_stft 用於計算。

先對音頻進行短時傅里葉變換

其中每行存儲一個窗口的STFT，大小為1025*1551

這里要注意理解怎麼基於stft的結果來畫頻譜圖

沒太了解，感覺就大概知道有這么吵態孝個量可以用到就行。

librosa.feature.spectral_centroid 計算信號中每幀的光譜質心：

1. 先理解連續傅里葉變換

2. 再理解離散傅里葉變換
對連續函數進行離散采樣

3. 最後進入短時傅里葉變換升稿
是先把一個函數和窗函數進行相乘，然後再進行一維的傅里葉變換。並通過窗函數的滑動得到一系列的傅里葉變換結果，將這些結果豎著排開得到一個二維的表象。

❻ 用Python做一個網站，照片生成漫畫頭像，有這個網站就夠了。

本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯系我們以作處理

對於動漫，大家一定都不陌生，我周圍的不少單身碼農都是動漫迷。我也是一個資深動漫迷，動漫裡面有好多漂亮的小姐姐，比如斗破蒼穹的美杜莎，雲韻，蕭薰兒，天行九歌裡面紫女，焰靈姬。當然女孩也有自己的動漫情懷，部門裡面還有小姐姐喜歡cosplay呢~~

於是乎我想既然Python無所不能，不如用Python做一個小程序幫小姐姐的頭像轉成漫畫，以後也可以搭訕一下部門的小姐姐，吹噓一把！哈哈，想想都幸福，於是熬了一夜，總於完成了這個小程序。

1

首先，我們來看一下，漫畫和我們的照片的區別，如下圖所示：

2

圖片轉漫畫——減少色彩

圖片轉漫畫——減少色彩
有了上述的兩個細節的描述，我們接下來的程序，也將圍繞著這兩點進行展開。

其對應的程序入下圖所示：

上述程序中，我們需要注意的一點就是對於輸入的圖片我們必須要調整圖片尺寸為4的整數倍，因為在金字塔下采樣的過程中，圖片會默認降到原先尺寸的1/4大小，如果無法除盡的話，程序會自動向上取整，這樣的話，我們上采樣之後，模糊的圖片和最初輸入的圖片在解析度上會有些許的差別，這樣會使後面的程序保存。

3

完成了上面幾步之後，我們接著要進行增強輪廓了。我們的程序如下圖所示：

上述的程序中，我們利用opencv的自適應閾值函數來分割輪廓，然後將我們的輪廓圖片和模糊後的圖片按照輪廓圖片的數值進行與操作，最終得到我們的漫畫圖片。

以上便是程序的核心部分，接下來我們用Python裡面的著名框架flask程序做一個簡單額網站頁面。

4

對於flask程序，想必大家或多或少都有一定的了解，我們所使用的flask程序非常簡單，我簡單的說一下思路和步驟：

❼ 利用Python進行數據分析(9)-重采樣resample和頻率轉換

Python-for-data-重新采樣和頻率轉換

重新采樣指的是將時尺耐間序列從一個頻率轉換到另一個頻率的過程。

但是也並不是所有的采樣方式都是屬於上面的兩種

pandas中使用resample方法來實現頻率轉換，下面是resample方法的參數詳解：

將數據聚合到一個規則的低頻上，例如將時間轉換為每個月，"M"或者"BM"，將數據分成一個月的時間間隔。

每個間隔是半閉合的，一個數據只能屬於一個時間間隔。時間間隔的並集必須是整個時間幀

默認情況下，左箱體邊界是包含的。00:00的值是00：00到00：05間隔內的值

產生的時間序列按照每個箱體左邊的時間戳被標記。

傳遞<span class="mark">label="right"</span>可以使用右箱體邊界標記時間序列

向loffset參數傳遞字元串或者日期偏置

在金融數據中，為每個數據桶計算4個值是常見知困物的問題：

通過<span class="girk">ohlc聚合函數</span>能夠得到四種聚合值列的DF數據

低頻搭液轉到高頻的時候會形成缺失值

ffill() ：使用前面的值填充， limit 限制填充的次數

❽ 利用python和麥克風進行語音數據採集的流程

使用 Python 和麥克風進行語音數據採集的流程可能包括以下步驟：

• 安裝並導入相應的庫：需要安友老裝並導入 PyAudio 庫，這個庫可以讓你在 Python 中野基操作麥克風。

• 打開麥克風：使用 PyAudio 庫打開麥克風，並設置采樣率，采樣位數等參數。

• 開始錄音：頌告謹使用 PyAudio 庫的 read 方法從麥克風中讀取語音數據。

• 存儲數據：使用 Python 的文件操作函數將讀取到的語音數據存儲到本地磁碟上。

• 關閉麥克風：使用 PyAudio 庫關閉麥克風。

• 處理數據:在結束採集之後可以對音頻數據進行處理，比如語音識別，語音合成,語音壓縮等.

注意：請確保在你的系統中已經安裝好了麥克風驅動，並且在 Python 代碼中有足夠的許可權訪問麥克風。

❾ PYTHON語言如何取到聲音的頻率（其他語言也可行）

先得到時域信號，然後做傅立葉變換，得到頻譜。
感覺題主可能對python比較熟悉？那就別換語言了。稍微網路谷歌以下肯定能找到python的傅立葉變換的庫。

❿ random sample 與random samples有什麼不同嗎

sample是樣本 樣品的意思 random是隨意的隨機的的意思 一個是名字一個是形容詞