最小二乘法python

A. 最小二乘法多項式曲線擬合原理與實現

最小二乘法多項式曲線擬合，根據給定的m個點,並不要求這條曲線精確地經過這些點，而是曲線y=f(x)的近似曲線y= φ(x)。

給定數據點pi(xi,yi)，其中i=1,2,…,m。求近似曲線y= φ(x)。並且使得近似曲線與y=f(x)的偏差最小。近似曲線在點pi處的偏差δi= φ(xi)-y，i=1,2,...,m。

1.使偏差絕對值之和最小

2.使偏差絕對值最大的最小

3.使偏差平方和最小

按偏差平方和最小的原則選取擬合曲線，並且採取二項式方程為擬合曲線的方法,稱為 最小二乘法 。

Python運行環境與編輯環境；
Matplotlib.pyplot圖形庫，可用於快速繪制2D圖表，與matlab中的plot命令類似，而且用法也基本相同。

B. Python科學計算——任意波形擬合

任意波形的生成 (geneartion of arbitrary waveform) 在商業，軍事等領域都有著重要的應用，諸如空間光通信 (free-space optics communication)， 高速信號處理 (high-speed signal processing)，雷達 (radar) 等。在任意波形生成後， 如何評估生成的任意波形 成為另外一個重要的話題。

假設有一組實驗數據，已知他們之間的函數關系：y=f(x)，通過這些信息，需要確定函數中的一些參數項。例如，f 是一個線型函數 f(x)=k*x+b，那麼參數 k 和 b 就是需要確定的值。如果這些參數用 p 表示的話，那麼就需要找到一組 p 值使得如下公式中的 S 函數最小：

這種演算法被稱之為 最小二乘擬合 (least-square fitting)。scipy 中的子函數庫 optimize 已經提供實現最小二乘擬合演算法的函數 leastsq 。下面是 leastsq 函數導入的方式：

scipy.optimize.leastsq 使用方法

在 Python科學計算——Numpy.genfromtxt 一文中，使用 numpy.genfromtxt 對數字示波器採集的三角波數據導入進行了介紹，今天，就以 4GHz三角波 波形的擬合為案例介紹任意波形的擬合方法。

在 Python科學計算——如何構建模型？ 一文中，討論了如何構建三角波模型。在標准三角波波形的基礎上添加了 橫向，縱向的平移和伸縮特徵參數 ，最後添加了 雜訊參數 模擬了三角波幅度參差不齊的隨機性特徵。但在波形擬合時，並不是所有的特徵參數都要納入考量，例如，雜訊參數應是 波形生成系統 的固有特徵，正因為它的存在使得產生的波形存在瑕疵，因此，在進行波形擬合並評估時，不應將雜訊參數納入考量，最終模型如下：

在調用 scipy.optimize.leastsq 函數時，需要構建誤差函數：

有時候，為了使圖片有更好的效果，需要對數據進行一些處理：

leastsq 調用方式如下：

合理的設置 p0 可以減少程序運行時間，因此，可以在運行一次程序後，用擬合後的相應數據對 p0 進行修正。

在對波形進行擬合後，調用 pylab 對擬合前後的數據進行可視化：

均方根誤差 (root mean square error) 是一個很好的評判標准，它是觀測值與真值偏差的平方和觀測次數n比值的平方根，在實際測量中，觀測次數n總是有限的，真值只能用最可信賴（最佳）值來代替.方根誤差對一組測量中的特大或特小誤差反映非常敏感，所以，均方根誤差能夠很好地反映出測量的精密度。

RMSE 用程序實現如下：

擬合效果，模型參數輸出：

leastsq 函數適用於任何波形的擬合，下面就來介紹一些常用的其他波形：

C. Python最小二乘法擬合只能return一個方程嗎

最小二乘法是一種數學優化技術，它通過最小化誤差的平方和尋找數據的最佳函數匹配。優化是找到最小值或等式的數值解的問題。而線性回歸就是要求樣本回歸函數盡可能好地擬合目標函數值，也就是說，這條直線應該盡可能的處於樣本數據的中心位置。因此，選擇最佳擬合曲線的標准可以確定為：使總的擬合誤差（即總殘差）達到最小。如果用p表示函數中需要確定的參數，那麼目標就是找到一組p,使得下面的函數S的值最小：