最小二乘法python

A. 最小二乘法多项式曲线拟合原理与实现

最小二乘法多项式曲线拟合，根据给定的m个点,并不要求这条曲线精确地经过这些点，而是曲线y=f(x)的近似曲线y= φ(x)。

给定数据点pi(xi,yi)，其中i=1,2,…,m。求近似曲线y= φ(x)。并且使得近似曲线与y=f(x)的偏差最小。近似曲线在点pi处的偏差δi= φ(xi)-y，i=1,2,...,m。

1.使偏差绝对值之和最小

2.使偏差绝对值最大的最小

3.使偏差平方和最小

按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为 最小二乘法 。

Python运行环境与编辑环境；
Matplotlib.pyplot图形库，可用于快速绘制2D图表，与matlab中的plot命令类似，而且用法也基本相同。

B. Python科学计算——任意波形拟合

任意波形的生成 (geneartion of arbitrary waveform) 在商业，军事等领域都有着重要的应用，诸如空间光通信 (free-space optics communication)， 高速信号处理 (high-speed signal processing)，雷达 (radar) 等。在任意波形生成后， 如何评估生成的任意波形 成为另外一个重要的话题。

假设有一组实验数据，已知他们之间的函数关系：y=f(x)，通过这些信息，需要确定函数中的一些参数项。例如，f 是一个线型函数 f(x)=k*x+b，那么参数 k 和 b 就是需要确定的值。如果这些参数用 p 表示的话，那么就需要找到一组 p 值使得如下公式中的 S 函数最小：

这种算法被称之为 最小二乘拟合 (least-square fitting)。scipy 中的子函数库 optimize 已经提供实现最小二乘拟合算法的函数 leastsq 。下面是 leastsq 函数导入的方式：

scipy.optimize.leastsq 使用方法

在 Python科学计算——Numpy.genfromtxt 一文中，使用 numpy.genfromtxt 对数字示波器采集的三角波数据导入进行了介绍，今天，就以 4GHz三角波 波形的拟合为案例介绍任意波形的拟合方法。

在 Python科学计算——如何构建模型？ 一文中，讨论了如何构建三角波模型。在标准三角波波形的基础上添加了 横向，纵向的平移和伸缩特征参数 ，最后添加了 噪声参数 模拟了三角波幅度参差不齐的随机性特征。但在波形拟合时，并不是所有的特征参数都要纳入考量，例如，噪声参数应是 波形生成系统 的固有特征，正因为它的存在使得产生的波形存在瑕疵，因此，在进行波形拟合并评估时，不应将噪声参数纳入考量，最终模型如下：

在调用 scipy.optimize.leastsq 函数时，需要构建误差函数：

有时候，为了使图片有更好的效果，需要对数据进行一些处理：

leastsq 调用方式如下：

合理的设置 p0 可以减少程序运行时间，因此，可以在运行一次程序后，用拟合后的相应数据对 p0 进行修正。

在对波形进行拟合后，调用 pylab 对拟合前后的数据进行可视化：

均方根误差 (root mean square error) 是一个很好的评判标准，它是观测值与真值偏差的平方和观测次数n比值的平方根，在实际测量中，观测次数n总是有限的，真值只能用最可信赖（最佳）值来代替.方根误差对一组测量中的特大或特小误差反映非常敏感，所以，均方根误差能够很好地反映出测量的精密度。

RMSE 用程序实现如下：

拟合效果，模型参数输出：

leastsq 函数适用于任何波形的拟合，下面就来介绍一些常用的其他波形：

C. Python最小二乘法拟合只能return一个方程吗

最小二乘法是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。优化是找到最小值或等式的数值解的问题。而线性回归就是要求样本回归函数尽可能好地拟合目标函数值，也就是说，这条直线应该尽可能的处于样本数据的中心位置。因此，选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。如果用p表示函数中需要确定的参数，那么目标就是找到一组p,使得下面的函数S的值最小：