最小二乘法

@[toc]

序言

最小二乘法与梯度下降一样都是一种优化方法（在某种约束下的寻找最佳匹配函数的方法）。但与梯度下降不同之处在于，梯度下降是一步步去求解而最小二乘法是一步求解到位。

最小二乘法

通过最小化目标值与预测值的误差的平方和来寻找最佳匹配函数。
可用于

直线拟合
曲线拟合
最小二乘法处理的模型表达式：

y = t {h η}_{1} x_{1} + t {h η}_{2} x_{2} + t {h η}_{3} x_{3} + \underset{+}{\dots} t {h η}_{n} x_{n}

直线拟合：

y = t h η + t {h η}_{1} x_{1}

曲线拟合：

y = t h η + t {h η}_{1} x^{1} + t {h η}_{2} x^{2} + t {h η}_{3} x^{3} + \dots + t {h η}_{n} x^{n}

x是输入值，y是预测值，\theta是需要计算的值，所以不论是直线还是曲线本质还是解决线性问题

计算最佳匹配函数

参考链接

最小二乘法
 最小二乘法简介-超定系统

导航

最小二乘法
计算最佳匹配函数
参考链接
序言
最小二乘法