线性回归（Linear Regression）基本上可以说是机器学习中最简单的模型了，但是实际上其地位很重要（计算简单、效果不错，在很多其他算法中也可以看到用其其作为一部分）。机器学习所针对的问题有两种：一种是回归，一种是分类。回归是解决连续数据的预测问题，而分类是解决离散数据的预测问题。线性回归是一个典型的回归问题。
给定数据集\(D=\left\{\left(\boldsymbol{x}_{1}, y_{1}\right),\left(\boldsymbol{x}_{2}, y_{2}\right), \ldots,\left(\boldsymbol{x}_{m}, y_{m}\right)\right\}\)，线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记，即：
\[
f\left(x_{i}\right)=\boldsymbol{w}^T \boldsymbol{x}_{i} \,\,\,使得 f\left(x_{i}\right) \simeq y_{i} \\
\]
其中
\[
\begin{aligned}
& \boldsymbol{x}^T = [x_1, x_2 \dots x_d, 1]
\end{aligned}
\]
如何确定 ω 和 b 呢?显然?关键在于如何衡量 f(x) 与 u 之间的差别, 均方误差是回归任务中最常用的性能度量，因此我们可试图让均方误差最小化，即
\[
\begin{aligned}
&\mathbf{X}=\left(\begin{array}{ccccc}{x_{11}} & {x_{12}} & {\dots} & {x_{1 d}} & {1} \\ {x_{21}} & {x_{22}} & {\dots} & {x_{2 d}} & {1} \\ {\vdots} & {\vdots} & {\ddots} & {\vdots} & {\vdots} \\ {x_{m 1}} & {x_{m 2}} & {\cdots} & {x_{m d}}\end{array}\right)=\left(\begin{array}{cc}{\boldsymbol{x}_{1}^{\mathrm{T}}} & {1} \\ {\boldsymbol{x}_{2}^{\mathrm{T}}} & {1} \\ {\vdots} & {\vdots} \\ {\boldsymbol{x}_{m}^{\mathrm{T}}} & {1}\end{array}\right) \\
&\boldsymbol{y}=\left[y_{1} ; y_{2} ; \ldots ; y_{m}\right]^T
\end{aligned}
\]
\[
\hat{\boldsymbol{w}}^{*}=\underset{\boldsymbol{w}}{\arg \min }(\boldsymbol{y}-\mathbf{X} \hat{\boldsymbol{w}})^{\mathrm{T}}(\boldsymbol{y}-\mathbf{X} \hat{\boldsymbol{w}})
\]
令\(E_{\hat{\boldsymbol{w}}}=(\boldsymbol{y}-\mathbf{X} \hat{\boldsymbol{w}})^{\mathrm{T}}(\boldsymbol{y}-\mathbf{X} \hat{\boldsymbol{w}})\)对\(\hat{\boldsymbol{w}}\)求导得到：
\[
\frac{\partial E_{\hat{\boldsymbol{w}}}}{\partial \hat{\boldsymbol{w}}}=2 \mathbf{X}^{\mathrm{T}}(\mathbf{X} \hat{\boldsymbol{w}}-\boldsymbol{y})
\]
令上式为零可得\(\hat{\boldsymbol{w}}\)最优解的闭式解:
\[
\hat{\boldsymbol{w}}^{*}=\left(\mathbf{X}^{\mathrm{T}} \mathbf{X}\right)^{-1} \mathbf{X}^{\mathrm{T}} \boldsymbol{y}
\]
Reference
[1] https://study.163.com/course/courseMain.htm?courseId=1004570029
[2] https://en.wikipedia.org/wiki/Matrix_calculus
[3] http://mezeylab.cb.bscb.cornell.edu/labmembers/documents/supplement%205%20-%20multiple%20regression.pdf
[4] https://blog.csdn.net/shouhuxianjian/article/details/46669365
[5] https://blog.csdn.net/uncle_gy/article/details/78879131