学步园

线性回归公式推导

在坐标上分布很多点，这些点可以通过y=mx+b的直线进行近似模拟，如图。最合适的线性回归线（Best fitting regression）就是Error的方差最小，即Square error to the line: SE_line最小。我们需要找寻SEline最小时m和b的值，即find the m & b that minimizes SE_line。

SE_line=(y₁-(mx₁+b))²+(y₂-(mx₂+b))²+ … +(y_n-(mx_n+b))² 
     = y₁²-2y₁(mx₁+b)+(mx₁+b)²+y₂²-2y₂(mx₂+b)+(mx₂+b)²+
… + y_n²-2y_n(mx_n+b)+(mx_n+b)²
    = y₁² – 2y₁mx₁ – 2y₁b + m²x₁²+2mx₁b+b²+ … …
    = (y₁²+ y₂²+…+y_n²) - 2m(x₁y₁+x₂y₂+…+x_ny_n)
- 2b(y₁+y₂+…+y_n) + m²(x₁²+x₂²+…+x_n²)
+ 2mb(x₁+x₂+…+x_n) + nb²

如果知道所有点的分布，即在x，y已知的情况下，不同的m和b，有不同的SE_line，是一个三纬曲面，类似碗状，求最小SE_line时m、b知，可通过对m和b求偏导获得。偏导就是对于某一个自变量进行求导。

从第二的方程中可以知道x和y的均值位于该直线上，解方程得

决定系数r²

y=mx+b，使得SE_line为最小，我们需要衡量这条回归线（regression line）和数据的吻合程度有多少。也就是How much (what %) of the total variation in y is described by the variation in x (or by the regression line) .

Total variation of y 也相当是square error of mean：

How much of total variation is
NOT describe by the regression line:

SE_line=(y₁-f(x₁))²+(y₁-f(x2))²+ … + (y_n-f(x_n))²
               =(y₁-(mx₁+b))²+(y₁-(mx₂+b))²+ … + (y_n-(mx_n+b))²

What % variation is NOT described by the variation in x or by the regression line 。回归线y=mx+b，是用x来描述y。

What % of total variation is described by the variation in x:

R²: coefficient of determination，决定系数。当SE_line越小，越符合回归线，r²越接近1；相反当SE_line越大，r²越接近0。R²可以视为衡量回归线符合情况的参数。

协方差Covariance

协方差Covariance，Cov(X,Y)=E[(X-E(X))(Y-E(Y))]，观察X与其均值之差X-E(X)以及Y与其均值之差E(Y)之间的同步关系，是否X-E(X)上升，Y-E(Y)也上升，两者之间的关联。

Cov(X,Y)=E[(X-E(X))(Y-E(Y))]=E[XY-XE(Y)-YE(X)+E(X)E(Y)]

由于E(X)是线性，有Cov(X,Y)= E[XY]-E[XE(Y)]-E[YE(X)]+E[E(X)E(Y)]，这里暗红色部分是个常数，有

Cov(X,Y)= E[XY]-E(Y)E(X)-E(X)E(Y)+E(X)E(Y) = E(XY)-E(X)E(Y)

针对用采样样本进行估算，则有

重写regression line的斜率 ，当中Var(X)=E[(X-E(X))²]=Cov(X,X)

相关链接：我的四方书库