线性回归

线性回归是利用数理统计中回归分析, 来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法, 运用十分广泛。 其表达形式为y = w’x+e,e为误差服从均值为0的正态分布。

根据变量个数的多少可以分为一元线性回归和多元线性回归。

回归模型中, 一元回归是最简单且稳健的, 但描述复杂系统的行为时往往乏力, 因此基于多元回归的预测技术更为常见。传统的多元回归模型一般是线性的,由于可能存在的不显著变量以及各自变量之间的相关关系,会 导致回归的正规方程组出现严重的病态, 影响到回归方程的稳定性, 所以多元线性回归面临的一个基本问题是寻找“最优”回归方程。

一元线性回归

回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,称为一元线性回归分析。 其表达形式为:

Y = a + b*X + e

其中a表示截距,b表示直线的斜率,e是误差项。这个方程可以根据给定的预测变量(X)来预测目标变量(Y)的值。

常见应用场景:

简单地预测商品价格、成本评估等

多元线性回归

回归分析中,包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。 其表达形式为:

Y = a0 + a1 * X1 + a2 * X2 + ... + an * Xn + e

其中,

(a0,a1,a2,a3,...,an)为(固定的)未知的参数向量

(X1,X2,X3,...,Xn)为解释变量, 其可以为固定的(设计的), 或者随机的

e 为随机误差项

这个方程可以根据给定的预测向量(X1,X2,X3,...,Xn)来预测目标变量(Y)的值。

当a0=1,a1=2,a2=3,e=0.1时,方程如下:

Y = 1 + 2 * X1 + 3 * X2 + 0.1