y = ax + b 
y 因变量  dependent variable 
x 自变量  independent variable 
a 斜率    slope
b 截距    intercept



TSS: Total Sum of Squares（总离差平方和） 
因变量的方差
sum( (y-avgy)^2 )

 

RSS: Residual Sum of Squares （残差平方和） 
由误差导致的真实值和估计值之间的偏差平方和(Sum Of Squares Due To Error)

sum( (y-y')^2 )
y' 估计值

 

ESS: Explained Sum of Squares （回归平方和） 
被模型解释的方差(Sum Of Squares Due To Regression) 

sum( (y' - avgy)^2 )


TSS=RSS+ESS


R2: Coefficient of Determination（决定系数） 
因变量方差中可由自变量解释的比例，是模型解释力的指标

R2 = （TSS - RSS）/ TSS  = 1 - (RSS / TSS) 



adjusted R2: 与R2类似，不过考虑到了样本数和变量数

调整后R2 = 1 - (1-R2)(n - 1)/(n - p - 1)

n-p-1: 自由度
p: 特征数




MSE: Mean Squared Error （均方误差） 
真实值和估计值之间的偏差平方和的平均值，用来评估模型的效果

sum( (y-y')^2) / n  



RMSE: Root Mean Squared Error（均方根误差） 
MSE的根，可从单位度量上衡量模型的效果

RMSE = MSE^0.5
 

RSE: Residual Standard Error（残差的标准误差） 
描述目标和真实回归线之间的平均偏移量，用来估计残差的标准差

RSE = (RSS / (n-p-1)) ^ 0.5 

 

Correlation
Pearson's r（皮尔逊相关系数）  
用来检测自变量X和因变量Y之间的线性关系有多强


cor(x,y) = sum((x-avgx)(y-avgy)) / ( sum((x-avgx)^2) * sum((y-avgy)^2) )