系數理解
1、相關系數與回歸系數:A回歸系數大于零則相關系數大于零
B回歸系數小于零則相關系數小于零
(它們的取值符号相同)
2、回歸系數:由回歸方程求導數得到,所以,回歸系數>0,回歸方程曲線單調遞增;
回歸系數<0,回歸方程曲線單調遞j減;
回歸系數=0,回歸方程求最值(最大值、最小值)
從線性回歸到Logistic回歸
線性回歸和Logistic回歸都是廣義線性模型的特例。n
假設有一個因變量y和一組自變量x1,x2,x3,…,xn,其中y為連續變量,我們可以拟合一個線性方程:n
y=β0+β1*x1+β2*x2+β3*x3+…+βn*xnn
并通過最小二乘法估計各個β系數的值。n
如果y為二分類變量,隻能取值0或1,那麼線性回歸方程就會遇到困難:方程右側是一個連續的值,取值為負無窮到正無窮,而左側隻能取值[0,1],無法對應。為了繼續使用線性回歸的思想,統計學家想到了一個變換方法,就是将方程右邊的取值變換為[0,1]。最後選中了Logistic函數:n
y=1/(1+e-x)n
這是一個S型函數,值域為(0,1),能将任何數值映射到(0,1),且具有無限階可導等優良數學性質。n
我們将線性回歸方程改寫為:n
y=1/(1+e-z),n
其中,z=β0+β1*x1+β2*x2+β3*x3+…+βn*xnn
此時方程兩邊的取值都在0和1之間。n
進一步數學變換,可以寫為:n
Ln(y/(1-y))=β0+β1*x1+β2*x2+β3*x3+…+βn*xnn
Ln(y/(1-y))稱為Logit變換。我們再将y視為y取值為1的概率p(y=1),因此,1-y就是y取值為0的概率p(y=0),所以上式改寫為:n
p(y=1)=ez/(1+ez),n
p(y=0)=1/(1+ez),n
其中,z=β0+β1*x1+β2*x2+β3*x3+…+βn*xn.n
接下來就可以使用”最大似然法”估計出各個系數β。