第九章 直线回归与相关
Linear Regression and correlation
第一节 直线回归
一、概述
1、函数关系与回归关系
函数关系：自变量取某一数值时，应变量有一个完全确定的数值与之对应。（多见于物理、化学等学科，生物医学界不少变量间有一定的关系，但不是十分明确）
回归关系：应变量随自变量的变化而变化，且呈直线趋势，但并非所有的点子都在一直线上。
直线回归分析的任务：找出一条最能代表这些数据关系的一条直线。
方法：一般采用最小二乘法least square method找出一条各实测点与它的纵向距离的平方和为最小的直线回归方程。又称作最小二乘回归
变量y随变量x而变化，称x为自变量independent variable，y为应变量dependent variable.
2、直线回归方程
直线方程：y=a+bx
直线回归方程：
a：为回归直线在Y轴上的截距intercept，a>0表示直线与纵轴的交点在原点的上方，a<0交点在原点的下方。a=0则回归直线通过原点
b：回归系数regression coefficient，为直线的斜率slope，b>o直线从左下走向右上, b<0从左上走向右下, b=0直线与横轴平行。意义：x每增(减)一单位，Y平均改变b个单位
3、最小二乘法
样本含量为n的的样本资料标在(x,y)平面上，可得n个点，故可确定很多直线，直线回归的主要目标之一是用实测的x估计y，所以希望估计的y与实测的y间的误差愈小愈好。即从所有直线中找到一条直线使估计误差平方和达最小。
即 最小
二、求直线回归方程的基本方法
P110例9－1：
1)由原始数据绘散点图，各点分布呈直线趋势，故作下列计算
2)求x, y, x2, y2, xy
3)计算x,y的均数，lxx、lyy和lxy
4)求回归系数b和截距a
5)列出回归方程
6)直线回归方程图示：在自变量x的实测全距范围内任取相距较远且易读的两x值，代入回归方程求y的估计值，在图绘出两点连成直线。
注意：所绘直线必然通过 ，若纵坐标、横坐标无折断号时，将此直线左端延长与纵轴相交，交点的纵坐标必然等于截距a，这两点可用来核对回归线绘制是否正确。
第二节 直线回归分析中误差及可信区间
一、标准估计误差
估计误差error of estimate：在直线回归中，各实际值y与由回归方程计算出的估计值之间有一定的误差，称～。这种离差可以用类似标准差的式子进行计算，称为标准估计误差standard error of estimate。由于 决定于均数和回归系数，所以自由度为n-2
lyy的分析:
p点的纵坐标被回归线、均数y 截成三段
SS总＝SS回＋SS剩
Y
X
P
y - y
^
y - y
^ -
y - y
y
各实测点离回归直线越近，剩余平方和愈小，说明直线回归的估计误差愈小
总＝回＋剩
总＝n－1，回＝1，剩＝n－2
二、实测值围绕回归线的离散度
回归分析时假设：X取某一值时，Y围绕回归线＋x呈正态分布，是其标准差的估计值。
故可估计出约有95％观测值y在总体回归线y= ＋x上下个标准估计误差范围内，见P112图9－3
三、回归系数的标准误
表示：样本回归系数b对总体回归系数进行估计时误差的大小
求的95％可信区间
b()Sb ，自由度=n-2
四、 的标准误
y的标准误本应由Sy/n求得，但因在直线回归当中x的影响被扣除后，y方面的变异减小，故y的标准误，即x=x时y^的标准误为
五、 的可信区间
是总体均数 的估计值
95％可信区间：
六、 的标准误
当xix时， 的变异不仅决定于y的误差，也与回归系数b的误差有关
七、 (个体y值)的可信区间
理论上，每个xi对应的y估计值都有一个区间估计，把这些可信区间的上限和下限连起来，为两条曲线。把这两条曲线间的空间称为回归直线的可信区间。
八、截距的误差及总体参数的可信区间
由于截距是x=0时y的估计值，
九、单一个体yi值的范围预测
第三节 回归系数和截距的统计意义检验
一、回归系数的t检验
二、回归系数的方差分析
所得结论与t检验相同
三、两个回归系数差别的统计意义检验
P119,例9-3
四、截距的统计意义检验
检验a是否是从总体截距为0的总体中抽样得到
t=a/Sa 自由度为n-2
五、两条回归线高度差别的统计意义检验
当两条回归线的回归系数的差别无统计意义时，可以用一公共的斜率来拟合此两条回归线。(见P121，一般了解)
第四节 直线回归方程的应用
一、描述两变量的依存关系
二、利用回归方程进行预测
三、利用回归方程进行统计控制
统计控制：是利用回归方程进行逆估计，如要求应变量在一定范围波动，可以通过自变量的取值来实现。
四、应用直线回归方程应注意的问题
1、作回归分析要有实际意义，不能把毫无
关联的两种现象勉强作回归分析，即便有回归关系，也不一定有因果关系，还必须对两种现象间的内在联系有所认识，即能从专业理论上作出合理解释或有所依据
2、在进行直线回归分析时，应绘散点图，当观察点的分布有直线趋势，才适宜作直线回归分析。散点图还能提示资料有无异常点，异常点对方程估计影响较大
3、直线回归方程的适用范围一般以自变量的取值范围为限，在此范围求出y的估计值，称为内插，超出自变量取值范围称外延。
若无充分理由证明超过自变量取值范围还是直线，应该避免外延
第五节 相关
一、相关系数的意义
说明两变量(x,y)间关系密切程度的统计指标叫相关系数coefficient of correlation,用r表示
r是说明具有直线关系的两个变量间，相关关系的密切程度与相关方向的指标。
r没有单位，其值为－1r1，值为正时表示正相关，为负时表示负相关；绝对值为1时表示完全相关。(生物界少见)
r是总体相关系数(rho)的估计值
二、相关系数的计算方法
用上述公式直接计算(小样本未分组资料)
三、相关系数的统计意义检验－t检验
样本相关系数r是总体相关系数的估计值。即使从＝0的总体中随机抽样，由于抽样误差的影响，所得的r值也常不等于0。
只有在相关系数有统计意义时，才能根据绝对值的大小来说明x,y相互关系的密切程度。
Sr为相关系数的标准误
相关系数的统计意义也可直接查相关系数统计意义界限表(附表9－1，P566)，若不能直接查得，可用内插法估计
四、两个相关系数差别的统计意义检验
只有当从＝0的总体中随机抽样，各样本相关系数r的分布才接近正态分布。
若从0的总体中随机抽样，样本相关系数并不呈正态分布。
数理统计证明：把r按下式转换成Z值时，则不论为何值，Z值的分布均近似正态分布
P125,例9－4
五、总体相关系数的区间估计
将r进行Z转换，对Z用正态法估计95％可信区间，最后将Z作反变换，得相关系数95％可信区间
六、相关和回归的关系
(一)区别：
1、资料要求不同：
回归要求应变量Y服从正态分布，X是可以精确测量和严格控制的变量，一般称为I型回归。
相关要求两个变量服从双变量正态分布，这种资料若进行回归分析，称II型回归。可得到由X推Y和由Y推X两个回归方程
2、应用情况不同
说明两变量间依存变化的数量关系用回归，说明变量间的相关关系用相关
(二)、联系
1、方向一致：
对一组数据若同时计算r和b，它们的正负号是一致的。r为正号说明两变量间的相互关系是同向变化的，b为正，说明x增(减)一个单位，y平均增(减)b个单位。
2、假设检验等价
对同一样本， r和b的假设检验得到的t值相等。由于r检验可以直接查表，而b的假设检验计算较繁，故实际中常用前法代替后法
3、用回归解释相关
(1)r的平方称为决定系数coefficient of determination
说明SS总固定不变时，回归平方和的大小决定了r的大小。回归平方和越接近总平方和，则r越接近1。r2表示回归平方和在总平方和中所占的比例，即总变异中可以用回归解释的部分，说明两变量间的相关关系的实际意义
(2)剩余平方和相等，但相关系数可相差很大，相关系数随着直线斜率的增加而增大。可见相关系数的大小与剩余平方和及回归系数有关，故相关系数不能作为回归估计精度的指标。
