使用统计学方法进行检验和预测¶
一、线性回归中变量的性质与关系¶
考点1：自变量与因变量的地位不对等¶
专业解释：
在回归分析中，变量分为自变量（解释变量 X）和因变量（被解释变量 Y）。X 用于解释或预测，Y 是被预测的对象。二者地位不对等，不能互换。
通俗解释：
就像“父亲”和“儿子”的关系，不能反过来叫。回归分析研究的是“因为 X 变了，所以 Y 怎么变”。
对比相关分析：
| 项目 | 线性回归分析 | 简单相关分析 |
|---|---|---|
| 变量地位 | 不对等，区分自变量、因变量 | 对等，无自变量因变量之分 |
| 变量随机性 | Y 一定随机；X 在观测情形下也随机（不可控） | 两个变量全部都是随机变量 |
| 分析目的 | 由自变量预测因变量取值 | 衡量两变量线性相关强弱与方向 |
| 系数符号 | 回归系数看方向；绝对值不能直接比较强弱 | 相关系数取值 [-1,1]，既看方向又看强弱 |
易错提醒：
- 回归：变量地位不对等；相关：地位对等（必考判断）
- 回归系数只能判断相关方向，不能直接判断强弱！
考点2：自变量的可控性问题（高频易错）¶
专业解释：
回归分两种情形：
1.试验性回归（控制实验）：人为设定自变量，自变量可控；
2.观测性回归（社会、经济调研数据，统计课程重点考察场景）：我们只是去观察收集数据，自变量不是人为控制出来的，属于不可控的观测值；因变量 Y 一定是随机变量（带有随机误差 ε）。
通俗解释：
- 可控（实验）：你在厨房做蛋糕，你可以决定放10克糖还是20克糖（X 是你控制的）。
- 不可控（观测）：你想研究“身高”对“体重”的影响。你站在大街上量身高，你不能命令路人“你必须长到1米8”，你只能被动记录看到的数据。这就是不可控。
考试技巧：
统计课程考试大多考察观测数据下的回归分析，因此判定自变量为不可控。很多同学记忆“自变量可控”是物理、实验室控制实验的情况，这是常见陷阱。
案例：
研究“广告费”对“销售额”的影响。你无法完全控制市场环境，只能记录上个月花了多少钱（X，不可控），然后看卖了多少货（Y，随机波动）。
二、线性回归的前提假设¶
考点3：高斯-马尔可夫假设（OLS 经典假设）¶
专业解释：
线性回归模型（OLS）要有效，必须满足以下经典假设：
1.零均值：误差项 ε 的期望为0。
2.同方差性：误差项的方差是常数，不随 X 变化。
3.无自相关（序列不相关）：误差项之间互不影响（Cov(εᵢ, εⱼ) = 0）。
4.解释变量与误差项不相关（外生性）：X 的变化不能是由误差项引起的。
5.无多重共线性：自变量之间不能有完全的线性关系（否则算不出唯一的解）。
6.正态性（可选但重要）：为了做假设检验（t检验、F检验），通常假设误差项服从正态分布。
通俗解释：
- 无多重共线性：你的几个帮手（自变量）不能干一模一样的活。如果“身高”和“腿长”都放进模型预测体重，它俩太像了，模型就晕了，不知道功劳算谁的。
- 无自相关：今天的错误不能影响明天的错误。比如预测股价，如果今天预测高了，明天接着高，这就叫有自相关（不好）。
- 正态分布：大部分误差应该集中在0附近，特别大或特别小的误差很少见，像个钟形曲线。
易错提醒：
- 多重共线性不是“完全不能有”，而是不能有“完全线性相关”。轻微共线性可以通过正则化（岭回归、Lasso）缓解。
- 逻辑回归同样可以处理多重共线性问题，并非“无法解决”。
三、回归系数的含义与判定¶
考点4：回归系数的方向与强弱¶
专业解释：
- 方向判定：回归系数 β̂ 的符号（正负）直接反映了自变量与因变量的相关方向。
- β̂ > 0：正相关（X 增，Y 增）。
- β̂ < 0：负相关（X 增，Y 减）。
- 强弱判定（陷阱）：回归系数的绝对值大小不能直接代表相关性的强弱！因为系数受量纲（单位）影响。例如，用“米”做单位和用“厘米”做单位，系数会差100倍，但相关性没变。要看强弱得看标准化回归系数或相关系数 R。
通俗解释：
- 看方向：系数是正的，就是“水涨船高”；系数是负的，就是“此消彼长”。
- 看强弱：不能只看数字大小。比如“头发长度”对“性别”的影响系数可能很大，但这不代表它们关系紧密，可能是因为单位没统一。
案例：
预测房价时，若“面积”的回归系数为 5000，“房间数”的回归系数为 20000。不能直接说“房间数”比“面积”更重要，因为面积单位是平方米，房间数单位是间，量纲不同。
四、逻辑回归的核心概念¶
考点5：逻辑回归的本质与应用场景¶
专业解释：
- 本质：逻辑回归虽然名字中有“回归”，但它本质上是一种分类算法，用于预测事件发生的概率（0到1之间），适用于二分类问题。
- 应用场景：
- ✅ 适合：疾病预测（得病/不得病）、违约预测（违约/不违约）、用户等级分类。
- ❌ 不适合：聚类（无标签数据）、纯数值预测（如预测房价具体多少钱，那是线性回归的事）。
- 算法归属：属于广义线性模型，是有监督学习。
通俗解释：
逻辑回归就像一个开关或者门槛。它不直接告诉你结果，而是告诉你“发生的可能性有多大”。比如它不算出你考了多少分，而是算出你“及格的概率是80%”。
为什么叫回归？
因为它用到了回归的公式（wX + b），只是最后套了一个 Sigmoid 函数把结果压缩到了0-1之间。
案例：
银行审批贷款。输入用户的年龄、收入、负债。逻辑回归输出一个值 P = 0.85。这意味着该用户有85%的概率会按时还款。银行设定阈值0.6，因为 0.85 > 0.6，所以批准贷款。
考点6：Sigmoid 函数¶
专业解释：
Sigmoid 函数是逻辑回归的核心，其数学表达式为：
σ(z) = 1 / (1 + e^(-z))
其中，z = w·x + b 是线性组合的输出。
关键性质：
- 输出范围严格在 (0, 1) 之间；
- 单调递增，且平滑可导，便于优化；
- 可以将任意实数输入映射为概率值，非常适合用于分类任务中的概率估计。
通俗解释：
Sigmoid 函数就像一个“压缩器”，把任意大小的数（从负无穷到正无穷）压缩到 0 到 1 之间，变成概率值。
其他选项分析：
- 求模：数学运算，与概率映射无关；
- 平方：仅改变数值大小，无法限制输出范围；
- 几率单位：是概率与 odds 的概念，不是函数。
答案：Sigmoid
考点7：逻辑回归与多元线性回归的区别¶
专业解释：
| 项目 | 多元线性回归 | 逻辑回归 |
|---|---|---|
| 预测目标 | 连续型因变量（如房价、温度） | 事件发生的概率（0到1），适用于二分类 |
| 模型函数形式 | 线性组合 | Sigmoid 函数映射 |
| 系数解释 | 自变量每变化一个单位，因变量的平均变化量 | 自变量每变化一个单位，对数几率（log-odds）的变化量 |
| 拟合方式 | 最小二乘法 | 最大似然估计 |
| 评估指标 | R²、均方误差 | AUC、准确率、F1分数 |
通俗解释：
- 线性回归：预测“多少”（如房价多少钱）。
- 逻辑回归：预测“是不是”（如是否违约）。
案例：
- 线性回归：根据面积、房间数预测房价。
- 逻辑回归：根据年龄、收入预测是否违约。
考点8：逻辑回归系数的解释¶
专业解释：
在逻辑回归中，回归系数并非直接表示自变量对事件发生概率的影响，而是表示自变量对事件发生对数几率（log-odds）的影响。
- 几率（Odds）：事件发生的概率与不发生的概率之比，即 Odds = P / (1-P)。
- 对数几率（Log-odds）：几率的自然对数，即 ln(Odds) = ln(P / (1-P))。
- 逻辑回归模型假设：ln(P / (1-P)) = β₀ + β₁X₁ + ⋯ + βₖXₖ。
- 回归系数 βᵢ 表示自变量 Xᵢ 每增加一个单位时，对数几率的变化量。
选项分析：
- A. 自变量对于概率的影响 → ❌ 错误，回归系数不直接解释概率。
- B. 自变量对于几率的影响 → ❌ 错误，是“对数几率”，不是几率本身。
- C. 自变量对概率的对数的影响 → ❌ 错误，不是“概率的对数”，而是“几率的对数”。
- D. 自变量对几率的对数的影响 → ✅ 正确。
答案：D
通俗解释：
逻辑回归的系数不像线性回归那样直接说“X 增加1，Y 增加多少”，而是说“X 增加1，事件发生的‘赔率’的对数增加多少”。
五、逻辑回归的计算与应用¶
考点9：逻辑回归概率计算¶
专业解释：
逻辑回归模型的线性部分（logit）公式：
Y = β₀ + β₁X₁ + β₂X₂ + ⋯ + βₖXₖ
事件发生的概率 P 通过 Sigmoid 函数计算：
P = 1 / (1 + e^(-Y))
案例：
已知逻辑回归模型：Y = -3 + 0.06X₁ + 0.05X₂ - 0.2X₃
变量定义：
- X₁：用户上月的消费次数
- X₂：年龄
- X₃：性别（1代表男，2代表女）
当前用户：X₁=10，X₂=20，X₃=2（女性）
计算：
Y = -3 + 0.06×10 + 0.05×20 - 0.2×2
Y = -3 + 0.6 + 1.0 - 0.4 = -1.8
P = 1 / (1 + e^(-(-1.8))) = 1 / (1 + e^1.8) ≈ 1 / (1 + 6.05) ≈ 0.1418 ≈ 14%
答案：A. 14%
通俗解释：
把用户的数据代入公式，先算出一个线性分数，再用 Sigmoid 函数把这个分数变成概率。这个用户逾期的概率约为14%。
考点10：逻辑回归的常见误解与陷阱¶
专业解释：
- A 错误：逻辑回归的自变量不必须是分类变量。可以是连续型变量，也可以是分类变量。不需要对连续型变量进行离散化处理。
- B 错误：逻辑回归虽然名字中有“回归”，但它本质上是一种分类算法，不属于“线性回归类算法”。
- C 错误：逻辑回归可以处理多重共线性问题，可以通过正则化方法（如岭回归、Lasso）或偏最小二乘逻辑回归等变种来缓解。“无法解决”说法过于绝对。
- D 错误：逻辑回归是有监督学习算法，因为它需要带标签的训练数据来学习模型参数。
通俗解释：
逻辑回归是分类算法，不是回归算法。它需要标签数据，属于有监督学习。自变量可以是连续的，也可以处理共线性问题。
六、模型评价与诊断¶
考点11：R² 与修正 R² 的区别¶
专业解释：
- R²（决定系数）：衡量模型对数据的拟合程度。越接近1越好。但它有个缺点：只要你往模型里加变量（哪怕是垃圾变量），R² 就会变大或不变，绝不会变小。
- 修正 R²（Adjusted R²）：对变量个数进行了惩罚。如果加入的变量对模型贡献不大，修正 R² 反而会下降。它是筛选变量的利器，但评价拟合优度首选 R²。
通俗解释：
- R² 像“虚荣指标”，你多招几个人（变量），团队看起来总人数多了，好像更厉害了。
- 修正 R² 像“绩效考核”，如果你招的人不干活，平均分反而被拉低了。
考试技巧：
- 问“拟合程度”选 R²；
- 问“模型选择/变量筛选”选修正 R²。
易错坑：
- R² 只能代表拟合程度，≠统计显著！拟合很高，模型仍可能整体不显著；不能拿 R² 做假设检验。
考点12：残差图诊断¶
专业解释：
- 理想状态：残差随机分布在0轴上下，形成一个水平的带状区域（独立同分布）。
- 异方差：残差呈喇叭口状（随着预测值变大，波动变大）。
- 非线性：残差呈现曲线趋势（说明模型没捕捉到非线性关系）。
通俗解释：
残差图就像射击打靶。好的模型，弹孔（残差）应该均匀分布在靶心（0线）周围。如果弹孔都偏上面，或者呈扇形散开，说明枪（模型）有问题。
考点13：回归问题与分类问题的评价指标¶
专业解释：
- 回归问题常用指标：平均绝对误差（MAE）、均方误差（MSE）、决定系数（R²）。
- 分类问题常用指标：混淆矩阵、ROC曲线、AUC、准确率、F1分数。
易错提醒：
混淆矩阵和ROC曲线是分类问题的典型评价指标，不是回归问题的。回归问题不能用混淆矩阵和ROC曲线来评价。
选项分析：
- A. “回归问题要远比分类问题更加复杂” → ❌ 错误，复杂度取决于具体任务，不能笼统比较。
- B. “回归问题和分类问题同属于有监督学习范畴” → ✅ 正确。
- C. “回归问题最常用的评价指标体系有混淆矩阵以及ROC曲线” → ❌ 错误，这是分类问题的指标。
- D. “回归问题的模型更加全面、完善的描绘了事物客观规律” → ❌ 错误，主观判断，缺乏依据。
答案：C（错误最明显，概念性混淆）
七、离散系数（变异系数）¶
考点14：离散系数的定义与作用¶
专业解释：
离散系数，也称为变异系数，是标准差与平均数的比值，属于相对离散程度的测度指标。它的主要作用是消除数据水平高低和计量单位不同对离散程度比较的影响，从而能够公平地比较不同组别数据的离散程度。
选项分析：
- A. “说明数据的集中趋势” → ❌ 错误，集中趋势由平均数、中位数、众数等衡量。
- B. “比较不同计量单位数据的离散程度” → ✅ 正确，离散系数是无量纲的相对指标。
- C. “说明数据的偏态程度” → ❌ 错误，偏态程度由偏态系数衡量。
- D. “比较不同变量值水平数据的离散程度” → ✅ 正确，当两组数据平均值差异较大时，直接比较标准差会失真，离散系数可消除水平差异的影响。
答案：B、D
通俗解释：
离散系数就像一个“公平秤”，不管你是用米还是用厘米，不管你的平均值是100还是10000，它都能帮你比较哪组数据更“散”。
案例：
比较两个班级的考试成绩离散程度。一班平均分80，标准差10；二班平均分50，标准差8。直接看标准差，二班更小，似乎更集中。但用离散系数：一班 10/80=0.125，二班 8/50=0.16，实际上二班相对更分散。
八、综合对比与速记表¶
线性回归 vs 逻辑回归 对比速记表¶
| 项目 | 线性回归 | 逻辑回归 |
|---|---|---|
| 因变量类型 | 连续型 | 离散型（二分类） |
| 输出范围 | (-∞, +∞) | (0, 1) |
| 模型函数 | 线性组合 | Sigmoid 函数 |
| 系数解释 | 自变量每变化1单位，因变量平均变化量 | 自变量每变化1单位，对数几率变化量 |
| 拟合方式 | 最小二乘法 | 最大似然估计 |
| 评估指标 | R²、MSE、MAE | AUC、准确率、F1、ROC |
| 算法归属 | 回归算法 | 分类算法（广义线性模型） |
| 应用场景 | 预测房价、温度、销售额 | 预测是否违约、是否患病 |
回归分析 vs 相关分析 对比速记表¶
| 项目 | 线性回归分析 | 简单相关分析 |
|---|---|---|
| 变量地位 | 不对等，区分自变量、因变量 | 对等，无自变量因变量之分 |
| 变量随机性 | Y 一定随机；X 在观测情形下也随机（不可控） | 两个变量全部都是随机变量 |
| 分析目的 | 由自变量预测因变量取值 | 衡量两变量线性相关强弱与方向 |
| 系数符号 | 回归系数看方向；绝对值不能直接比较强弱 | 相关系数取值 [-1,1]，既看方向又看强弱 |
九、避坑指南（高频易错点总结）¶
| 考点 | 常见陷阱/易错点 | 正确理解 |
|---|---|---|
| 自变量性质 | 认为自变量一定是可控的 | 在观测性研究（大多数统计考题）中，自变量是不可控的随机变量 |
| 回归系数 | 认为系数大就是相关性强 | 系数符号看方向；系数大小受单位影响，不能直接看强弱 |
| 逻辑回归 | 认为是做数值预测的 | 它是做分类和概率预测的（输出0-1） |
| 评价指标 | 混淆 R² 和修正 R² | 评价拟合好坏用 R²；比较模型优劣、防止过拟合用修正 R² |
| 变量关系 | 认为回归中XY地位平等 | 回归中 X 预测 Y，地位不对等；相关分析中才平等 |
| 逻辑回归系数 | 认为系数直接解释概率 | 系数解释的是对数几率（log-odds），不是概率本身 |
| 回归 vs 分类评价 | 混淆评价指标 | 回归用 MAE、MSE、R²；分类用混淆矩阵、ROC、AUC |
| 多重共线性 | 认为逻辑回归无法处理 | 逻辑回归可以通过正则化等方法缓解多重共线性 |
十、简答题预测¶
问：简述相关分析与回归分析的区别？
答：
① 变量关系地位：回归分析变量不对等，区分自变量与因变量；相关分析两变量是对等关系。
② 随机性：回归分析中因变量一定是随机变量；观测数据情形自变量也是随机；相关分析两个变量均为随机变量。
③ 研究目的：回归侧重于建立模型做预测；相关侧重于度量线性联系的强弱程度。
问：简述逻辑回归与线性回归的区别？
答：
① 因变量类型：线性回归因变量是连续型；逻辑回归因变量是离散型（二分类）。
② 输出范围：线性回归输出 (-∞, +∞)；逻辑回归输出 (0, 1) 的概率。
③ 模型函数：线性回归是线性组合；逻辑回归通过 Sigmoid 函数映射。
④ 系数解释：线性回归系数表示因变量平均变化量；逻辑回归系数表示对数几率变化量。
⑤ 拟合方式：线性回归用最小二乘法；逻辑回归用最大似然估计。
⑥ 评估指标：线性回归用 R²、MSE；逻辑回归用 AUC、准确率、F1。
考点补充：多元回归检验与诊断¶
考点16：回归的显著性检验（F检验 vs t检验）¶
F 检验（模型整体显著性检验）
| 项目 | 内容 |
|---|---|
| 原假设 H₀ | 所有自变量的回归系数全部等于 0，模型整体无线性关系 |
| 判断依据 | Prob(F-statistic)，即 F 检验的 p 值 |
| 判断规则 | p＜0.05，拒绝原假设，模型整体线性显著；p＞0.05 模型整体不显著 |
| 易错坑 | 不要拿 R² 判断模型整体显著性！R² 只是拟合指标，不是检验 |
t 检验（单个回归系数显著性检验，逐变量检验）
| 项目 | 内容 |
|---|---|
| 原假设 H₀ | 该单个自变量的回归系数等于 0，该变量不起作用 |
| 判断依据 | 变量对应的 p 值（P>|t|） |
| 判断规则 | p＞0.05，该自变量系数不显著，该变量对 y 没有显著影响；p＜0.05 变量显著 |
| 举例 | Age 的 p=0.665＞0.05，Age 系数不显著，可以考虑剔除 Age 变量 |
考点17：回归方差分析的自由度（SST、SSR、SSE）¶
| 平方和 | 自由度 | 说明 |
|---|---|---|
| SST 总平方和 | df_SST = n−1 | n 是样本量 |
| SSR 回归平方和 | df_SSR = p−1 | p：模型总参数，包含截距项！ |
| SSE 残差平方和 | df_SSE = n−p | p 包含截距项 |
自由度恒等式
n−1 = (p−1) + (n−p)
高频易错坑
- 计算 p 的时候，自变量数量 + 截距！
- 举例：样本 n=70，自变量 8 个；总参数 p=8+1(截距)=9；SSE 自由度=70−9=61。很多同学直接 70−8 算，直接做错。
考点18：回归诊断指标¶
| 指标 | 作用 | 判定标准 |
|---|---|---|
| VIF（方差膨胀因子） | 诊断多重共线性（自变量之间高度相关） | 一般 VIF＞10，判定存在严重多重共线性；需要处理（删除变量/正则） |
| AIC、BIC | 模型选择，变量筛选；不同模型之间对比择优 | 数值越小，模型效果越好；不用于共线性诊断 |
| IV值（信息值） | 信贷风控场景，评估变量区分好坏客户的能力；不是回归诊断指标 | 一般 IV 越大，变量预测区分能力越强 |
考题坑
- 经常混淆 VIF/AIC/BIC/IV 的用途；问多重共线性诊断→VIF。
易混对比（考点16-18 速记）¶
一、检验区分
| 检验 | 用途 | 判断依据 |
|---|---|---|
| F检验 | 模型整体是否显著（全部自变量一起） | 看 Prob(F-statistic) |
| t检验 | 单个自变量系数是否显著 | 看每个变量的 p 值 P>|t| |
二、诊断指标区分
| 指标 | 用途 |
|---|---|
| VIF | 多重共线性 |
| AIC/BIC | 选模型 |
| IV | 风控区分能力 |
三、自由度计算
⚠️ 一定不要忘记截距项！SSE 自由度 = n−p，p 包含截距。
常考题型总结¶
| 题型 | 说明 |
|---|---|
| 读图题 | 从 Stata 回归输出结果表格提取 R²、p 值、自由度；（这套习题全部基于 Stata 的回归结果截图，是考试高频形式） |
| 概念辨析选择题 | 区分各个统计指标的用途（VIF/AIC/BIC/IV；F检验 t检验；R²和显著性） |
| 自由度简单计算 | 注意截距项 |
| 降维（PCA、因子分析）概念辨析 | 载荷矩阵含义，主成分保留判定依据 |
记忆口诀汇总¶
| 主题 | 口诀 |
|---|---|
| R²与显著性 | R²只能代表拟合程度，≠统计显著 |
| 自由度 | SSE自由度=n−p，p包含截距 |
| 诊断指标 | VIF👉共线性；AIC/BIC👉选模型；IV👉风控 |