数据降维方法¶
下面这份是在你原有笔记基础上做的优化整理版：保留全部考点，补上更通俗的解释、易错点提醒和必要案例，适合期末复习、考前背诵和快速查漏补缺。
主成分分析 & 因子分析 考点汇总 + 通俗讲解 + 案例版¶
目标：把选择题、多选题、判断题里的高频考点讲清楚，重点区分 PCA 和因子分析，避开文字陷阱。
一、主成分分析 PCA¶
考点1：PCA 是什么？基础定义与性质¶
原题考点
1.主成分分析属于无监督降维方法。
2.历史起源：Karl Pearson 最先针对非随机变量提出；Hotelling 推广到随机向量。
3.数学本质：正交变换。把一组原本可能相关的原始变量，变换成一组互不相关的新综合变量，也就是主成分。
通俗解释
你可以把 PCA 想成“给数据换一套坐标轴”。
原来有 \(x_1, x_2, \dots, x_p\) 很多变量，它们之间可能有重叠信息。比如：
- \(x_1\)：身高
- \(x_2\)：腿长
- \(x_3\)：体重
身高和腿长往往高度相关，体重也和身高有一定关系。PCA 就是重新找几个“综合指标”，让它们尽量不重复、不相关，同时尽量保留原来的信息。
案例
假设你要评价一个班的学生身体素质，测了 10 个指标：身高、体重、肺活量、50 米跑、立定跳远等。
这 10 个指标之间可能有关联。PCA 可以把它们压缩成 2~3 个综合指标，比如：
- 第一主成分：整体身体发育水平
- 第二主成分：爆发力水平
- 第三主成分：耐力水平
这样既降维，又保留大部分信息。
考试坑
❌ 错误：主成分之间彼此相关。
✅ 正确：主成分之间互不相关，正交。
延伸
- 正交变换只做坐标轴旋转，不改变样本点之间的距离。
- 主成分按方差从大到小排序。
- 第一主成分方差最大，承载最多原始数据信息。
考点2：PCA 主要关注什么？¶
原题考点
✅ 主成分分析重点关注：变量与变量之间的相关性。
通俗解释
PCA 关心的是：“哪些变量在讲同一件事？”
如果几个变量高度相关，它们的信息就冗余，PCA 就可以把它们合并成一个主成分。
高频对比记忆
| 分析方法 | 主要关注对象 |
|---|---|
| 主成分分析 | 变量之间的相关性 |
| 聚类分析 | 样本（行）之间的相似性 |
| 对应分析 | 行变量与列变量之间的关联性 |
案例区分
- PCA：看“身高、腿长、臂长”这几个变量是不是在重复表达“长度”。
- 聚类：看“张三、李四、王五”哪些学生更像一类。
- 对应分析：看“性别”和“喜欢的运动类型”有没有关联。
考点3：PCA 用协方差矩阵还是相关矩阵？¶
原题考点
1.PCA 求解时，需要计算协方差矩阵，也可以使用相关系数矩阵，然后求特征值、特征向量。
2.选择依据：
- 如果希望保留原始变量量纲，看重变量本身的方差大小：用协方差矩阵，不标准化。
- 如果变量量纲差异很大：必须标准化，用相关系数矩阵做 PCA。
通俗解释
假设你有两个变量：
- \(x_1\)：身高，单位 cm，数值大概 160~190
- \(x_2\)：年收入，单位万元，数值大概 5~50
如果直接算协方差，身高的数值波动看起来很大，收入也可能很大，但单位完全不同。
这时候 PCA 可能会偏向数值大的变量，导致结果不合理。
所以：
- 变量单位差不多，且你想保留“谁方差大谁更重要”：用协方差矩阵。
- 变量单位差异大，比如 cm、kg、元、分混在一起：先标准化，再用相关系数矩阵。
考试原话
“对于主成分分析，如果想要关注各个变量本身方差大小，就使用协方差矩阵，不要标准化。”
一句话记忆
量纲不同，先标准化，用相关矩阵；想保留原始方差信息，用协方差矩阵。
考点4：PCA 能不能直接用于分类？【超级高频坑】¶
原题选项
D：可以用于数据分类（× 错误）
正确理解
- ✅ PCA 可以作为预处理步骤：先降维，再交给 KNN、逻辑回归、SVM 等分类器分类。
- ❌ PCA 本身没有分类能力。它是无监督降维算法，不是分类算法。
通俗解释
PCA 像一个“压缩工具”，不是“判断工具”。
比如你要识别一张图片是猫还是狗：
- PCA 可以先把图片像素压缩成少数几个主成分；
- 但真正判断“猫还是狗”的，是后面的分类模型。
所以：
“PCA 可以作为预处理辅助后续分类” ✅
“PCA 可以用于数据分类” ❌
案例
你有一堆手写数字图片，每个图片 784 个像素。
先用 PCA 降到 50 维，再用 SVM 分类。
这里 PCA 只是降维，分类的是 SVM。
考点5：主成分选取原则¶
考点
选取能够最大化解释数据变异（方差）的主成分。
通俗解释
主成分按方差从大到小排：
- 第一主成分：解释信息最多；
- 第二主成分：解释剩余信息最多；
- 第三主成分：继续解释剩余信息……
一般看累计方差贡献率：
- 达到 80%~85% 就可以停止选取。
- 有些教材要求 85% 以上，具体看题目。
案例
假设 5 个主成分方差贡献率：
| 主成分 | 方差贡献率 | 累计贡献率 |
|---|---|---|
| PC1 | 50% | 50% |
| PC2 | 25% | 75% |
| PC3 | 12% | 87% |
| PC4 | 8% | 95% |
| PC5 | 5% | 100% |
如果要求累计 ≥ 85%，选前 3 个主成分即可。
注意
- 特征值越大，该主成分携带信息越多。
- 特征值小于 1 的主成分通常不保留，但这不是绝对规则。
二、因子分析 FA¶
考点6：因子旋转¶
原题正确答案
- B 方差最大正交旋转
- C 斜交旋转
- D 正交旋转
- A 方差最小正交旋转（不存在，干扰项）
核心考点
1.因子旋转的目的：让公共因子的解释更加清晰，方便业务上解释因子含义。
2.因子旋转不改变公因子的方差贡献总和。
3.两大旋转类别：
- 正交旋转：旋转后各个公共因子之间依旧互不相关。
- 最经典、最高频：方差最大正交旋转 Varimax。
- 斜交旋转：旋转后允许公共因子之间存在相关性，更贴合现实，但分析更复杂。
4.❗干扰项：方差最小正交旋转，这个名称不存在！
通俗解释
因子分析一开始提取出来的公共因子，往往“什么都沾一点”，含义模糊。
比如你调查学生成绩，初始因子可能是：
- 因子1：数学 0.5，语文 0.5，英语 0.5，物理 0.4……
- 因子2：数学 0.4，语文 0.5，英语 0.5，物理 0.5……
这很难解释因子1到底是啥。
因子旋转就像“把镜头调清晰”：
旋转后可能变成：
- 因子1：数学 0.9，物理 0.8，语文 0.1，英语 0.1 → 理科能力
- 因子2：语文 0.9，英语 0.8，数学 0.1，物理 0.1 → 文科能力
这样就很好解释了。
案例
| 变量 | 旋转前因子1 | 旋转前因子2 | 旋转后因子1 | 旋转后因子2 |
|---|---|---|---|---|
| 数学 | 0.55 | 0.52 | 0.90 | 0.10 |
| 物理 | 0.54 | 0.51 | 0.85 | 0.12 |
| 语文 | 0.53 | 0.55 | 0.10 | 0.88 |
| 英语 | 0.52 | 0.54 | 0.12 | 0.86 |
旋转后因子含义清晰：
- 因子1：理科能力
- 因子2：文科能力
考试坑
❌ 错误：因子旋转可以使用方差最小正交旋转。
✅ 正确：只有方差最大正交旋转 Varimax。
考点7：因子分析的步骤¶
完整流程
1.计算相关系数矩阵；
2.提取公共因子，常用主成分法、极大似然法；
3.因子旋转，这一步是为了解释因子；
4.计算因子得分。
通俗解释
因子分析像“找幕后老板”：
- 第一步：看变量之间有没有共同变化的趋势；
- 第二步：找出几个幕后公共因子；
- 第三步：旋转，让幕后老板的身份更清楚；
- 第四步：算每个样本在这些公共因子上的得分。
重点提醒
很多同学忘记旋转的作用。
旋转不是为了改变方差总量，而是为了让因子更好解释。
三、主成分分析 PCA VS 因子分析 FA¶
| 项目 | 主成分分析 PCA | 因子分析 FA |
|---|---|---|
| 模型定位 | 变量的线性组合；新变量 = 原有变量线性组合 | 原有变量 = 公共因子 + 特殊因子；存在特殊因子 |
| 目的 | 降维，减少变量数目；生成互不相关主成分 | 挖掘背后潜在不可观测的公共因子；解释变量内部结构 |
| 是否需要旋转 | 不需要做旋转！ | 经常做因子旋转，方便解释含义 |
| 输出结果 | 主成分得分 | 公共因子、因子载荷矩阵、因子得分 |
| 属性 | 无监督；只是线性变换 | 建立潜在因子模型 |
通俗对比
- PCA：把 10 个变量压缩成 3 个综合变量，重点在“压缩”。
- FA：认为 10 个变量背后有 3 个隐藏原因，重点在“找原因”。
案例
假设你测了 6 门课：数学、物理、化学、语文、英语、历史。
- PCA：可能得到“综合成绩1”“综合成绩2”，主要用于降维。
- FA：可能找到“理科能力”“文科能力”两个公共因子，并认为数学、物理、化学受理科能力影响，语文、英语、历史受文科能力影响。
四、易混淆判断题文字陷阱汇总¶
1.❌ 主成分之间是彼此相关的。
✅ 主成分之间互不相关，正交。
2.❌ PCA 是分类算法，可以直接用来做数据分类。
✅ PCA 只能降维预处理，后续交给别的模型分类。
3.❌ 因子旋转可以使用方差最小正交旋转。
✅ 只有方差最大正交旋转 Varimax。
4.✅ 因子分析做旋转的目的是为了便于对公共因子进行业务解释，不会改变总方差。
5.✅ 斜交旋转允许公共因子之间存在相关性；正交旋转保证公共因子互不相关。
6.✅ 原始变量量纲差异悬殊时，主成分分析应当标准化，使用相关矩阵；若希望保留变量本身方差信息，不标准化，使用协方差矩阵。
7.✅ 起源：主成分最早 Karl Pearson 针对非随机变量提出，Hotelling 推广到随机向量。
8.✅ 关注点：PCA 看变量之间相关性；聚类看样本之间相似度；对应分析看行与列的关联性。
五、简答预测与背诵版¶
问题1：因子分析中为什么要进行因子旋转？¶
答：
初始提取出来的公共因子，其载荷矩阵往往含义模糊，不容易对公共因子进行实际意义上的解释。经过因子旋转之后，因子载荷向 0 和 1 两极分化：一部分变量在某个因子上载荷很大，其余变量载荷很小，方便解释每一个公共因子代表什么实际含义。旋转不会改变公因子的总的方差贡献。
通俗版：
旋转前因子像“大杂烩”，旋转后因子像“标签清楚的小组”，方便命名和解释。
问题2：简述主成分分析的基本思想¶
答：
在尽量保留原始数据信息（方差）的前提下，利用正交变换，把原来一组具有较强相关性的高维变量，变换为少数几个互不相关的综合变量，即主成分，以此实现降维。按照方差大小排序，选取前若干个主成分，使用累计方差贡献率确定保留维度。
通俗版：
把很多相关变量压缩成少数几个不相关的综合指标，而且尽量不丢信息。
六、考前极简背诵提纲¶
PCA¶
- 无监督降维。
- 正交变换。
- 主成分互不相关。
- 关注变量之间相关性。
- 量纲不同：标准化 + 相关矩阵。
- 想保留方差信息：协方差矩阵。
- 不能直接分类，只能预处理。
- 按方差大小排序，累计贡献率 80%~85%。
因子分析¶
- 找潜在公共因子。
- 变量 = 公共因子 + 特殊因子。
- 步骤：相关矩阵 → 提取因子 → 旋转 → 因子得分。
- 旋转目的：更好解释因子。
- 旋转不改变总方差。
- 正交旋转：因子不相关。
- 斜交旋转：因子可相关。
- 高频方法：方差最大正交旋转 Varimax。
- 干扰项：方差最小正交旋转不存在。
一句话区分¶
- PCA：降维压缩，不做旋转。
- FA：找隐藏因子，常做旋转。
考点补充：载荷矩阵与保留准则¶
原有正文已详述 PCA / 因子分析概念与最大方差旋转（Varimax），本节只补正文未明确的考点，避免重复。
一、主成分保留准则（补充）¶
- Kaiser 准则：保留特征值 ＞ 1 的主成分。（另一准则：累计方差贡献率达到 80%–90%。）
- 易错点：主成分数目不由样本量、原始变量数量、载荷矩阵决定；载荷矩阵不决定保留几个主成分。
二、载荷矩阵的含义（高频选择题）¶
- 主成分载荷矩阵：原始变量与主成分之间的相关系数，体现原始变量与提取出的主成分的关联强弱。
- 因子载荷矩阵：描述原始变量与公因子之间的相关性；载荷绝对值越大，该原始变量与公因子关联性越强。
- ❌ 干扰项：不是“样本与因子”，也不是“因子与因子之间”（因子间关系看因子的协方差矩阵）。