Overview & How to Study This Module
本模块是整个定量分析部分的"总地图":先讲概率与统计基础,再进入推断与回归,最后是时间序列、波动率建模与机器学习。定量分析在 Part I 中约占 30% 权重,是在险价值、期权定价、信用组合模型等后续内容的数学地基。建议先通读本页把握脉络,再逐章精读,并配合在线计算器动手验证。考试最爱考假设检验与回归的计算题(t 统计量、p 值、R²),其次是概率分布的选择与计算。
- Hypothesis Testing假设检验:定量部分最常考的计算主题
- t-statistict 统计量:判断参数是否显著异于假设值
- R²决定系数:回归模型解释力的度量
- Critical value临界值:拒绝与否的分界线
- Monte Carlo simulation蒙特卡洛模拟:用随机抽样近似复杂期望
Quantitative Analysis (定量分析) is the mathematical toolbox under the rest of the FRM curriculum. It covers probability and distributions (概率与分布), estimation and hypothesis testing (估计与假设检验), regression (回归), time series (时间序列), return/volatility modelling, simulation (模拟) and machine learning (机器学习). Every other book leans on this one — VaR, credit portfolio models在险价值, option pricing and backtesting all rest on these foundations.
Module Map — The 15 个主题
这 15 张卡片就是定量分析的全部考点地图,顺序即学习顺序:先概率统计打地基,再推断与回归,最后时间序列与机器学习。建议按此顺序推进,每学完一章回到本页勾掉一项,形成进度感。
🎯 Exam Strategy
Roughly 30% of Part I questions test this book. The single most repeated theme is hypothesis testing & regression假设检验与回归 — expect calculations of t-statistics, p-values, R² and adjusted R². Second is probability & distributions Bayes' rule, expectation/variance, and knowing which distribution to use. Time series and vol modelling show up as conceptual + a GBM/lognormal computation. ML is newer and mostly conceptual in Part I — focus on bias–variance, overfitting, and supervised vs unsupervised.
⚠️ The #1 Examiner Trap
Students confuse standard deviation with variance标准差与方差statistical with economic significanceand Type I with Type II error第一类与第二类错误. And on the exam you get only a limited formula sheet — memorise the common critical values (1.645 ≈ 5% one-tailed, 1.96 ≈ 5% two-tailed, 2.326 ≈ 1% one-tailed) and the meaning of skewness (右偏/左偏) and kurtosis (尖峰).
Warm-up: Which statement about Quantitative Analysis in FRM is correct?
Probability 概率
本章打地基:事件与事件空间、独立与互斥、条件独立、条件概率与联合概率、全概率法则、贝叶斯法则和计数规则。考试常考三件事:① 互斥与独立的区别("互斥不能推出独立"是反直觉考点);② 用条件概率/全概率法则做"逆向更新"(贝叶斯);③ 组队、选样类小计算(先判断是否计顺序)。
- Event / event space事件/事件空间:事件 = 单结果或结果组合;事件空间 = 全部可能结果与组合(含"空集")。
- Mutually exclusive互斥:不能同时发生,P(AB)=0;此时 P(A or B)=P(A)+P(B)。
- Conditional probability条件概率:P(A|B)=P(AB)/P(B),"在 B 已发生的条件下 A 发生的概率"。
- Bayes' rule贝叶斯法则:用新证据(B 发生)更新先验概率 P(A)——"翻转条件、先验加权"。
- Permutation排列:有序抽取 n!/(n−r)!;Combination组合:无序,多除一个 r!。
Probability (概率) quantifies uncertainty: a number between 0 and 1 measuring how likely an event is. Risk management runs on it — default, loss severity, market moves are all modeled with probabilities. 本册从这里出发:先掌握"事件如何定义、如何组合",再学"如何用证据更新概率"(贝叶斯),最后用计数规则数清"有多少种可能"。Mastering "independent vs conditional vs mutually exclusive" and Bayes' rule is the entrance fee to everything that follows.
Events, axioms & key relationships 事件、公理与核心关系
先定义再运算:事件(event)是随机变量的一个单结果或一组结果的组合;事件空间(event space)是全部可能结果与组合的集合(包括"空集"——什么都不发生的概率为 0 的角落)。例如掷一枚公平骰子,结果 1–6 都有正概率;"结果是 3" P=1/6;"结果是偶数" P=3/6=50%;六个结果之一必发生,合计 100%。掷硬币:事件空间含正、反、反正、非正非反——后两者概率为 0。概率介于 0 与 1 之间:0 = 不会发生,1 = 必然发生。两大运算关系:独立——知道一个事件的结果不影响另一个的概率,等价条件 P(A)×P(B)=P(AB) 且 P(A|B)=P(A);互斥——不能同时发生,P(AB)=0。最经典的陷阱:互斥事件(除非某事件概率为 0)不可能是独立事件——知道 B 发生就迫使 A 不发生,所以 P(A|B)=0≠P(A)。加法法则 P(A or B)=P(A)+P(B)−P(AB) 中的"减"是为了不把重叠部分数两次。
- Additivity:加法法则 P(A or B) = P(A) + P(B) − P(AB). If A, B are mutually exclusive (互斥), P(AB) = 0 → P(A or B) = P(A) + P(B).
- Complement:补事件 P(Ac) = 1 − P(A).
- Joint (联合概率) P(AB): probability both occur.
- Conditional (条件概率): P(A|B) = P(AB) / P(B), read "probability of A given B."
- Independence (独立): P(A|B) = P(A), equivalently P(AB) = P(A)·P(B). For n independent events: P(A1 and … and An) = Π P(Ai). Do not confuse with mutually exclusive!
If we just added P(A)+P(B) we would count the overlap twice; the double-counted slice is exactly P(AB), so we subtract it once. If the two events can't overlap (mutually exclusive), the shared slice is empty → P(AB)=0 and the rule collapses to P(A)+P(B). Numerical sanity check: if P(A)=60% and P(B)=55%, "both rise" cannot be computed as 115% — the joint probability must be subtracted out.
Why mutual exclusivity kills independence: if A and B can't both happen, then seeing B tells you A definitely did NOT happen, so P(A|B)=0 ≠ P(A) (whenever P(A)>0). Knowing one event completely changes the odds of the other — the opposite of independence.
条件独立(conditionally independent)单独记一条:两个事件在给定第三事件 C 后可以独立也可以不独立——与它们无条件下是否独立无关。数学上,P(AB|C) = P(A|C)×P(B|C) 成立时称条件独立。教材例子:对一个学生群体,"考试成绩高于平均"与"身高高于平均"两个事件不独立(个子高的学生平均年龄大、年级高);但把条件设为"年龄正好 8 岁",身高与成绩就可能独立。考试口径:独立事件可能条件独立,也可能不条件独立——两个性质要分别判断。
Conditional, unconditional & joint probabilities 条件、无条件与联合概率
无条件概率(unconditional/marginal)就是"事件本身"的概率;条件概率是"给定另一事件已发生"的概率;联合概率是"两个事同时发生"的概率。三者关系:P(AB)=P(A|B)×P(B);反过来 P(A|B)=P(AB)/P(B)。当条件事件 Bi 互斥且穷尽时,全概率法则:P(A)=ΣP(A|Bi)P(Bi)——把 A 的每条"发生路径"的联合概率加起来。下面用教材的汽车例子走一遍完整流程(无条件→条件→联合→全概率→贝叶斯)。另注意离散概率函数的例子:P(x)=x/10 定义在 {1,2,3,4} 上,P(x=3)=30%、P(x 为 2 或 4)=60%,所有概率合计 100%(这是它成为合法概率函数的条件)。
Worked example — the car shipment(全流程五步)
1,000 辆汽车:600 蓝(B)、400 红(R);蓝色中 150 辆带驾驶辅助(DA),红色中 200 辆带 DA。
- ① 无条件概率:P(B)=600/1000=60%;P(R)=400/1000=40%。
- ② 条件概率:P(DA|B)=150/600=25%;P(DA|R)=200/400=50%。
- ③ 联合概率:P(B and DA)=25%×60%=15%(即 150 辆);P(R and DA)=50%×40%=20%(即 200 辆)。
- ④ 全概率法则:P(DA)=15%+20%=35%(即 350 辆)。
- ⑤ 贝叶斯(反向):P(B|DA)=15%/35%=42.9%——"有 DA 的车里 42.9% 是蓝色"。
另:若再给出"40% 的蓝车与 40% 的红车是敞篷",则 P(B|C)=240/400=60%=P(B)——随机挑一辆敞篷车,对它是蓝还是红没有信息增量,这就是独立的定义 P(A|B)=P(A)。
Bayes' rule 贝叶斯法则 ⭐
Start from the two definitions of joint probability, which are always symmetric: P(AB) = P(A|B)·P(B) and P(AB) = P(B|A)·P(A). Both equal the same joint, so P(A|B)·P(B) = P(B|A)·P(A). Divide through by P(B):
P(A|B) = P(B|A)·P(A) / P(B). That's Bayes. The denominator P(B) is the "law of total probability": B can happen via A or via Ac, so P(B) = P(B|A)P(A) + P(B|Ac)P(Ac).
📝 Worked example 1 — Diagnostic test(诊断检验)
某病患病率 1%。检测:患病者阳性概率 0.99(敏感度);健康者阴性概率 0.99(特异度)。某人检测阳性,患病概率是多少?
P(D|+) = [0.99×0.01] / [0.99×0.01 + 0.01×0.99] = 0.0099 / 0.0198 = 0.50(50%)。
💡 反直觉:即使检测 99% 准确,阳性也只意味着 50% 患病——因为疾病罕见,先验概率把最终结果拉低。分母的两项(真阳性路径 + 假阳性路径)就是全概率法则。
💡 Worked example 2 — Economy & stock(经济与股价)
经济走强概率 60%,走强时股票上涨概率 70%;经济走弱概率 40%,走弱时股票上涨概率 20%。已知股票上涨,经济走强的概率是多少?
- 联合概率:走强且涨 = 70%×60% = 42%;走弱且涨 = 20%×40% = 8%(四组结果合计 100%)。
- P(上涨) = 42% + 8% = 50%;更新后的 P(走强|上涨) = 42%/50% = 84%。
分子 = 走强与上涨的联合概率;分母 = 上涨的无条件概率。教材原话:贝叶斯的分子是"目标路径"的联合概率,分母是"证据"的总概率。
Counting rules 计数规则(排列与组合)
排列有序、组合无序,唯一区别是组合多除一个 r!。考试常以组队、选样形式出小计算题——动手前先判断"是否计顺序"。例:从 5 人中选 2 人组队(不计组内顺序),C(5,2)=10 种;若要求"选出队长与副队长"(计顺序),则 5P2=20 种。
- random variable 随机变量 — A number determined by the outcome of a random experiment.
- event / event space 事件/事件空间 — An event is an outcome or combination; the event space is all outcomes, combinations, and the empty set.
- probability range 概率范围 — 0 ≤ P ≤ 1; P=0 impossible, P=1 certain.
- independent events 独立事件 — P(AB)=P(A)P(B), equivalently P(A|B)=P(A); joints of n independent events multiply.
- mutually exclusive 互斥事件 — Cannot both occur; P(AB)=0; then P(A or B)=P(A)+P(B). Mutually exclusive ≠ independent!
- conditionally independent 条件独立 — P(AB|C)=P(A|C)P(B|C); unrelated to unconditional (in)dependence — judge separately.
- unconditional vs conditional 无条件 vs 条件概率 — Marginal P(A) vs P(A|B)=P(AB)/P(B).
- joint probability 联合概率 — P(AB) = P(A|B)·P(B) = P(B|A)·P(A).
- total probability rule 全概率法则 — P(A) = Σ P(A|Bi)P(Bi) for mutually exclusive & exhaustive Bi.
- Bayes' rule 贝叶斯法则 — P(A|B) = P(B|A)P(A)/P(B); update priors with evidence; denominator = total probability of the evidence.
- counting 计数 — Permutations (order matters): n!/(n−r)!; combinations (order doesn't): n!/[r!(n−r)!] — the extra r! removes orderings.
- discrete probability function 离散概率函数 — Assigns P(x) to each outcome; total must equal 1.
📝 本章自测 · Self-Check
以下为自编练习题(非真题):题干保留英文考试形态,解析为中文——先自己判断,再点开核对。共 4 题。
Q1 · Which statement about events and the event space is MOST accurate?
事件可以是单结果,也可以是结果组合(A 错);事件空间包含全部结果与组合——掷硬币中"非正非反"也在空间内,概率为0(C 错);事件空间中的事件无需要求两两互斥(D 错)。
Q2 · If P(A)=0.5, P(B)=0.4, and P(AB)=0.2, which statement is MOST accurate?
P(A|B)=P(AB)/P(B)=0.2/0.4=0.5=P(A) → 独立;同时 P(A)×P(B)=0.5×0.4=0.2=P(AB) 双重确认。B 明显错(P(AB)=0.2≠0);A 的数值不对;D 错——数据完全可判。
Q3 · A disease affects 2% of a population. A test is 95% sensitive (correctly positive for the sick) and 90% specific (correctly negative for the healthy). Given a positive test, the probability the person has the disease is closest to:
P(+)=0.95×0.02 + 0.10×0.98 = 0.019 + 0.098 = 0.117;P(D|+)=0.019/0.117 ≈ 16.2%。A 是先验(未更新);B、C 混淆了敏感度/特异度与"阳性后患病"的反向条件——这正是贝叶斯要纠正的直觉错误。
Q4 · Two events A and B are known to be independent. Regarding their conditional independence given a third event C:
教材口径:条件独立与无条件独立彼此不推出——无条件独立的事件可能条件独立、也可能不条件独立(反方向亦然)。A、B 都把它当成了必然推断;D 说反了逻辑关系。
Random Variables 随机变量
本章把"随机"变成可计算的数字:用期望刻画中心位置、方差刻画离散程度、偏度与峰度刻画分布形状,再用分位数与线性变换补齐工具箱。考试最爱两头:① 期望/方差快捷公式 E[X²]−(E[X])² 的手算;② 线性变换 Y=a+bX 的四条变化规则(均值、方差、偏度、峰度)。
- Expected value期望:概率加权的平均值 E[X]=Σx·p(x)。
- Variance方差:E[X²]−(E[X])²;标准差 = 方差开根号,与原变量同单位。
- Skewness偏度:标准化三阶中心矩;左偏(负偏)= 长左尾、大亏损更可能。
- Kurtosis峰度:标准化四阶中心矩;超额峰度>0 即肥尾(正态为 0)。
- Quantile分位数:CDF 的反函数;Q(50%)=中位数,Q(25%)–Q(75%)=四分位距 IQR。
- Linear transformation线性变换:Y=a+bX → 均值 a+bE(X)、方差 b²σ²、偏度符号随 b 翻转、峰度不变。
A random variable (随机变量) is a number whose value is determined by the outcome of a random experiment — e.g. the loss on a bond, tomorrow's return. 离散型用 PMF 描述(每个点有概率),连续型用 PDF 描述(点概率为 0、区间看面积),两者的累积版本都是 CDF。在此之上用四个矩(均值/方差/偏度/峰度)概括分布,用分位数描述"位置刻度",用线性变换规则快速换算——这套语言贯穿后面的 VaR、压力测试与参数估计。
Discrete vs continuous & PMF/CDF 离散 vs 连续、PMF 与 CDF
离散随机变量只能取可数个值(掷骰子的点数、违约次数),用 PMF f(x)=P(X=x) 给出每个点的概率;连续随机变量可取区间内任意值(降雨量、收益率),任何单点的概率为 0,必须用区间概率(PDF 下的面积)说话。两者共用的累积函数是 CDF F(x)=P(X≤x)——离散的 CDF 是"到 x 为止的概率求和",连续的 CDF 是密度积分;CDF 从 0 单调升到 1。注意 CDF 对离散变量也定义在全体实数上:伯努利变量 P(X<0.1456)=1−p。
| Feature | Discrete (离散) | Continuous (连续) |
|---|---|---|
| Values take | Countable set (0,1,2…) | Any value in an interval |
| Density fn | PMF p(x) = P(X=x) | PDF f(x), P(X=x)=0 |
| Probability of a point | Can be > 0 | Always 0 |
| Get a probability | Sum p(x) | Integrate f(x) over interval |
| Total | Σp(x)=1 | ∫f(x)dx=1 |
| Examples 示例 | Bernoulli, binomial, Poisson | Normal, lognormal |
💡 三个函数别搞混:PMF = 概率质量函数(mass,离散专用);PDF = 概率密度函数(density,连续专用);CDF = 累积分布函数(两者都有,P(X≤x))。
Expected value & its properties 期望及其性质
期望就是"概率加权的平均值",是随机变量的最佳单点猜测——它不保证能出现(掷骰子的期望 3.5 永远掷不出来),但长期平均会收敛到它;当结果等可能时,期望退化为简单算术平均。两条性质必须背:E(cX)=cE(X)(常数缩放);E(X+Y)=E(X)+E(Y)(线性性,无需任何独立假设)。这是方差不能直接相加、而期望可以的原因。
Worked example — Expected EPS(期望每股收益)
| Probability | EPS | Contribution |
|---|---|---|
| 10% | £1.80 | £0.18 |
| 20% | £1.60 | £0.32 |
| 40% | £1.20 | £0.48 |
| 30% | £1.00 | £0.30 |
E[EPS] = £0.18 + £0.32 + £0.48 + £0.30 = £1.28——每个可能值乘以它的概率再加总。
Linearity:线性性质 E[aX+bY] = aE[X]+bE[Y] always — for ANY variables, independent or not — because expectation is a scenario-weighted average and each variable enters linearly. 这就是 E[ΣXi]=ΣE[Xi] 零假设成立、而方差做不到的原因。
Why squares? 想度量"离散程度",若直接用偏差 E[X−E[X]],正负偏差会相互抵消恒为 0(均值本就平衡了两侧)。平方让所有偏差变正、得以累加;再开根号换回原单位得到标准差。
Variance shortcut: Var(X)=E[X²]−(E[X])² 由 (X−μ)²=X²−2μX+μ² 取期望、并用 E[X]=μ 得到。
The four moments: mean, variance, skewness, kurtosis 四个常用矩
一组"总体矩"刻画分布:一阶矩 = 均值(位置);二阶中心矩 = 方差(离散度);三阶中心矩标准化 = 偏度(对称性);四阶中心矩标准化 = 峰度(尾部概率)。注意两点:① 除均值外都是"中心矩"(围绕 X−μ 构造),所以不受均值位置影响;② 一阶中心矩恒为 0(没用,故不用)。偏度、峰度因为既减了均值又除了标准差,可以在不同分布之间直接比较。风险含义:负偏 + 高峰 = 尾部风险最凶——左尾藏着大额亏损,肥尾意味着正态假设会系统性低估极端损失(VaR 的软肋)。正态分布:偏度 0、超额峰度 0。
Shape measures — chapter guide
Skewness偏度 measures asymmetry: positive (right) skew = long right tail (mean > median); negative (left) skew = long left tail (mean < median). For risk, negative skew is dangerous — the fat left tail holds the large losses.
Kurtosis峰度 measures the probability mass in the tails relative to the rest of the distribution; higher kurtosis = fatter tails = more extreme outcomes than the normal. Excess kurtosis > 0 (leptokurtic) → critical for VaR understatement.
PDF, quantiles & the median 密度函数与分位数
PDF 服务于连续变量:概率 = 密度曲线下面积,某点概率恒为 0——所以"连续变量取某确切值的概率"永远是 0 是概念题常客。分位数函数 Q(a) 是 CDF 的反函数:给定百分比 a,返回"累计概率达到 a"的取值。两个重点分位数:Q(50%) = 中位数(一半结果小于它);四分位距 IQR = [Q(25%), Q(75%)],含中间 50% 的结果,是一种"抗离群值"的离散度度量(与标准差用途类似、但只看中间段)。对称分布(偏度 0)均值 = 中位数;右偏时均值 > 中位数;左偏时均值 < 中位数——被尾部拖拽的方向就是均值相对中位数偏移的方向。示例:某考试分数 122、其分位数 74%——意味着 74% 的考生分数低于 122。
Linear transformations 线性变换 ⭐
Y = a + bX 的迁移规则是高频考点,四句话背下来:① 均值跟着动 E(Y)=a+bE(X)(位置与尺度都受影响);② 方差只被缩放 σ²Y=b²σ²X——常数 a 只平移分布、不影响离散度;标准差 σY=|b|σX(b 为负取绝对值);③ 偏度:b>0 时不变;b<0(递减变换)时大小不变、符号翻转;④ 峰度:完全不变。记忆法:平移和正缩放不改变"形状",只有"镜像"(b<0)会翻转偏度方向。
- discrete vs continuous 离散 vs 连续 — Countable outcomes vs any value in an interval; point probabilities positive vs zero.
- PMF 概率质量函数 — f(x)=P(X=x) for discrete variables; probabilities sum to 1.
- PDF 概率密度函数 — For continuous variables: probabilities are areas under the curve; P(X=x)=0.
- CDF 累积分布函数 — F(x)=P(X≤x); rises from 0 to 1; sums (discrete) or integrates (continuous) the density.
- expected value 期望 — Probability-weighted average; best single-point guess; need not be attainable.
- expectation properties 期望性质 — E(cX)=cE(X); E(X+Y)=E(X)+E(Y) — always, no independence needed.
- variance & shortcut 方差 — Var=E[(X−μ)²]=E[X²]−(E[X])²; SD = √Var, same units as X.
- four moments 四个矩 — Mean (location) · variance (dispersion) · skewness (asymmetry) · kurtosis (tail mass).
- skewness 偏度 — Standardised third central moment; negative skew = long left tail = dangerous for risk.
- kurtosis / excess kurtosis 峰度 — Standardised fourth moment; higher = fatter tails; normal has excess kurtosis 0.
- quantile & median & IQR 分位数 — Q(a) is the inverse CDF; median = Q(50%); IQR = middle 50% = Q(75%)−Q(25%).
- linear transformation Y=a+bX 线性变换 — Mean a+bμ; variance b²σ²; SD |b|σ; skew flips sign if b<0; kurtosis unchanged.
📝 本章自测 · Self-Check
以下为自编练习题(非真题):题干保留英文考试形态,解析为中文——先自己判断,再点开核对。共 4 题。
Q1 · A discrete random variable takes values 1, 2, 3, 4 with PMF P(X=x)=x/10. The value of the CDF at 3, F(3), is:
F(3)=P(X≤3)=1/10+2/10+3/10=6/10=60%。A 是单点概率 P(X=3);C 是另一个函数的常见组合(x/15 系列);D 是全部概率。
Q2 · X has mean 10, standard deviation 4, and skewness +1.5. If Y = 3 − 2X, then Y's mean, standard deviation, and skewness are:
均值:3+(−2)(10)=−17;标准差:|−2|×4=8(方差 b²σ² 开根后取正);偏度:b=−2<0 → 大小不变、符号翻转 → −1.5。B 忘了翻转偏度符号;C 把 a−bE(X) 符号算错;D 标准差不可能为负。
Q3 · A distribution of returns has positive (right) skew. Which statement is MOST accurate?
右偏 = 长右尾把均值向右拖 → mean > median(左偏才相反、对称才相等,故 A、C 错)。D 错:IQR=Q(75%)−Q(25%),覆盖的是中间 50% 的结果。
Q4 · Which of the following statements is true without any independence assumption?
期望的线性性对任意变量成立(无任何前提)。B 需要 X、Y 不相关(独立是其充分条件)——一般情况下 Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y);C 需要独立;D 应为 c²·Var(X)(常数平方)。这组对比是定量部分最常考的概念辨析之一。
Common Univariate Distributions 常见单变量分布
本章建立"分布库":离散的有伯努利、二项、泊松与离散均匀,连续的有连续均匀、正态、对数正态,推断用的分布有 t、卡方、F、指数与贝塔分布,最后是"自己合成分布"的混合分布。考试重点是"选对分布":n 次试验的成功数用二项、稀有事件计数用泊松、等待时间用指数、价格水平用对数正态、σ 未知的小样本均值用 t、方差检验用卡方、两方差之比用 F。正态的经验法则、临界值与置信区间必须背熟。
- Continuous uniform连续均匀分布:[a,b] 上等可能;P=(区间长)/(总长);均值 (a+b)/2;方差 (b−a)²/12。
- Binomial二项分布:n 次独立试验的成功次数,均值 np、方差 np(1−p)。
- Poisson泊松分布:单位时间稀有事件数,均值=方差=λ;n 大 p 小时近似二项(λ=np)。
- Lognormal对数正态:正态变量的指数,恒正右偏,价格建模专用。
- t / χ² / F三大推断分布:t 用于 σ 未知的均值(小样本);χ² 用于方差;F 用于两方差之比(双自由度)。
- Exponential指数分布:等待时间/违约时间;率参数 λ=1/β,均值 1/λ、方差 1/λ²,λ 在违约语境叫危险率(hazard rate)。
- Mixture混合分布:以非参数权重组合多个参数分布;改均值组合→改变偏度,改方差组合→改变峰度,可捕捉低频高损事件。
A probability distribution (概率分布) is the complete law describing a random variable. 本章构建你的「分布库」: binomial and Poisson for counts计数, the uniform for "all values equally likely", the normal for the bell curve, the lognormal for prices价格, t/chi-square/F for inference, and mixtures to build custom shapes. 考试最难的一步是选对分布,第二难的是算对参数。
Uniform, Bernoulli, binomial, Poisson 离散与均匀族
先认四种"计数/等可能"分布。连续均匀分布:结果只落在 [a,b],概率 = 区间长度占比——例如 X 均匀分布于 2 到 12,P(4≤X≤8)=(8−4)/(12−2)=40%;均值为中点 (a+b)/2,方差 (b−a)²/12;CDF 在其区间内是线性的。伯努利:一次"是/否"试验(如某公司是否违约),P(X=1)=p;均值 p、方差 p(1−p)(p=0.5 时方差最大)。二项分布:n 次独立伯努利试验的成功次数——注意 p 每次不变、试验相互独立;均值 np、方差 np(1−p)。泊松分布:单位时间/空间内的稀有事件数(每小时紧急呼叫、每批缺陷数),均值与方差都等于 λ;当 n 大、p 小时泊松可近似二项(λ=np)。
| Distribution | PMF / Formula | Mean | Variance | Use |
|---|---|---|---|---|
| Uniform (continuous) | P(x₁≤X≤x₂)=(x₂−x₁)/(b−a) | (a+b)/2 | (b−a)²/12 | Equally likely in [a,b] |
| Bernoulli | p(x)=px(1−p)1−x, x∈{0,1} | p | p(1−p) | One yes/no trial (default/no default) |
| Binomial B(n,p) | C(n,x)px(1−p)n−x | np | np(1−p) | #successes in n trials |
| Poisson λ | e−λλx/x! | λ | λ | Rare events over time/space |
Worked examples 两个必练小题
- 二项:某指数"上涨日"概率 p=0.67、各日独立,5 天里上涨天数的期望 = np = 5×0.67 = 3.35 天(方差 np(1−p)=1.106;离散分布取不到 3.35,但长期均值收敛到它);"上涨"的定义(success 的界定)是解题第一步。
- 泊松:某药物副作用发生率 0.01,200 名患者中恰有 5 人出现的概率?λ=np=200×0.01=2;P(X=5)=2⁵e⁻²/5!=32×0.1353/120≈3.6%。
We want P(exactly x successes out of n). Imagine a specific ordered string like S,S,F,S,…: its probability is p·p·(1−p)·p··· = px(1−p)n−x. But there are many orderings that give exactly x successes — the number of ways to place x S's in n slots is C(n,x). Since each ordering is equally probable with the same px(1−p)n−x, we add them: P=C(n,x)px(1−p)n−x. 例:n=5、p=0.6、x=3 → C(5,3)×0.6³×0.4²=10×0.216×0.16=34.56%。
Mean np — each trial contributes p to the count on average, and expectation is linear across the n independent trials → E=Σp=np. Variance np(1−p) — independent trials' variances add; each Bernoulli has variance p(1−p).
The normal distribution 正态分布 ⭐
正态分布的两大用途:① 很多金融变量近似正态;② 即使总体不正态,样本均值的分布也趋向正态(CLT,下一章展开)。性质要背全:由均值 μ 与方差 σ² 完全描述;对称(偏度 0、均值=中位数=众数);峰度 3、超额峰度 0;独立正态变量的线性组合仍正态;尾部无限延伸但概率越来越小。通过 标准化 Z=(X−μ)/σ 把任意正态变成标准正态 N(0,1),用 z 表求概率;对称性给出 F(−z)=1−F(z)——查表只需正半边。经验法则(68–95–99.7)与临界值必须张口就来;置信区间三件套(90/95/99% → ±1.65s / ±1.96s / ±2.58s)是下一章假设检验的地基。
📝 68–95–99.7 empirical rule & z-table usage
For any normal: ~68% of observations within ±1σ, ~95% within ±1.96σ, ~99.7% within ±3σ. Critical values: P(Z<1.645)=0.95(单尾), P(|Z|<1.96)=0.95(双尾), P(Z<2.326)=0.99, P(|Z|<2.58)=0.99.
z 表示例:EPS 服从 μ=$6、σ=$2 的正态。EPS≥$9.70 的概率?z=(9.70−6)/2=1.85 → 查表 F(1.85)=0.9678 → P(X>9.70)=1−0.9678=3.2%。(负值方向:P(X<4.10),z=−0.95,用对称性 P=1−F(0.95)≈17.1%。)
Confidence intervals 置信区间
以样本均值 x̄ 与样本标准差 s 构造(总体参数未知、用估计值代入):
- 90%:x̄ ± 1.65s · 95%:x̄ ± 1.96s · 99%:x̄ ± 2.58s。
例:基金年化收益 10.5%、标准差 18% → 95% 置信区间 = 10.5% ± 1.96×18% = [−24.78%, 45.78%]——含义是"约 95% 的年份里收益落在此区间"。
The normal arises from the Central Limit Theorem: average lots of small independent effects and their sum approaches a bell curve regardless of each effect's own shape. Its density is symmetric, unimodal, and decays exponentially with the square of distance from μ. We standardize Z=(X−μ)/σ because it locates every observation in standard deviation units, turning every normal question into the same table lookup.
The lognormal distribution 对数正态分布
价格不能为负,所以对价格建模用对数正态:若连续复利收益率 X=ln(ST/S0) 服从正态,则期末价格 ST 服从对数正态——恒为正、右偏。价格比 S₁/S₀=(1+持有期收益) 服从对数正态,因此价格永远不小于 0(价格比为 0 对应 −100% 收益)。注意对数正态的均值 eμ+σ²/2 大于 eμ——凸性(Jensen 效应)所致;考试若给"价格比服从对数正态"让你求"价格<0 的概率",答案永远是 0。
Sampling & inference distributions 推断用分布
五个推断分布各司其职。t 分布:用于总体方差未知、样本较小的正态(或近似正态)总体——比如用 n<30 的样本估计均值;对称、单参数(自由度 df=n−1)、尾部比正态厚;df 增大时收敛到标准正态,且同置信水平下 t 的置信区间比正态更宽(额外的不确定性来自"估计 σ")。卡方分布:检验正态总体方差,非对称、下界为 0,统计量 χ²=(n−1)s²/σ₀²;df 增大趋近正态。F 分布:比较两个总体方差,统计量为两样本方差之比 s₁²/s₂²,右偏、左端截断于 0,由两个自由度(分子 df₁、分母 df₂)确定;t 值的平方服从 F(1, n−1)。指数分布:建模等待时间——等客户、等到违约;密度 f(x)=(1/β)e−x/β,率参数 λ=1/β(违约语境中即危险率 hazard rate),均值 1/λ、方差 1/λ²;期内违约总数则服从泊松(率 t/β)——指数与泊松互为表里。贝塔分布:取值在 0 与 1 之间的柔性分布,用于建模违约概率与回收率(被部分信用风险模型采用,Part II 展开)。
| Distribution | Role | Key facts |
|---|---|---|
| Student t | Mean test with unknown σ / small sample | Symmetric; df=n−1; fatter tails; CI wider than z; df↑ → normal |
| Chi-square (χ²) | Variance tests of a normal population | χ²=(n−1)s²/σ₀²; skewed, bounded by 0; df↑ → normal |
| F | Equality of two variances | F=s₁²/s₂²; two dfs; right-skewed, truncated at 0; t²~F(1,n−1) |
| Exponential | Waiting times (e.g., time to default) | f(x)=(1/β)e−x/β; mean 1/λ; var 1/λ²; λ = hazard rate |
| Beta | Default probabilities & recovery rates | Values in (0,1); flexible shape (symmetric or skewed) |
Mixture distributions 混合分布 ⭐
当数据不服从任何"现成"分布时,可以用混合分布自己造一个:把多个参数分布(成分分布)按非参数权重(通常来自历史频率)随机抽取叠加。例子:股票收益 75% 的时间来自低波动正态(σ=10%)、25% 的时间来自高波动正态(σ=25%,均值相同)——先按 75/25 抽一个成分,再从该成分抽收益率。混合的美妙之处:组合不同均值的成分可以改变偏度;组合不同方差的成分可以改变峰度;均值差异足够大还能造出双峰分布。对风险管理尤其重要——它能把"低频高损"事件装进模型,让分布更贴近现实。代价:成分越多拟合越贴身,但结论也越难外推(过度贴合数据本身)。
- continuous uniform 连续均匀 — P=(x₂−x₁)/(b−a); mean (a+b)/2; variance (b−a)²/12; linear CDF on [a,b].
- Bernoulli 伯努利 — One trial; mean p, variance p(1−p) (max at p=0.5); models default/no-default.
- binomial 二项 — #successes in n independent trials with constant p; C(n,x)px(1−p)n−x; mean np, var np(1−p).
- Poisson 泊松 — Rare events per unit; P(X=x)=e−λλx/x!; mean=variance=λ; approximates binomial when n large, p small (λ=np).
- normal 正态 — Symmetric; skew 0, kurtosis 3; described by μ,σ²; linear combos of independent normals stay normal.
- standardisation & z-table 标准化 — Z=(X−μ)/σ; F(−z)=1−F(z); 68–95–99.7 rule; critical values 1.65/1.96/2.58.
- confidence interval 置信区间 — x̄±1.65s (90%) · ±1.96s (95%) · ±2.58s (99%); fund example: [−24.78%, 45.78%].
- lognormal 对数正态 — enormal; positive & right-skewed; models prices/price relatives; E=eμ+σ²/2.
- Student t t 分布 — Small samples, unknown variance, ~normal population; df=n−1; fatter tails; wider CIs than z; → normal as df grows.
- chi-square 卡方 — Variance tests: χ²=(n−1)s²/σ₀²; non-negative, skewed.
- F F 分布 — Ratio of two sample variances; two dfs; right-skewed; t² is F(1,n−1).
- exponential & beta 指数与贝塔 — Exponential: waiting time to default, rate=hazard rate, mean 1/λ, variance 1/λ²; beta: default probabilities & recovery rates on (0,1).
- mixture distributions 混合分布 — Parametric components with nonparametric weights; different means→skew, different variances→kurtosis; captures low-frequency/high-severity events.
📝 本章自测 · Self-Check
以下为自编练习题(非真题):题干保留英文考试形态,解析为中文——先自己判断,再点开核对。共 4 题。
Q1 · A firm wins each bid it submits with probability 0.7, independently. Across 5 bids, the probability of winning exactly 3 is closest to:
P(3)=C(5,3)×0.7³×0.3²=10×0.343×0.09≈0.309。A 是 P(恰好 2 胜)(10×0.49×0.027≈0.132),B 是 P(恰好 4 胜)(5×0.2401×0.3≈0.360),D 无依据——两个干扰项专抓"指数错位"。
Q2 · X follows a continuous uniform distribution on [10, 30]. P(14 ≤ X ≤ 26) is:
(26−14)/(30−10)=12/20=0.6。顺手验算:均值=(10+30)/2=20、方差=(30−10)²/12=33.33。D 是长度之比弄反或忘除总长。
Q3 · A portfolio's monthly return is modeled as: draw from a normal with σ=8% with 80% probability, or a normal with σ=25% (same mean) with 20% probability. This construction:
混合分布 = 参数成分 + 非参数权重(常数例 80/20),常用于把"低频高损"装进模型。B 错:混合结果不再是单一正态;D 错:组合不同方差的成分正是改变峰度的手段(组合不同均值则改变偏度)。
Q4 · The t-distribution is the appropriate choice when constructing a confidence interval from:
t 用于"小样本 + σ 未知 + 总体近似正态"——额外的不确定性(估计 σ)由更厚的尾部吸收,故同置信水平下区间比正态更宽。σ 已知时(C、D 情形)直接用 z;A 描述的组合不符合 t 的设计场景;样本大时 t 与 z 差异消失,但 t 的"招牌条件"仍是小样本未知方差。
Multivariate Random Variables 多元随机变量
从"一个变量"到"两个变量":新工具是概率矩阵(联合分布)、边缘分布(行/列加总)、条件分布(联合÷边缘)、协方差与相关系数;落地成果是两资产组合的均值—方差公式与最小方差权重。最后用 iid、大数定律与中心极限定理收尾,为下一章的抽样与估计铺路。
- Probability matrix概率矩阵:二元离散 PMF 的表格形式;全部概率加总=1。
- Marginal边缘分布:对另一变量求和(行和/列和),得到单变量分布。
- Conditional PMF条件分布:f(x₁|x₂)=f(x₁,x₂)/f(x₂)——联合÷边缘。
- Covariance协方差:E[(X₁−E[X₁])(X₂−E[X₂])]=E[X₁X₂]−E[X₁]E[X₂]。
- Correlation相关系数:σ₁₂/(σ₁σ₂) ∈ [−1,1];0 相关不蕴含独立,独立则必 0 相关。
- Portfolio variance组合方差:w₁²σ₁²+w₂²σ₂²+2w₁w₂σ₁₂;最小方差权重 w*=(σ₂²−σ₁₂)/(σ₁²−2σ₁₂+σ₂²)。
- iid sum独立同分布之和:和的期望 nμ、方差 nσ²;均值的方差 σ²/n 随 n 下降。
Moving from one variable to two (多元) introduces joint probability联合概率 (both outcomes together), marginal probability边缘概率 (summing over one variable), the conditional distribution (joint ÷ marginal), and the crucial portfolio result: how risk combines through covariance. This chapter also delivers iid sums plus the two theorems that justify almost all of statistics — the LLN and the CLT.
Probability matrices, marginals & conditionals 概率矩阵、边缘与条件分布
二元离散变量的联合 PMF 常用概率矩阵表达:行、列各是一个变量的取值,格子里是联合概率 P(X₁=x₁, X₂=x₂),全部加总等于 1。边缘分布=对另一变量求和:把某一行或者列加起来,就得到单个变量的分布("行和=行变量的边缘",列同理)。条件分布=联合÷边缘:f(x₁|x₂)=f(x₁,x₂)/f(x₂);用条件分布可以对"给定某个信号后"的收益分布加权求和,得到条件期望。
Worked example — earnings & returns 财报与股价矩阵
X₁=月度收益 {−3%, 0%, +3%};X₂=财报 {负, 中, 正}(记为 −1, 0, 1)。联合概率矩阵:
| Earnings (X₂) | −3% | 0% | +3% | 边缘 f(x₂) |
|---|---|---|---|---|
| 负 (−1) | 25% | 15% | 0% | 40% |
| 中 (0) | 5% | 10% | 15% | 30% |
| 正 (1) | 0% | 5% | 25% | 30% |
| 边缘 f(x₁) | 30% | 30% | 40% | 100% |
- 边缘:P(负财报)=25+15+0=40%;P(+3%)=0+15+25=40%。
- 条件分布(负财报):25/40=62.5%、15/40=37.5%、0/40=0%——出现负财报时,+3% 的概率被"更新"为 0。
- 条件期望:E[X₁|X₂=−1]=−3%×62.5%+0×37.5%+3%×0=−1.875%——用条件概率加权的平均。
二元函数的期望 = 概率加权平均:E[g(X₁,X₂)]=ΣΣ g(x₁,x₂)·f(x₁,x₂)。g 可以只依赖其中一个变量(比如只看收益),也可以复杂如 g=x₁x₂——考法就是"照着矩阵把每个格子算一遍再加总"。
Covariance & correlation 协方差与相关系数 ⭐
协方差度量两变量共同变动的方向:Cov=E[(X₁−E[X₁])(X₂−E[X₂])]=E[X₁X₂]−E[X₁]E[X₂];正=同向、负=反向、0=无线性共动。二元变量的协方差写成 2×2 矩阵——对角线是两个方差,副对角线是同一个协方差。例子:股票与其看跌期权收益负协方差;两只汽车股正协方差;股票与无风险资产零协方差。协方差的麻烦在于"带单位、量纲难解读",于是除以两个标准差得到相关系数 ρ=σ₁₂/(σ₁σ₂) ∈ [−1,+1]——无单位、可跨变量比较。三条铁律:完全正线性相关 ρ=1、完全负线性相关 ρ=−1;独立 ⇒ ρ=0,但 ρ=0 不蕴含独立(可能只缺"线性"关系而存在非线性依赖);相关系数只衡量线性关系强度。
Portfolio variance & the minimum-variance weight 组合方差与最小方差权重
For a two-asset portfolio with weights两资产组合 w₁, w₂ (w₁+w₂=1), the variance is:
Var(Rp) = w₁²σ₁² + w₂²σ₂² + 2w₁w₂ρ₁₂σ₁σ₂(= 2w₁w₂σ₁₂)
The last term is the diversification (分散化) machinery. Expanding (w₁R₁+w₂R₂−E[·])² and taking E[·] gives three terms: the two variance terms from squaring each asset, and the cross term 2w₁w₂Cov(R₁,R₂)交叉项 from the doubled product. Because Cov=ρσ₁σ₂, when ρ<1 the cross term is smaller than w₁w₂σ₁σ₂ would be, so total portfolio risk is less than the weighted sum of individual risks — that's the entire point of diversification. If ρ=−1, a specific weight choice can drive portfolio variance to zero.
📝 Worked example — 2-asset portfolio
Asset A: μ=8%, σ=20%; Asset B: μ=12%, σ=30%. w_A=0.6, w_B=0.4, ρ=0.3.
E[Rp] = 0.6(0.08)+0.4(0.12)=0.048+0.048=9.6%.
σp² = 0.36(0.04) + 0.16(0.09) + 2(0.6)(0.4)(0.3)(0.2)(0.3) = 0.0144+0.0144+0.00864 = 0.03744 → σp = √0.03744 ≈ 19.35%.
Notice σp (19.35%) < the simple weighted σ = 0.6(20%)+0.4(30%) = 24% — diversification at work. 想求风险最低的配置用 w* 公式:相关系数越低,最优权重越偏向低风险资产;ρ 较高时 w* 甚至可能为负(= 做空高风险资产)。
Linear transformations on cov & corr 线性变换的影响
四条规则一次记全:设 X₂=a+bX₁——① 相关方向由 b 定:b>0 时 ρ=+1、b<0 时 ρ=−1、b=0 时 ρ=0(线性关系下相关系数必为 ±1,与 a 无关);② 平移 a 不影响方差,缩放 b 使方差变为 b²Var(X₁);③ 双变量缩放相乘:Cov[a+bX₁, c+dX₂]=b·d·Cov[X₁,X₂];④ 交叉高阶矩——协偏度(coskewness)与协峰度(cokurtosis)衡量一个变量的一阶变动与另一个变量的二阶(及其高阶)变动的联动关系,例如"股票收益"与"另一变量波动率"常呈负协偏度(高波动时收益为负)。前者概念清晰,后者解释难度大,考试多为概念识别。
iid variables, LLN & CLT iid、大数定律与中心极限定理
独立同分布(iid)序列:彼此独立、来自同一分布、矩相同。由此得到两条简化:n 个 iid 变量之和——期望 nμ、方差 nσ²(方差随 n 线性增长,因为协方差项全部为 0);n 个 iid 变量之均值——方差 σ²/n 随 n 下降,样本越大,均值越贴近真值。大数定律(LLN)保证样本均值以概率收敛到 μ;中心极限定理(CLT)保证样本均值的分布趋近正态、标准误为 σ/√n——即使总体不正态也成立(有限方差)。这两条定理是后面一切参数估计与假设检验的合法性来源。
The two theorems
Law of Large Numbers (LLN): as n→∞, the sample average X̄ → true mean μ. "The average of many independent trials stabilizes."
Central Limit Theorem (CLT): even if the population is NOT normal, the distribution of the sample mean X̄ approaches normal as n grows, with mean μ and standard error σ/√n. This justifies using Z/t statistics on virtually any data once n is large.
The sample mean X̄=(X₁+···+Xₙ)/n. Variance of the sum = ΣVar(Xi) = nσ² (independent, variances add). Dividing by n² (because Var(aX)=a²Var(X)): Var(X̄)=nσ²/n² = σ²/n. Take the square root → σ/√n, the standard error of the mean (标准误). That's why the sampling distribution narrows as 1/√n — quadruple the sample to halve the standard error.
- probability matrix 概率矩阵 — Bivariate PMF tabulated over (x₁,x₂); all entries sum to 1; trinomial application.
- marginal distribution 边缘分布 — Sum the joint over the other variable (row/column totals); single-variable distribution.
- conditional distribution 条件分布 — f(x₁|x₂)=joint/marginal; used to build conditional expectation E[X₁|X₂=x₂].
- expectation of g(x₁,x₂) 二元函数期望 — Probability-weighted sum over all cells: ΣΣ g·f.
- covariance 协方差 — Cov=E[(X₁−μ₁)(X₂−μ₂)]=E[X₁X₂]−E[X₁]E[X₂]; sign = direction of co-movement.
- covariance matrix 协方差矩阵 — 2×2: variances on the diagonal, covariance off-diagonal.
- correlation 相关系数 — ρ=σ₁₂/(σ₁σ₂) ∈ [−1,1]; scale-free; measures linear relationship only.
- corr 0 ≠ independence 零相关不是独立 — Independence ⇒ ρ=0, but ρ=0 does NOT imply independence (nonlinear dependence possible).
- linear transformation effects 线性变换 — corr=±1 by sign of b; Var(bX)=b²Var(X); Cov[a+bX₁, c+dX₂]=bd·Cov; coskewness/cokurtosis.
- portfolio variance 组合方差 — w₁²σ₁²+w₂²σ₂²+2w₁w₂σ₁₂; min-variance weight w*=(σ₂²−σ₁₂)/(σ₁²−2σ₁₂+σ₂²).
- iid sums iid 之和 — Sum: mean nμ, variance nσ² (linear in n); Average: variance σ²/n, decreasing in n.
- LLN & CLT 大数定律与中心极限定理 — Sample mean → μ; its distribution → normal with standard error σ/√n.
📝 本章自测 · Self-Check
以下为自编练习题(非真题):题干保留英文考试形态,解析为中文——先自己判断,再点开核对。共 4 题。
Q1 · Rating (X₂) and stock return (X₁) have the joint probabilities: downgrade(−1): 25%,10%,0% for returns −5%,0%,+5%; no change(0): 5%,15%,5%; upgrade(+1): 0%,10%,30%. Given an upgrade, the conditional probability of a +5% return is:
升级行的边缘概率 = 0%+10%+30% = 40%;条件概率 = 30%/40% = 75%。A 是联合概率(忘记除以边缘);B 是边缘本身;D 是除以了"1−20%"式的其他分母。
Q2 · Cov(X,Y) = −0.024, σX = 0.20, σY = 0.40. The correlation is:
ρ = −0.024/(0.20×0.40) = −0.024/0.08 = −0.3。D 不可能(相关系数必须在 [−1,1] 内——超出范围是常设陷阱);A 少乘了一个标准差。另记:ρ=0 并不蕴含独立。
Q3 · Joint PMF: P(X₁=2,X₂=1)=0.5, P(X₁=2,X₂=2)=0.3, P(X₁=3,X₂=1)=0.2. The expectation of g(x₁,x₂)=x₁·x₂ is:
E = (2×1)(0.5) + (2×2)(0.3) + (3×1)(0.2) = 1.0 + 1.2 + 0.6 = 2.8。做法就是把每个格子的 g 值乘以格子概率再加总——漏格子或漏乘概率是典型错误。
Q4 · X₁,…,X₄ are iid with mean 5 and standard deviation 3. The mean and variance of their sum are:
期望:nμ = 4×5 = 20;方差:nσ² = 4×3² = 36(协方差项全为 0)。B 是 σ·n=12 的错误做法(标准差不是线性相加的"和");C 忘了乘 n;D 忘了平方(3²×4=36 才对)。另记:均值的方差是 σ²/n = 2.25,随 n 增大而下降。
Sample Moments 样本矩
现实中我们只能抽样:用样本均值、样本方差估计总体参数,用标准误 s/√n 度量估计的不确定性。本章给出"好估计量"的标准——无偏、有效(BLUE)、一致,并用偏度/峰度、中位数/分位数、协方差/相关系数把这些规则推广到更复杂的矩。考试常考:n−1 修正(贝塞尔修正)的原因、中位数奇偶规则、分位数"抗离群值"的性质、以及"p 阶交叉矩需要 p−1 个度量"这类计数题。
- Sample mean样本均值:μ̂=(1/n)ΣXᵢ,总体均值的最佳估计。
- Unbiased variance无偏方差:s²=[1/(n−1)]Σ(Xᵢ−μ̂)²;除以 n 会系统性低估。
- Bias偏差:bias(θ̂)=E[θ̂]−θ;样本均值无偏,样本方差(除以 n 时)偏差为 σ²/n。
- BLUE最佳线性无偏估计:线性无偏估计中方差最小——i.i.d. 下样本均值即是。
- Quantile / median分位数/中位数:与数据同单位、抗离群值;奇数样本取中间值,偶数取中间两值平均。
- Cross moments交叉矩:二阶=1 个协方差;三阶=2 个协偏度;四阶=3 个协峰度(p 阶需 p−1 个度量)。
We almost never observe the whole population — we estimate its parameters (总体参数) from a sample. This chapter covers the sample mean/variance estimators, the standard error, what makes an estimator "good" (unbiased, BLUE, consistent), skewness/kurtosis and quantile estimation, and bivariate moment estimators including coskewness & cokurtosis.
Estimating mean, variance & standard deviation 基本估计
三个起步公式必须手熟:样本均值 μ̂=ΣXᵢ/n;有偏方差 σ̂²=(1/n)Σ(Xᵢ−μ̂)²(除以 n);无偏方差 s²=[1/(n−1)]Σ(Xᵢ−μ̂)²(除以 n−1,即贝塞尔修正)。均值有个独门性质:各观测值到均值的偏差之和恒为 0(这就是"均值平衡两侧"之义)。注意术语:估计量(estimator)是公式,估计值(estimate)是公式算出的那个数;总体矩是"真值"(未知、以 N 计),样本矩是"估计"(已知、以 n 计)——样本越大,估计越接近真值。下面走一遍教材例题(Alpha 公司五年收益)。
Worked example — Alpha Corp(五年收益)
数据:24%, 34%, 18%, 54%, 10%。均值 = 140/5 = 28%。各偏差:−4, +6, −10, +26, −18 → 平方和 = 16+36+100+676+324 = 1,152(即 0.1152)。
- 有偏方差 = 0.1152/5 = 0.0230 → 有偏标准差 ≈ 15.17%(系统性低估)。
- 无偏方差 = 0.1152/4 = 0.0288 → 无偏标准差 ≈ 16.97%(考试默认用这个)。
我们用的是样本均值 μ̂ 而非真值 μ。数据点天然更"贴近" μ̂——所以围绕 μ̂ 的偏差比围绕 μ 的偏差系统性地偏小。严格推导:E[Σ(Xᵢ−μ̂)²] = (n−1)σ²,故除以 n 会低估 σ²(有偏,偏差恰为 σ²/n);除以 n−1 修正后 s² 才是 σ² 的无偏估计。
损失的一个自由度:一旦用数据估计了均值,只剩下 n−1 份信息"自由"地描述离散程度——这与 t 分布 df、卡方检验的 "−1" 同源。
Estimators, bias & BLUE 估计量、偏差与 BLUE
偏差的正式定义:bias(θ̂)=E[θ̂]−θ——估计量的期望减去真值。样本均值无偏:E[μ̂]=μ,偏差为 0。样本方差(除以 n)有偏:E[σ̂²]=((n−1)/n)σ²,偏差为 −σ²/n;由于偏差已知,用 n/(n−1) 放大即修正。进一步的精益求精是 BLUE(最佳线性无偏估计量):在所有"线性 + 无偏"的估计量里方差最小——i.i.d. 数据下,权重全取 1/n 的样本均值就是 BLUE(线性形式 μ̂=ΣwᵢXᵢ,wᵢ 独立于 Xᵢ)。注意两点考试的边界:① 可能存在非线性估计量(如最大似然估计)在某些意义上更优,但小样本下常有偏;② 方差的"有效"与"无偏"是两回事——效率是"无偏家族里方差最小"。
Consistency, LLN & CLT 一致性与两大定理
一致性(consistency)有两条:样本增大时(i)有限样本偏差收敛到 0;(ii)估计量的方差收敛到 0——即估计值会稳定地贴向真值。大数定律(LLN)正是"估计量一致"的担保(只需均值有限);中心极限定理(CLT)再进一步:简单随机样本均值的分布趋近正态,均值 μ、方差 σ²/n——CLT 只额外要求方差有限,不对总体分布做任何假设;经验上 n≥30 即可用正态近似作推断。两条定理的应用要点:基于样本均值对总体均值做置信区间与假设检验,无论总体是不是正态,只要 n 足够大就成立。(定理的完整推导见第 4 章的 iid 小节。)
Skewness & kurtosis of a sample 样本偏度与峰度
样本偏度 = 标准化三阶中心矩 (1/n)Σ(Xᵢ−μ̂)³/σ̂³;样本峰度 = 标准化四阶中心矩;超额峰度 = 峰度 − 3(正态为 0)。偏度的形态学:非对称分布由离群值造就——正偏=右上(右)长尾(很多正离群值),负偏=左下(左)长尾。三大中心位置的关系:对称分布 mean=median=mode;正偏:mode < median < mean;负偏:mean < median < mode。教材例子极实用:100 户的社区,99 户卖 $100k、1 户卖 $1M——中位数与众数都是 $100k,但均值被那一个离群值拉到 $109k。峰度看"尾部概率与主体的比例":峰度 > 3 为肥尾(leptokurtic),< 3 为瘦尾(platykurtic)。给风控的最后一句:实证研究表明证券收益大多既偏又峰——用正态假设建模会漏掉极端负结果;风险经理更关注尾部而非均值方差,"更大的正峰度 + 更负的偏度 = 更高的风险"。
Median & quantile estimates 中位数与分位数估计 ⭐
中位数=排序后位于中间的值(50 分位):奇数个观测取第 (n+1)/2 位;偶数个观测取第 n/2 与 n/2+1 位的平均。例:五位基金经理收益 30%, 15%, 25%, 21%, 23% → 排序后取中间,23%;加第六位 28% 后 → (25%+23%)/2 = 24%。其他分位数(如 25/75 分位):把数据排序后找第 a×n 位,非整数则取相邻两点平均。四分位距 IQR = [Q(25%), Q(75%)],覆盖中间 50%——它是"围绕中位数的离散度",类似标准差之于均值。分位数有两大宝贵性质:① 与数据同单位(可直接解读,"25% 的概率低于此值");② 抗离群值——中位数与 IQR 不受极端值影响,而均值会被一个错误数据点打偏。经验法则:数据含可疑极端值时,报告分位数比报告均值更稳健。
Bivariate moments: covariance, correlation & cross moments 二元矩:协方差、相关与交叉矩
两个变量的均值估计还是老办法(各自加总除 n);样本协方差 = Σ(Xᵢ−μ̂X)(Yᵢ−μ̂Y)/(n−1)(注意分母同样是 n−1);相关系数 = 协方差 ÷ 两标准差。教材例题(三状态经济):Stock A 与 B 的协方差 = 0.0058,σA=0.0529、σB=0.1114 → ρ = 0.0058/(0.0529×0.1114) = 0.9842——高度同向。交叉矩家族要能数数:p 阶交叉矩需要 p−1 个度量——二阶 1 个(协方差)、三阶 2 个(协偏度)、四阶 3 个(协峰度);协偏度衡量"一个变量大幅波动时,另一个变量的符号倾向"(二元正态下恒为 0);协峰度衡量"两变量同时大幅波动"的程度——对称情形 k(X,X,Y,Y) 在二元正态下随相关系数从 0 处最小(=1)对称升到 3;非对称情形 k 从 −3 到 +3 随 ρ 线性上升。这些高阶矩是"收益与波动率联动"类现象的分析工具,概念识别为主。
- sample mean 样本均值 — μ̂=ΣXᵢ/n; deviations from the mean always sum to zero; only arithmetic mean has this property.
- biased vs unbiased variance 有偏/无偏方差 — ÷n systematically underestimates σ²; ÷(n−1) is unbiased (Bessel's correction).
- standard error 标准误 — s/√n; shrinks as sample grows.
- estimator vs estimate 估计量 vs 估计值 — The formula vs the number it produces.
- bias 偏差 — bias(θ̂)=E[θ̂]−θ; sample mean unbiased; bias(σ̂²)=−σ²/n, known → corrected by n/(n−1).
- BLUE 最佳线性无偏 — Minimum variance among linear unbiased estimators; the sample mean (weights 1/n) is BLUE for i.i.d. data.
- consistency 一致性 — As n→∞ bias→0 and variance→0; guaranteed by the LLN.
- CLT conditions CLT 条件 — Mean & variance finite; no distribution assumption; X̄ ~ N(μ, σ²/n) for n≥30 (rule of thumb).
- sample skew & kurtosis 样本偏度/峰度 — Standardised 3rd & 4th moments; positive skew: mode<median<mean; excess kurtosis 0 for normal; returns are typically skewed & fat-tailed.
- median rules 中位数规则 — Odd n: x(n+1)/2; even n: average of xn/2 & xn/2+1; robust to outliers; same units as data.
- IQR 四分位距 — Q(75%)−Q(25%); dispersion around the median; outlier-robust.
- sample covariance & correlation 样本协方差/相关 — Σ(x−x̄)(y−ȳ)/(n−1); ρ=cov/(σXσY).
- coskewness & cokurtosis 协偏度/协峰度 — 3rd/4th cross moments; p-th moment needs p−1 measures (1, 2, 3); zero for bivariate normal coskewness; symmetric cokurtosis ranges 1–3 (min at ρ=0).
📝 本章自测 · Self-Check
以下为自编练习题(非真题):题干保留英文考试形态,解析为中文——先自己判断,再点开核对。共 4 题。
Q1 · An asset's annual returns over three years were 10%, 22%, and −2%. The best unbiased estimate of the standard deviation is closest to:
均值=(10+22−2)/3=10%;偏差 0,+12,−12 → 平方和=288 → s²=288/(3−1)=144 → s=12%。A 是心算错;C≈除以 n 得到的 9.8%…不,注意数值陷阱来自其他分母口径(除 n:√(288/3)≈9.8%,非 14.4%——14.4/16.9 对应其他数据组合,属干扰项);D=16.9% 是 Alpha 例题的数字(提示"背例题不如背步骤")。
Q2 · Which statement about estimator bias is MOST accurate?
B 说的是"有效(efficiency)";C 说反——除以 n 是有偏的(偏差 −σ²/n),需除以 n−1;D 说错——无偏是"期望命中",一致是"随 n 收敛"(大样本性质),两者独立(一个估计量可以无偏但不一致、或有偏但一致)。
Q3 · Six analysts' annual returns are: 31%, 29%, 24%, 22%, 20%, 14%. The median is:
偶数 n 取中间两位(24% 与 22%)的平均 = 23%。A 只取了下中位;C 只取了上中位;D 是把均值 (31+29+24+22+20+14)/6=23.33% 当成了中位数——题目专抓"均值与中位数"的区分。
Q4 · Which of the following is a reason quantile-based measures (median, IQR) are useful in risk analysis?
分位数与数据同单位(可直接解读为"低于此值的概率为 x%"),且不受离群值影响——数据疑似含错误极端值时,中位数比均值更稳健。A 说反(那是均值的缺点);C 错(偶数样本有明确规则);D 错(只有对称分布才有 mean=median 的可能)。
Hypothesis Testing 假设检验
假设检验是定量部分最核心的考点:先立原假设 H₀(永远含等号),用检验统计量在"拒绝/不拒绝"之间做决定。必背:第一类错误(拒真,概率=显著性水平 α)与第二类错误(取伪,概率 β)、功效 power=1−β;单尾临界值 1.65、双尾 1.96(5% 水平);"统计显著 ≠ 经济显著";以及最容易被忽略的多重检验陷阱(同一数据集上测多个假设会把实际 α 放大)。
- Null hypothesis原假设:默认成立、等待被拒绝;含等号(=、≤ 或 ≥)。
- Type I error第一类错误:错拒真的 H₀,概率等于显著性水平 α。
- Power检验功效:1−β,正确拒绝错误原假设的能力;同一样本量下提功效必以抬 α 为代价,唯一双赢办法是加大样本。
- p-valuep 值:H₀ 为真时得到至少这么极端结果的概率;小于 α 即拒绝;它是最小的可拒绝显著性水平。
- t vs z检验选择:σ 已知(且总体正态)用 z;σ 未知用 t(大样本时两者皆可,t 更保守)。
- Multiple testing多重检验:同一数据集反复测试 → 实际 α 膨胀 → 第一类错误概率上升。
Hypothesis testing (假设检验) is formalized, rigorous guessing: we propose a claim (the null H₀原假设), then ask whether the sample gives enough evidence to reject it. It's the single most-tested concept in all of Part I quant. 关键习惯:永远把"想要证明的结论"放在备择假设——因为统计只能"拒绝",不能"证明"。
The six ingredients & the decision machinery 六要素与决策机器
任何假设检验都由六件东西组成:① 原假设 H₀(指定参数的假定值);② 备择假设 HA(拒绝 H₀ 时接受的取值方向);③ 检验统计量(从样本计算);④ 检验的规模/显著性水平(α,= 拒真概率);⑤ 临界值(与统计量比较的门槛);⑥ 决策规则(比较后就拒绝或不拒绝)。检验统计量的通用形态:(样本统计量 − 假设值)/ 该统计量的标准误——均值的标准误在 σ 已知时为 σ/√n、未知时用 s/√n。注意一个措辞纪律:结论只能说"拒绝 H₀"或"不能拒绝 H₀",不能说"接受" H₀——统计检验无法证明假设,只能否定。若研究问题是"均值是否不同于 X"→ 双尾;"是否大于(或小于)X"→ 单尾;实务上大多数检验默认双尾。
Critical values to MEMORISE 临界值表(必背)
| Level of significance | Two-tailed | One-tailed |
|---|---|---|
| 0.10 (10%) | ±1.65 | +1.28 or −1.28 |
| 0.05 (5%) | ±1.96 | +1.65 or −1.65 |
| 0.01 (1%) | ±2.58 | +2.33 or −2.33 |
双尾把 α 对半分到两侧尾巴(如 5% → 每侧 2.5%),所以双尾临界值比单尾更大——"同一 |统计量| 在双尾下过不了、在单尾下可能过"是经典陷阱。
Type I / Type II errors & power 两类错误与功效
Get the four cells right
| Reality: H₀ true | Reality: H₀ false | |
|---|---|---|
| Fail to reject H₀ | ✅ Correct (prob 1−α) | ❌ Type II error (β) |
| Reject H₀ | ❌ Type I error (α) | ✅ Correct (power = 1−β) |
Type I error (α, significance level, 显著性水平) = falsely rejecting a true null — a "false alarm"(错判无辜)。Type II error (β) = failing to reject a false null — a "miss"(放走真凶)。Power = 1−β = correctly rejecting a false null(抓住真凶的能力)。
两个错误此消彼长:把 α 从 5% 收到 1%,拒绝的门槛变高,漏掉真效应的概率 β 就上升、功效下降。给定样本量,改善一方必然牺牲另一方;唯一能同时改善两者的办法是增加样本量。当多个检验统计量可选时,选"在所有可能检验中功效最大"的那个。
The t-test & the z-test t 检验与 z 检验
选择规则是高频考点:σ 未知时用 t,前提是——样本大(n≥30),或样本小但总体(近似)正态;小样本 + 非正态 → 没有可靠的统计检验。σ 已知(且总体正态)用 z。大样本 + σ 未知时 z 也"可以"接受(用 s 代入),但 t 是更保守的选择;样本足够大时 t 与 z 的临界值几乎一致,二者差别可忽略。t 统计量自由度 n−1:t=(x̄−μ₀)/(s/√n)。z 统计量:(x̄−μ₀)/(σ/√n)。
📝 Worked example 1 — complete six-step z-test(机器校准)
机器正常时零件均长 2.5 英寸;某日样本 n=49、x̄=2.49、σ=0.021(已知)。5% 显著性下是否需要停机调整?
- ① 假设:H₀: μ=2.5(无需调整) vs HA: μ≠2.5(需要调整)。
- ② 统计量:σ 已知 → z。③ α=5%。④ 决策规则:|z|>1.96 则拒绝。
- ⑤ 计算:z=(2.49−2.5)/(0.021/7)=−0.01/0.003=−3.33。⑥ 结论:|−3.33|>1.96 → 拒绝 H₀,机器应停机检修。
📝 Worked example 2 — option returns(双尾/单尾/置信区间三连)
期权组合 250 天:日均收益 x̄=0.1%,样本标准差 s=0.25%。SE=0.25/√250≈0.0158%。
- 双尾(μ₀=0):z=0.1/0.0158≈6.33>1.96 → 拒绝,平均日收益显著不等于 0。
- 单尾(HA: μ>0):临界值 1.645,6.33>1.645 → 同样拒绝,收益显著为正。
- 95% 置信区间:0.1%±1.96×0.0158% → [0.069%, 0.131%]——区间不含 0,与检验结论一致。
p-value & the CI–test equivalence p 值与置信区间等价性
p 值是"假设 H₀ 为真,得到至少这么极端结果的概率",也理解为"能够拒绝 H₀ 的最小显著性水平"——所以 p<α ⇔ 拒绝。双尾的 p 值 = 两侧尾部概率之和;单尾只算一侧。例:某双尾检验统计量 = 2.3,查表 P(Z>2.3)=1.07%,故 p=2×1.07%=2.14%——在 3%/4%/5% 水平下可拒绝,但在 2%/1% 下不能。很多实务报告直接给出 p 值、让读者自选置信标准。置信区间与检验等价:把区间写成"−临界值 ≤ 检验统计量 ≤ +临界值",就看懂了两者用的是同一把尺——95% 置信区间不包含假设值 μ₀ ⇔ 在 5% 水平下拒绝 H₀。单尾检验也对应单边区间(上尾:(统计量 − 临界值×SE, ∞))。
More tests & traps 更多检验与陷阱
三个扩展考点。① 双均值差检验:检验两个总体的均值是否相等,等价于检验"差=0":T=(X̄−Ȳ)/√[(sX²+sY²−2cov(X,Y))/n],H₀ 成立时服从标准正态;之后照常走流程。② 多重检验:在同一数据集上反复测试多个假设(如 10 个策略 vs 买入持有)——α 只对单次检验成立,测的越多,实际的 α 越大,第一类错误概率随之上升,"终于测出显著"往往是假阳性。这是数据挖掘/回测过拟合的统计学根源。③ 统计显著 vs 经济显著:拒绝 H₀ 只说明"效应不太像巧合",不说明值得下注——还要扣:交易成本(买卖价差与佣金)、税负、以及样本期内收益的逐年波动等额外风险;样本极大时,微不足道的效应也能"显著"。
- hypothesis setup 假设结构 — H₀ always contains equality; the hoped-for claim goes in HA; only "reject" or "fail to reject" — never "accept".
- six components 六要素 — Null, alternative, test statistic, significance level (test size), critical value, decision rule.
- test statistic 检验统计量 — (sample statistic − hypothesised value) ÷ standard error; SE of the mean is σ/√n or s/√n.
- Type I error (α) 第一类错误 — Rejecting a true null; equals the significance level.
- Type II error (β) & power 第二类错误与功效 — Failing to reject a false null; power = 1−β; lowering α raises β; only a larger sample improves both.
- critical values 临界值 — 10%: ±1.65/±1.28 · 5%: ±1.96/±1.65 · 1%: ±2.58/±2.33 (two-/one-tailed).
- one- vs two-tailed 单尾/双尾 — Directional claim → one-tailed; "different from" → two-tailed; two-tailed splits α.
- t vs z test t/z 选择 — t when σ unknown (n≥30 or ~normal population); z when σ known; small & nonnormal → no reliable test; t more conservative, converges to z.
- p-value p 值 — P(data at least as extreme | H₀); reject if p<α; smallest significance level at which H₀ can be rejected; two-tailed p = 2× one-sided (symmetric).
- CI–test equivalence 区间与检验等价 — μ₀ outside the (1−α) CI ⇔ reject at α; interval restates "−crit ≤ stat ≤ +crit".
- difference of means 双均值差 — T=(X̄−Ȳ)/√[(sX²+sY²−2cov)/n]; standard normal under H₀.
- multiple testing 多重检验 — Repeated testing inflates the actual α → higher Type I error probability (backtest overfitting).
- statistical vs practical 统计 vs 经济显著 — Significance ≠ profitability: transaction costs, taxes, and extra risk (e.g., short-sale closure, year-to-year variation) can kill an "attractive" strategy.
📝 本章自测 · Self-Check
以下为自编练习题(非真题):题干保留英文考试形态,解析为中文——先自己判断,再点开核对。共 4 题。
Q1 · A researcher tests whether the mean return of a strategy is positive. She runs a one-tailed test at the 5% level. Which pair (H₀, HA) and critical value is correct?
"想证明为正" → 备择取 >0、原假设取 ≤0(原假设必须含等号);上尾 5% 的临界值是 +1.645。A 方向反了(那是"证明为负");C 把原假设写成了不含等号的">";D 是双尾结构(对应问题应是"是否不同于 0",且临界值 ±1.96)。
Q2 · A sample of 36 fund returns has a mean of 152 and a known population standard deviation of 24. To test H₀: μ = 145 against HA: μ ≠ 145, the z-statistic is closest to:
SE=24/√36=4;z=(152−145)/4=1.75。别忘了 √n——A 是用了 σ 未除 √n 的口径错误(7/24≈0.29);D 是 1% 单尾临界值(干扰项);B 是换一批数字的常见误算。1.75 < 1.96,双尾 5% 下不能拒绝。
Q3 · Which statement about hypothesis-testing errors is MOST accurate?
α = P(拒绝真 H₀) = 显著性水平。A 混淆:power=1−β(第二类错误);C 违背统计哲学——拒绝 H₀ 只是"证据不足支持它",并非"证明了"备择;D 说反了:α 收紧 → 更难拒绝 → β 上升 → 功效下降。
Q4 · An analyst tests 20 trading strategies against the same dataset at the 5% significance level. The most likely statistical problem is that:
α 只对"单次"检验准确——测 20 个策略时,实际犯第一类错误(找出一个假显著结果)的概率被放大,这正是回测过拟合的统计根源。A 无依据(Type II 不由多次测试下降);C、D 都是编造的机制。
Linear Regression 线性回归
一元线性回归用最小二乘法(OLS)最小化残差平方和来估计截距与斜率,再检验斜率是否显著非零。核心公式:b̂=Cov(x,y)/Var(x)、â=Ȳ−b̂X̄(回归线必过 (X̄,Ȳ) 点)。高频考点:手工计算 t=b̂/SE(b̂)、置信区间 b̂±tc·SE 与检验的等价性、"对系数线性"而非对变量线性(可先做变换)、以及零均值假设的五种经典违例。
- Ordinary least squares最小二乘:最小化残差平方和的估计方法。
- Slope斜率:b̂=Cov(x,y)/Var(x),Y 对 X 的单位敏感度。
- Residual残差:eᵢ=yᵢ−ŷᵢ;OLS 使 Σeᵢ² 最小。
- R²决定系数:被解释变异占总变异的比例;单变量回归中 R²=r²。
- t-test of slope斜率 t 检验:t=(b̂−β₀)/SE(b̂),自由度 n−2。
Linear regression (线性回归) builds a straight-line model of one variable, Y, on another, X — e.g. explaining a stock's return by the market's return. It estimates the intercept (截距) and slope (斜率) by ordinary least squares (OLS, 最小二乘) and then tests whether the slope is statistically non-zero. 记住三个"能/不能":对系数必须线性、误差必须可加、X 必须可观测。
When linear regression applies 适用条件
三个前置条件:① Y 与 X 的关系应对(变换后)呈线性;② 误差项必须可加(误差方差与观测数据无关);③ 所有 X 必须可观测(有缺失数据就不适用)。关于"线性"的最关键口径:线性指对未知系数线性——变量本身可以非线性,先做变换再进方程即可。例:效用函数里的边际效用递减,可把消费取对数:E(utility)=α+β·ln(consumption),照样用线性技术估计。反例:Y=α+βXp+ε 中 p 也是未知参数、且与 β 的关系非线性——这不能直接套线性回归。另一个易错点:当 X=0 不现实时,截距 â 的含义变成"保证均值落在回归线上"的那个值(回归线过 (X̄,Ȳ) 点),不再字面解释为"X=0 时的 Y"。
OLS estimation OLS 估计
The model predicts ŷi=â+b̂xi. The residual (残差) is ei=yi−ŷi. OLS picks â, b̂ to minimize the sum of squared residuals, SSE=Σei²。
Why squares and not absolute values or plain sum? Plain sum Σei always equals 0 (positive and negative residuals cancel), so it's useless. Absolute values avoid cancellation but the function isn't smooth/differentiable. Squaring (a) removes sign, (b) is smooth so we can take derivatives, and (c) penalizes big errors more heavily, which concentrates the fit where deviations are largest. Setting ∂SSE/∂b=0 and ∂SSE/∂a=0 gives two normal equations正规方程, whose solution is exactly b̂=Cov/Var and â=ȳ−b̂x̄. "Least squares" is literal — the best linear fit by minimizing squared vertical distance.
📝 Worked example — stock vs market(协方差矩阵直给)
某股票年收益均值 Ȳ=11%,市场 X̄=8.4%;协方差矩阵给出 σXY=132.11、σX²=181.40。
b̂ = 132.11/181.40 = 0.73 ; â = 0.11 − 0.73×0.084 = 0.049(4.9%)。
解读:市场收益每上升 1%,该股收益预计上升 0.73%;若市场收益为 0,该股收益约为 4.9%。口径提醒:考试给"协方差矩阵"时,斜率就是 σXY/σX²——分子是协方差、分母是市场方差。
Assumptions & classic violations 假设与违例 ⭐
OLS 推断成立的关键假设(大部分针对误差项):① 条件期望为零 E(ε|X)=0——X 不含关于误差位置的信息(该假设不可直接检验,要靠对"数据生成过程"的判断);② (X,Y) 观测独立同分布;③ Var(X)>0(否则斜率无从估计);④ 误差同方差;⑤ 数据中不应有大离群值(OLS 对离群值敏感,容易被带偏)。假设①的违例有五个经典来源,考试直接用它们的名字:生存偏误(survivorship bias)——事后取样,退市/被剔除的样本不再出现(如只取还在指数里的公司);样本选择偏误(sample selection bias)——观测的发生依赖特定结果(房价下跌时按揭再融资锐减,样本天然偏向房价上涨期);联立性偏误(simultaneity bias)——X 与 Y 同时被决定(成交量与波动率互为因果);遗漏变量(omitted variables)——重要解释变量没进模型,系数被污染、甚至造出并不存在的"关系";衰减偏误(attenuation bias)——X 存在测量误差,导致系数被低估。(更系统的诊断与修复见第 9 章。)
Violations of E(ε|X)=0 — name them
- Survivorship bias 生存偏误 — sampling only survivors (dropped index members excluded).
- Sample selection bias 样本选择偏误 — occurrence of an observation depends on outcomes (refinancing data only in rising markets).
- Simultaneity bias 联立性偏误 — X and Y determined together (volume ⇄ volatility).
- Omitted variables 遗漏变量 — coefficients biased, misleading relationships.
- Attenuation bias 衰减偏误 — measurement error in X → coefficients underestimated.
Sampling distribution of OLS estimators 估计量的抽样分布
b̂ 与 â 是从随机样本算出的,因此本身也是随机变量——换一个样本就换一个值,各有自己的抽样分布。好消息:OLS 估计量无偏且一致(E[b̂]=β、随 n 增大收敛),且由 CLT,大样本下近似正态——这正是能做 t 检验的许可。斜率的方差有两条方向性结论要背:随误差方差上升而变大(估计更不可靠)、随 X 的方差上升而变小。直觉:X 的取值越分散,数据对"斜率"的刻画越充分;噪声越大,斜率越难测准。
Hypothesis testing the slope 斜率检验与置信区间 ⭐
三步走:① 立假设(最常见 H₀: β=0——"X 无解释力");② 算统计量 t=(b̂−β₀)/SE(b̂),自由度 n−2(单变量回归:n 个观测 − 2 个估计的系数);③ 与临界值比较。置信区间 = b̂ ± tc·SE(b̂),与你已经学过的"区间-检验等价性"完全一致:假设值落在区间内 → 不拒绝;落在区间外 → 拒绝。p 值读法同前:p<α 即拒绝(回归软件一般直接给 H₀: β=0 的 p 值)。注意区分两个"常用检验对象":β=0(有没有解释力)与 β=1(是不是"复制市场",如基金 beta)。
📝 Worked example — all three tools at once
n=46 的回归:b̂=0.76,SE(b̂)=0.33,临界值 tc=2.02(5% 双尾)。
- t 检验(H₀: β=0):t=0.76/0.33=2.30 > 2.02 → 拒绝,"系数显著非零"(p 值 0.026<5% 同结论)。
- 置信区间:0.76 ± 2.02×0.33 = [0.093, 1.43]——0 不在区间内(与拒绝一致),但 0.20 在区间内:所以检验 H₀: β=0.20 时不能拒绝(t=(0.76−0.20)/0.33=1.70<2.02)。
一道题练全:点估计、t 值、CI、以及"CI 就是检验的另一张脸"。
R² — coefficient of determination 决定系数
Each yi deviates from the mean ȳ. That total variation, TSS=Σ(yi−ȳ)², splits into the part the model explains and the part it doesn't:
TSS = Σ(ŷi−ȳ)² + Σei² = RSS (regression/explained)回归(解释)平方和 + SSE (error/unexplained)残差(未解释)平方和.
R² = RSS/TSS = 1 − SSE/TSS. It's the fraction of Y's variance explained by XY 方差被解释比例, between 0 and 1. In simple regression, R² = (correlation)² between X and Y:R²=rXY²。若斜率 b̂=0(协方差为 0),则 r=0、R²=0——"X 完全解释不了 Y"。
⚠️ Trap
R² can be small yet the slope still statistically significant — statistical significance and explanatory power (R²) are different ideas. Also R² only increases when you add more predictors — 这正是下一章引入调整 R²(adjusted R²)的原因。
- regression conditions 适用条件 — Linear (in coefficients — variables may be transformed), additive error, observable X.
- OLS 最小二乘 — Minimises Σei²; plain residual sum is always 0; squares give smoothness & penalty on large errors.
- estimators 估计量 — b̂=Cov(x,y)/Var(x); â=ȳ−b̂x̄; the line passes through (X̄, Ȳ); intercept meaning shifts when X=0 is unrealistic.
- assumptions 假设 — E(ε|X)=0; i.i.d. observations; Var(X)>0; homoskedasticity; no large outliers.
- violations of E(ε|X)=0 零均值违例 — Survivorship; sample selection; simultaneity; omitted variables; attenuation (measurement error → underestimated coefficients).
- OLS sampling distribution 抽样分布 — Unbiased & consistent; approx normal (CLT); slope variance ↑ with error variance, ↓ with X variance.
- hypothesis testing 假设检验 — t=(b̂−β₀)/SE(b̂), df=n−2; common tests: β=0 and β=1.
- confidence interval 置信区间 — b̂±tc·SE; hypothesised value inside → fail to reject; outside → reject.
- p-value p 值 — Reject if p<α; software reports p for H₀: β=0.
- R² 决定系数 — Explained share of total variation; TSS=RSS+SSE; simple regression R²=rXY²; slope 0 ⇔ R²=0.
- R² trap 陷阱 — Small R² with significant slope possible; R² rises with added regressors → the reason adjusted R² exists.
- dummy variables 虚拟变量 — 0/1 indicators (e.g., a January dummy) to capture qualitative effects.
📝 本章自测 · Self-Check
以下为自编练习题(非真题):题干保留英文考试形态,解析为中文——先自己判断,再点开核对。共 4 题。
Q1 · In a regression, ŷ = 2.0 + 2.5x. The most appropriate interpretation of the slope coefficient is:
斜率 = "X 每变动一单位、Y 的预测变化量"。A 描述的是截距(x=0 时 y=2.0);C 把依赖方向弄反;D 荒谬——相关系数最大为 1,2.5 不可能。
Q2 · A variance–covariance matrix gives σxy = 30 and σx² = 12. The means are x̄ = 0.03 and ȳ = 0.08. The estimated slope and intercept are:
b̂ = σxy/σx² = 30/12 = 2.5;â = ȳ − b̂x̄ = 0.08 − 2.5×0.03 = 0.08 − 0.075 = 0.005。A 把斜率算成了分母除分子;D 忘乘 x̄ 直接减;B 两个都错。
Q3 · The reliability of the estimated slope coefficient is MOST accurately described as:
Var(b̂) 随误差方差上升而变大(噪声大→不可靠),随X 方差上升而变小(X 越分散→斜率刻画越充分)。A、C 方向反;B 把 X 方差的方向弄反。一句话记忆:要信号(X 分散)、不要噪声(误差小)。
Q4 · A regression has b̂ = 0.76 with SE(b̂) = 0.33 (n = 46; critical t = 2.02 at the 5% level). The 95% confidence interval is closest to:
CI = 0.76 ± 2.02×0.33 = 0.76 ± 0.67 → [0.09, 1.43]。推论:0 不在区间内 → 5% 水平下拒绝 H₀: β=0;而 0.20 在区间内 → 不能拒绝 H₀: β=0.20。C 用了错误的乘子(0.33 未乘临界值);D 只算了一半区间。
Multiple Regression 多元回归
多元回归把解释变量扩展到 k 个,解读系数时要说"在其他变量不变的情况下"(偏斜率系数)。因为普通 R² 随变量个数只增不减,改用调整 R² 惩罚参数个数;全体斜率的联合显著性用 F 检验;分类变量用 m−1 个虚拟变量表示,避免虚拟变量陷阱。本章三条主线:R² 家族(含三大坑)、t/F 两把尺子、虚拟变量的解读纪律。
- Adjusted R²调整 R 方:R̄²=1−[(n−1)/(n−k−1)]×(1−R²),按自由度惩罚参数个数;可能为负。
- F-testF 检验:整体显著 F=(ESS/k)/(RSS/(n−k−1));模型对比 F=[(RSSP−RSSF)/q]/[RSSF/(n−kF−1)],永远单尾。
- Dummy variable虚拟变量:0/1 指示类别归属;m 类只放 m−1 个。
- Dummy variable trap虚拟变量陷阱:m 个类别全放 → 完全共线,估计无法进行。
- Partial slope偏斜率:"其他变量不变"下的单位敏感度。
Multiple regression (多元回归) adds more explanatory variables. The mechanics are the same but the interpretation becomes "holding other variables constant,"其他变量不变, and we need new tools — adjusted R², the F-test — because extra regressors always inflate plain R² even when useless. 本章的每个工具都在纠正"变量越堆越好"的错觉。
The model & partial slopes 模型与偏斜率
模型形式:Y = α + β₁X₁ + … + βₖXₖ + ε。除单变量回归的全部假设外,多一条第六假设:X 之间不能完全线性相关(每个 X 必须有其它 X 解释不了的变动,否则无法分离各系数)。系数的解读变为偏斜率系数:"控制(holding)其它变量不变"时,Xj 每变动一单位对 Y 的预测影响。为什么加个变量系数就变?看教材的经典演示:先回归 Y=2.0+4.5X₁;再加入 X₂ 后得到 Y=1.0+2.5X₁+6.0X₂——X₁ 的系数从 4.5 变成 2.5。原因是:除非 X₂ 与 X₁ 完全无关,"X₁ 动一单位"时 X₂ 通常也在动,单变量回归把这个混在一起的效果全记在 X₁ 头上;多元回归把两者拆开。数学上,OLS 用步进(残差化)法实现"控制":先把 X₁ 对 X₂ 回归取残差 φ,再把 Y 对 X₂ 回归取残差 λ,最后把 λ 对 φ 回归——斜率就是"剔除 X₂ 影响之后"的 β₁。
📝 Worked example — three-factor model
RP = 1.70 + 1.03Rm − 0.23Rz + 0.32Rv(收益均为百分比形式)。
- ① 给定 Rm=8%、Rz=2%、Rv=3%:1.70 + 8.24 − 0.46 + 0.96 = 10.44%。
- ② Rz 下降 1% 的影响:−0.23×(−1) = +0.23%(系数为负,输入下降反而利好)。
- ③ 三个因子全为 0 时:就是截距 1.70%。
Goodness of fit: R², adjusted R² & their pitfalls 拟合优度与三大坑 ⭐
先分解总变异(与单变量回归同构):TSS = ESS + RSS——总变异 = 回归解释的变异 + 残差(未解释)的变异。于是 R² = ESS/TSS = 被模型解释的比例。多元回归中 R² 还等于 Y 与其预测值 Ŷ 的相关系数平方:R² = r²(Y, Ŷ)。
问题在于:普通 R² 从不下降——OLS 总能从噪声里多拟合一点,哪怕新变量是纯垃圾,SSE 也会微降、R² 随之上抬("高估回归/overestimating")。调整 R² 用自由度惩罚参数个数:R̄² = 1 − [(n−1)/(n−k−1)]×(1−R²)。加一个几乎无用的变量,惩罚项可能压过 R² 的微小上升,使 R̄² 下降——这正是它的设计用途:在不同参数个数的模型之间做诚实的比较。三个必须记住的性质:R̄² ≤ R²;新增变量时 R̄² 可升可降;当 R² 足够低时 R̄² 可为负。
⚠️ Three reasons R² alone is unreliable R² 三大坑
- ① 只增不减:加变量几乎总会抬高 R²(哪怕不显著)→ 高 R² 可能只是"变量多",不代表模型好。
- ② 不能跨 Y 比较:R² 不可用于比较不同因变量(不同被解释变量)的模型。
- ③ 没有绝对标准:不存在"R² 大于多少才算好"的门槛——对本身噪声大的变量(如汇率),低 R² 的模型也可能有价值。
📝 Worked examples — adjusted R² in action
n=60 个月、k=5 个自变量,R²=63%:R̄² = 1 − [(59/54)×0.37] = 59.6%。
再加入 4 个变量(k=9),R² 升到 65%:R̄² = 1 − [(59/50)×0.35] = 58.7%——R² 升了、调整 R² 反而降了。结论:选第一个模型(调整 R² 更高、变量更少)。这正是"更多变量 ≠ 更好模型"的标准考题。
Hypothesis tests: t for one, F for many t 管单个、F 管一群
单个系数:t=(bj−Bj)/SE(bj),自由度 n−k−1(多元回归中每个系数的"代价"都要扣);置信区间 bj±tc·SE(bj),区间-检验等价性照旧。例:某回归中 PR 系数 0.25、SE 0.032 → t=7.81,10% 水平(临界 1.68)下显著——注意系数的大小与重要性无关(0.25 很小但极显著),一切都看 t(= 系数/标准误)。多个系数的联合假设(如 H₀: β₂=β₃=0,或全体 β=0)不能用各自的 t 拼起来,要用 F 检验:它比较"完整模型 vs 去掉若干变量后的部分模型",F=[(RSSP−RSSF)/q]/[RSSF/(n−kF−1)],q=被去掉的变量个数;F 永远单尾(右尾),因为统计量非负。F 大 → 完整模型显著更好 → 拒绝"这些变量没用"。
📝 Worked examples — two flavours of F
- 模型对比:n=64;单变量模型 RSSP=7,140,三变量模型 RSSF=6,650,q=2:F = [(7140−6650)/2]/[6650/60] = 245/110.8 = 2.21。5% 临界值 3.15 → 2.21<3.15 → 不能拒绝 β₂=β₃=0:两个新变量联合不显著。(注意:这不排除其中"某一个"单独显著——F 只回答"这一组"。)
- 整体显著:n=46、k=5;TSS=460、RSS=170 → ESS=290。F = (290/5)/(170/40) = 58/4.25 = 13.65 > 临界 2.45 → 拒绝"全体系数为零":至少一个变量有贡献。
Dummy variables 虚拟变量
虚拟变量把类别信息 0/1 化(如"1 月取 1、其余月取 0"用来检验一月效应;或行业 =1/0)。核心规则:m 个类别只放 m−1 个虚拟变量,留一个作基准(baseline)——全放会与截距完全共线(虚拟变量陷阱),模型直接无法估计。系数含义:"从基准切换到该类别时,Y 的平均变化(其他变量不变)"。解读示例:某 P/E 回归 截距 6.75、IND(1=生物科技)系数 8.00、G(增长)12.35、B(beta)−0.50——对一只 IND=1、G=0.14、B=1.5、DPO=0 的股票:P̂/E = 6.75 + 8.00×1 + 12.35×0.14 − 0.50×1.5 = 15.7。注意措辞纪律:说"生物科技 P/E 显著更高"时,必须加上"holding DPO、G、B constant"——这是多元回归一切系数解读的前缀。
- multiple regression model 多元回归模型 — Y=α+β₁X₁+…+βₖXₖ+ε; each βj controls for all other Xs (partial slope coefficients).
- sixth assumption 第六假设 — No perfect correlation among X variables (each contributes unique variation).
- stepwise / residualisation 步进估计 — Regress X₁ on X₂ (take residuals φ); Y on X₂ (take λ); regress λ on φ → β₁ net of X₂.
- TSS = ESS + RSS 变异分解 — R² = ESS/TSS; for multiple regression R² = r²(Y, Ŷ).
- adjusted R² 调整 R² — 1−[(n−1)/(n−k−1)](1−R²); ≤R²; can decrease when adding regressors; can be negative; the honest cross-model comparison.
- three R² pitfalls R² 三大坑 — Always rises with added variables; not comparable across different Y; no absolute "good" threshold.
- t-test for a coefficient 系数 t 检验 — t=bj/sbj (H₀: Bj=0), df=n−k−1; coefficient size ≠ importance.
- coefficient CI 系数置信区间 — bj±tc·sbj; same failure-to-reject logic as before.
- F-test (overall) 整体 F — (ESS/k)/(RSS/(n−k−1)); H₀: all slopes = 0; one-tailed (right tail).
- F-test (model comparison) 模型对比 F — [(RSSP−RSSF)/q]/[RSSF/(n−kF−1)]; tests joint restriction; q = restrictions.
- dummy variables 虚拟变量 — m−1 dummies for m categories (avoid the dummy-variable trap); coefficients relative to baseline; always "holding others constant".
- standard error of regression 回归标准误 — SER measures uncertainty about predicted values; smaller when points hug the line.
📝 本章自测 · Self-Check
以下为自编练习题(非真题):题干保留英文考试形态,解析为中文——先自己判断,再点开核对。共 4 题。
Q1 · An analyst adds a new explanatory variable to a regression. Plain R² rises slightly, but the variable's t-statistic is far from significant. Adjusted R² will most likely:
调整 R² 按自由度惩罚参数个数——当新变量"贡献很小"时,惩罚项压过 R² 的微升,R̄² 下降。D 说反了:R̄² ≤ R² 永远成立(这正是它"诚实"的原因)。
Q2 · A full model (3 predictors, n=64) has RSSF=6,650; a partial model (1 predictor) has RSSP=7,140. The F-statistic for the joint hypothesis that the two extra coefficients are zero is closest to (critical value at 5% = 3.15):
F=[(7140−6650)/2]/[6650/(64−3−1)] = 245/110.83 ≈ 2.21 < 3.15 → 不能拒绝"两个系数联合为零"。C、D 是分母/分子用错的口径;A 无依据。注意口径:F 只能否定"这一组变量",不能因此断言其中某一个不显著。
Q3 · A regression of P/E ratios yields: intercept 4.00; IND (1 = biotech) 5.00; DPO 2.00; G (growth) 10.00; B (beta) −1.00. For a biotech stock with DPO=0, G=0.12, B=1.5, the predicted P/E is closest to:
P̂/E = 4.00 + 5.00×1 + 2.00×0 + 10.00×0.12 + (−1.00)×1.5 = 4 + 5 + 0 + 1.2 − 1.5 = 8.7。C 忘了减去 beta 项(10.2=4+5+1.2);D 把 IND 与 G 都放大处理;A 少了增长项。
Q4 · Which of the following is NOT a valid reason that R² alone can be unreliable for judging a multiple regression model?
教材给出的三条理由是:加变量必升(①)、不跨 Y 可比(②)、无绝对门槛(③)——A、B、C 正是这三条,都是真实缺陷;而"多元回归无法计算 R²"纯属虚构,R²=ESS/TSS 在多元回归中照常计算。
Regression Diagnostics 回归诊断
回归结果可不可信,取决于误差项是否规矩、变量选得是否恰当。本章四大块:① 异方差——条件异方差才伤推断(系数仍无偏、标准误不可靠→用 White 标准误);② 多重共线性——不是假设违例,但会"洗掉"单个变量的显著性(第二类错误概率上升),VIF>10 是红色信号;③ 模型设定——遗漏相关变量会把系数带偏且不一致,多放无关变量只损失调整 R²;④ 离群值——Cook 距离 >1 即"有影响力的"离群点。
- Conditional heteroskedasticity条件异方差:残差方差随 X 变化——真问题;非条件异方差一般无大碍。
- White standard errorsWhite 标准误:异方差下的标准修法。
- Multicollinearity多重共线性:高 R² + 全不显著的 t + 显著的 F;VIF>10 判问题。
- Omitted variable bias遗漏变量偏误:成立需两条件——遗漏者与已包含变量相关、且它是 Y 的决定因素。
- Bias-variance tradeoff偏差-方差权衡:变量太多→过拟合(低偏差高方差);太少→欠拟合(高偏差低方差)。
- Cook's distance库克距离:Dj>1 判定有影响力的离群观测。
A regression is only trustworthy if its error term behaves and its variables are chosen well. Diagnostics (回归诊断) covers four failure families: heteroskedasticity (异方差), multicollinearity (多重共线性), model misspecification (模型设定错误), and outliers (离群值) — each with distinct symptoms, tests, and fixes. A favourite FRM topic, tested mostly through "which statement is correct".
Heteroskedasticity 异方差
同方差 = 残差方差在全样本一致;异方差 = 不一致。要先分清两种:非条件异方差(unconditional)与自变量水平无关、不随 X 系统性增减——虽是假设违例,但通常没有大问题;条件异方差(conditional)与自变量水平挂钩(X 越大残差越散)——这才是真问题。条件异方差的三条后果:标准误通常不可靠;系数估计仍一致且无偏(不受影响);由于标准误不可靠,假设检验不可靠。检测四步(White 检验思路):① 先做 OLS 并取残差、平方;② 把残差平方作为因变量,对原自变量再回归;③ 取这第二步回归的 R²,计算统计量 χ² = nR²(自由度 = k×(k+3)/2,k 为自变量个数);④ 若 χ² > 临界值 → 拒绝"无(条件)异方差"的原假设。修复:改用 White 标准误做假设检验(系数不必动,因为本来就无偏)。
Multicollinearity 多重共线性
先区分两个概念:完全共线(perfect collinearity)——某个 X 恰是其它 X 的线性组合(如 X₃=2X₁+3X₂),这确实违反回归假设、模型无法估计;多重共线性(multicollinearity)——两个或多个 X(或其线性组合)高度相关,并不违反假设,但会让参数估计的可靠性受损。其典型后果是:更容易错误地得出"某变量不显著"的结论(第二类错误概率上升)——并非把显著变成不显著的"力量"本身有问题,而是变量的共同变动被互相吸收、单个效应被"洗掉"。两个检测法:① 症状识别——高 R²(模型整体很强)却没有任何单个系数显著(t 全不显著、F 显著,两者"脱节");② 方差膨胀因子 VIF——把第 j 个 X 对其余 X 做回归得 Rj²,VIFj=1/(1−Rj²);VIF>10(即 Rj²>90%)视为该变量有严重共线问题。修复:剔除(或合并)高度相关的变量——但难点是找出"哪个"该剔;可用逐步回归(stepwise regression)系统化筛选。示例:把基金收益对平均 P/B、平均 P/E、市值回归——R² 高达 89.6%,但三个变量的 p 值 0.15/0.21/0.11 全部不显著:经典共线性现场。
Serial correlation & the Durbin–Watson statistic 序列相关与 DW
序列相关 = 误差跨时间相关(今天的高估倾向跟着明天的高估)。DW 检验一阶序列相关(假设只有一阶):
DW = Σ(et − et−1)² / Σet² ≈ 2(1 − ρ̂)。
DW = 2 → 无自相关(ρ̂≈0)。DW → 0 → 强正自相关(ρ̂→1)——今天错得和昨天一样,差分项趋零。 DW → 4 → 强负自相关(ρ̂→−1)——误差逐期翻符号,差分放大到两倍。经验口袋规则:DW≈2 干净;<1.5 或 >2.5 报警。与异方差同类:系数无偏,标准误与 t/F 检验失真;修复可用 Newey–West 标准误或加入滞后项。
📝 Worked example — interpreting DW
某时间序列回归得 DW = 1.1。一阶自相关约 = ?由 DW≈2(1−ρ̂) → 1−ρ̂=0.55 → ρ̂≈0.45(正序列相关)。方向口诀:DW<2 正相关、DW>2 负相关,离 2 越远越强。
Model specification: omitted vs irrelevant variables 模型设定 ⭐
选变量是"艺术+理论":要对被解释变量的经济逻辑有充分理解。两条不对称的纪律:把无关变量放进来——不构成严重问题,但除非有实质贡献,其加入会降低调整 R²(前面学过:调整 R² 惩罚冗余参数);把相关变量漏掉——后果严重得多:遗漏变量偏误(omitted variable bias)。它成立需要两个条件同时满足:① 被遗漏的变量与模型中的自变量相关;② 被遗漏的变量是因变量的决定因素。后果:与遗漏者相关的那些已包含变量的系数会"部分吸收"遗漏者的影响 → 有偏且不一致(样本再大也不消);偏误的大小与方向由相关性的大小与符号决定;未被吸收的部分则被赶进误差项、放大误差。所以"宁可错放、不可错漏"——但错放也要付调整 R² 的代价。偏差-方差权衡把这件事讲透:变量太多的模型(过拟合)样本内表现好、样本外崩盘——低偏差、高方差;变量太少的模型——高偏差、低方差(R² 也低)。两种系统化做法:① general-to-specific(从大到小):从最大模型出发,逐步剔除 |t| 最小的变量;② m 折交叉验证(m-fold cross-validation):把样本切成 m 份,用其中 m−1 份(训练集)拟合模型、剩下 1 份(验证集)做样本外验证,在候选模型里选样本外误差最低的那个。
Residual plots & outliers 残差图与离群值
残差图把残差画在纵轴、预测值 ŷ 画在横轴(也可以用标准化残差=残差/其标准差,让不同尺度的残差可比):理想状态是残差幅度小、且与任何自变量都无关联。标准化残差的一个实用阈值:超过 ±4 个标准差的观测视为有问题。离群值为什么危险?OLS 对离群值敏感——去掉一个离群点可能让系数大搬家。识别工具是 Cook 距离:Dj = Σ(ŷi(−j) − ŷi)²/(kS²),其中 ŷ(−j) 是"删掉第 j 个观测后"的预测值、S² 是全样本残差平方。含义:删掉这个点,整套预测变化多大——Dj>1 即认定为有影响力的离群值。教材例子:15 号试验点(y 异常偏高)的 Cook 距离 = 2.33/(2×1.10) = 1.06 > 1 → 判定为离群值,需检查数据或考虑稳健方法。
Closing note — when is OLS BLUE?
OLS 成为最佳线性无偏估计需要:关系线性、残差同方差、独立、期望为零(记 εi ~ N(i.i.d.))。若数据无离群值且残差期望为零,正态性假设可以放宽——BLUE 不苛求残差正态,但苛求同方差与零均值。
- unconditional vs conditional heteroskedasticity 非条件/条件异方差 — Unconditional (unrelated to X) usually harmless; conditional (variance tied to X) creates serious inference problems.
- heteroskedasticity effects 后果 — Coefficients still consistent & unbiased; standard errors unreliable; hypothesis testing unreliable.
- chi-squared test 卡方检测 — Regress squared residuals on Xs; χ²=nR² with df=k(k+3)/2; reject → conditional heteroskedasticity.
- White standard errors White 标准误 — The correction for heteroskedasticity; use in hypothesis testing.
- perfect vs multicollinearity 完全共线/多重共线 — Perfect collinearity violates assumptions (no estimation); multicollinearity is high correlation — not a violation but compromising reliability.
- multicollinearity effect 共线性后果 — Higher probability of Type II error (falsely concluding insignificance); t-vs-F disconnect.
- VIF 方差膨胀因子 — VIF=1/(1−Rj²); >10 problematic; fix by dropping/combining variables or stepwise regression.
- omitted variable bias 遗漏变量偏误 — Requires (1) omission correlated with included Xs, (2) omission a determinant of Y; coefficients biased AND inconsistent; size/direction set by the correlation.
- irrelevant variables 无关变量 — No serious problem, but adjusted R² declines.
- bias-variance tradeoff 偏差-方差权衡 — Overfit (many vars): low bias, high variance, poor out-of-sample; small models: high bias, low variance.
- general-to-specific 从大到小 — Start with the largest model, drop smallest-|t| variables successively.
- m-fold cross-validation m 折交叉验证 — Split into m parts; train on m−1, validate on 1; pick lowest out-of-sample error.
- residual plots 残差图 — Residuals vs fitted; standardized residuals >|±4| flag problems.
- Cook's distance 库克距离 — Dj=Σ(ŷ(−j)−ŷ)²/(kS²); >1 → influential outlier (example: D=1.06).
- BLUE condition BLUE 条件 — Homoskedastic, independent, zero-mean residuals; normality relaxable if no outliers and zero mean.
📝 本章自测 · Self-Check
以下为自编练习题(非真题):题干保留英文考试形态,解析为中文——先自己判断,再点开核对。共 4 题。
Q1 · Which of the following is an effect of conditional heteroskedasticity?
I. The coefficient estimates are biased.
II. The standard errors are unreliable.
条件异方差下 OLS 系数仍然一致且无偏(I 错);受害的是标准误——不可靠的标准误又让 t/F 检验不可靠(II 对)。这个"系数没事、推断有事"的分工是本章第一高频考点。
Q2 · A regression's VIFs are: X₁ = 2.1, X₂ = 10.3, X₃ = 6.9. The most appropriate action is:
阈值规则:VIF>10 视为问题变量——只有 X₂(10.3)越线,应优先剔除/合并。B 针对未越线的 X₃;A 把没问题的 X₁ 也牵进来;D 越界推断(VIF 只提示共线风险,不直接宣判显著性)。
Q3 · Which statement about the bias-variance tradeoff is MOST accurate?
两种系统化方法:general-to-specific(从最大模型逐步剔除 |t| 最小的变量)与 m 折交叉验证——D 是其一。A 说反(大模型=低偏差、高方差);B 编造因果(高方差由过拟合引起,不是"样本外 R² 高");C 说反(小模型=高偏差、低方差)。
Q4 · Evaluate: I. A high value of Cook's distance indicates an influential outlier. II. Cook's distance is inversely related to the squared residuals.
I:Dj>1 判为有影响力的离群值(教材例 D=1.06)。II:S²(残差平方项)在 Cook 距离的分母上,与统计量成反比——残差越大,同样去点后预测变化对应的距离值越小。此"分母反比"结构是常设的细节考点。
Stationary Time Series 平稳时间序列
平稳性(均值、方差恒定,自协方差只依赖滞后)是时间序列建模的前提。AR(1) 把今天建模成昨天的函数,冲击按几何速度衰减;MA(1) 把今天建模成昨天冲击的函数,冲击只影响当期与下一期。选阶口诀:ACF 截尾定 MA 阶数、PACF 截尾定 AR 阶数;AIC/BIC 取最小者,BIC 惩罚更重。模型好不好,看残差是不是白噪声——用 Box-Pierce / Ljung-Box 联合检验。
- Covariance stationarity协方差平稳:均值恒定、方差有限且恒定、自协方差只依赖滞后 τ。
- AR(1)一阶自回归:yt=d+φyt−1+εt,|φ|<1 才平稳;均值回复水平 d/(1−φ)。
- MA(1)一阶移动平均:yt=μ+θεt−1+εt,永远平稳;ACF 一阶后截尾为 0。
- ACF / PACF自相关与偏自相关:识别 MA / AR 阶数的两张图。
- AIC / BIC信息准则:取最小者;BIC 对复杂度惩罚更重、更偏简约。
- Box-Pierce / Ljung-Box残差自相关联合检验:检验残差自相关是否全为零;小样本(T≤100)用 Ljung-Box。
A stationary time series (平稳序列) has stable statistical properties over time — constant mean, finite constant variance, and an autocovariance that depends only on the lag. 时间序列可分解为趋势(trend)、季节性(seasonality)与周期(cyclicality)三大成分;本章用线性模型刻画周期成分里的持续性(persistence)——即"今天与过去的稳定关系"。Stationarity is the precondition: past patterns must be expected to continue.
Covariance stationarity, autocovariance & white noise 平稳性、自协方差与白噪声
协方差平稳的三条件(必背):① 均值随时间稳定;② 方差有限且稳定;③ 自协方差结构稳定。注意"有限样本"不是条件——理论上的无穷序列也可以平稳;不满足的恰恰是"有限观测数"这种说法(常见干扰项)。自协方差:当前值与其 τ 期前值的协方差(τ 为滞后);全部 τ 的自协方差构成自协方差函数——平稳时它只依赖 τ、不依赖观测时点。ACF(自相关函数)=自协方差 ÷ 方差,缩放到 [−1,1];平稳序列的 ACF 随 τ 增大趋近于 0。PACF(偏自相关):剔除中间各滞后影响后的相关性——可以理解为"把各滞后同时放进回归时,各系数的显著部分"。ACF 是逐步缓慢衰减的,而 PACF 会陡降——少数几个滞后显著,恰恰是 AR 模型的候选阶数。四条"白噪声家族"的定义链:序列不相关 = 各滞后相关性为零;白噪声=不相关 + 均值 0 + 常数方差;独立白噪声=再加"独立";高斯(正态)白噪声=再服从正态。包含关系要记准:高斯白噪声 ⇒ 独立白噪声(正态+不相关蕴含独立),反向不成立(独立未必正态);"不相关"单独不构成白噪声(还要零均值+常数方差)。白噪声的用途:一个模型的预测误差应当是白噪声——否则误差还能被预测,说明模型有系统性缺陷(比如该加的滞后没加)。Wold 定理最后收束:任何协方差平稳过程都可写成白噪声的无限分布滞后(一般线性过程)yt=εt+b₁εt−1+b₂εt−2+…。
AR, MA and the ARMA family AR、MA 与 ARMA
An AR(1) regresses自回归 today on yesterday: the level persists (φ close to 1 means y barely changes today after a shock). An MA(1) models移动平均 today as the current shock plus a fraction of yesterday's shock: effects are short-lived — a single shock affects only that period and the next, then vanishes.
Why |φ|<1? If |φ|≥1 the series is explosive or a random walk发散或随机游走: a shock permanently changes the level and variance grows with time, violating stationarity. When |φ|<1, shocks decay geometrically (φk) and the series reverts to its mean — variance stays bounded. For an AR(p),平稳的判据是各系数之和小于 1(更一般地:特征方程全部根在单位圆外——见下文滞后算子)。
AR(1) — the numbers to know AR(1) 三个公式
- 均值回复水平(长期均值):μ = d/(1−φ)。例:d=2、φ=0.8 → μ=2/0.2=10——序列像被"吸引"回 10。
- 方差:Var(yt) = σε²/(1−φ²)(把各阶系数平方折进分母)。
- Yule–Walker(自相关衰减):ρτ=φ|τ|——几何衰减。例:φ=0.65 → ρ₁=0.65、ρ₂=0.4225、ρ₃≈0.275……若 φ 为负(如 −0.65),绝对值仍衰减,但符号正负交替。
MA(q) — always stationary MA 的性质
- MA 永远协方差平稳(冲击自带消失属性);识别特征:ACF 在 q 阶后截尾为 0。
- MA(1) 的一阶自相关:ρ₁ = θ/(1+θ²);τ>1 时 ρτ=0。例:θ=0.3 → ρ₁ = 0.3/1.09 = 0.2752。
- MA(q) 的方差:σy² = σε²(1+θ₁²+θ₂²+…+θq²)。
- 实务提示:MA 的右侧是不可观测的冲击(εt、εt−1),对预测不友好;θ 为负时序列会激烈地均值回复。
Lag operators & characteristic equations 滞后算子与特征方程
滞后算子 L 只是"把时间退一格"的记号:Lyt=yt−1,Lmyt=yt−m;作用于常数不变。整段分布滞后可以写成滞后多项式:yt+0.7yt−1+0.4yt−2+0.2yt−3 =(1+0.7L+0.4L²+0.2L³)y。两个关键用途:① AR 过程平稳 ⇔ 滞后多项式可逆;② 可逆性用于 Box-Jenkins 方法论在等价模型间选型。高阶 AR 的平稳性不能靠"看一眼系数",用特征方程:把 L 换成变量 r、令多项式为 0,解出全部根——所有根的绝对值大于 1(在单位圆外)⇔ 平稳。例:1−1.2L+0.32L² → 特征方程 1−1.2r+0.32r²=0 的根为 2.5 与 1.25,均 >1 → 该过程平稳。
Choosing among AR / MA / ARMA 模型识别与应用
| ACF | PACF | |
|---|---|---|
| Measures | Corr(yt, yt−τ) | Corr after removing intermediate lags' effects |
| Purpose | Identify MA order | Identify AR order |
| MA(q) | Cuts off after q | Tails off |
| AR(p) | Tails off (gradual decay) | Cuts off after p |
实务识别流程:先画(样本)ACF 与 PACF。自相关骤然截尾→ 考虑 MA;缓慢衰减→ 考虑 AR 或 ARMA;衰减中还出现周期性尖峰(如每 12 期一跳)→ 提示季节性,指向 AR/ARMA。ARMA(p,q) 把两者并置(yt=d+φyt−1+…+θεt−1+εt),平稳仍要求 |φ|<1;设定后要验证:残差不应留下任何显著自相关(模型把信息榨干了才算好)。季节性建模:对 AR 过程加入对应周期的滞后项(季度数据第 4 阶、月度第 12 阶),记法 ARMA(p,q)×(ps,qs),其中 ps、qs 取 0 或 1(1 表示启用季节滞后)。
📝 Forecast worked examples
AR(1):yt=2+0.8yt−1+εt,已知 y₁₀₀=10 → 一步预测 ŷ₁₀₁ = 2+0.8×10 = 10;长期均值也是 2/(1−0.8)=10——预测值以 0.8k 的节奏趋向长期均值。
ARMA(3,1):ŷt = 101.1378 + 0.5004yt−1 + 0.8722yt−2 − 0.4434yt−3 + 0.9709εt−1,给定 yt−1=10.38、yt−2=10.14、yt−3=10.50、εt−1=−1.23:代入得 101.1378 + 5.194 + 8.844 − 4.656 − 1.194 = ≈109.33。照方程逐项乘、逐项加——此类题只考"代入"。
Box-Pierce & Ljung-Box Q 残差自相关的联合检验
检验"全部残差自相关为零 vs 至少一个不为零":QBP = T·Σi=1..h ri²(χ²、自由度 h);小样本(T≤100)改用 Ljung-Box:QLB = T·Σ[(T+2)/(T−i)]·ri²。
例(T=50,r₁=0.15、r₂=−0.10、r₃=0.05,h=3):QBP = 50×(0.0225+0.01+0.0025) = 1.75;QLB = 50×(1.061×0.0225+1.083×0.01+1.106×0.0025) ≈ 1.873。临界值 χ²(3)=7.815(5%),两者都远小于临界值 → 不拒绝:残差无显著自相关,模型合格。
- covariance stationarity 协方差平稳 — Stable mean; finite stable variance; autocovariances depend only on lag τ. (A finite number of observations is NOT required.)
- autocovariance & ACF 自协方差与自相关 — Autocovariance at lag τ; ACF = autocovariance/variance ∈ [−1,1]; decays to 0 as τ grows.
- PACF 偏自相关 — Correlations after controlling for intermediate lags; steep decline; candidate lags for AR models.
- white noise family 白噪声家族 — Serially uncorrelated + zero mean + constant variance; independent white noise adds independence; Gaussian adds normality. Gaussian ⇒ independent ⇒ uncorrelated (not reversed).
- forecast errors 预测误差 — Should be white noise; otherwise the model is predictably inadequate (add lags).
- Wold's theorem Wold 定理 — Any covariance-stationary process = infinite distributed lag of white noise (general linear process).
- AR(p) 自回归 — Regress on own lags; stationary when Σ coefficients < 1 (|φ|<1 for AR(1)); mean reversion μ=d/(1−Σφ).
- Yule–Walker Yule-Walker — Autocorrelations decay geometrically: ρτ=φ|τ| (oscillating signs if φ<0).
- MA(q) 移动平均 — Today on current & lagged shocks; ALWAYS stationary; ACF cuts off after q; ρ₁=θ/(1+θ²); variance σε²(1+Σθ²).
- lag operator 滞后算子 — Lyt=yt−1; lag polynomials multiply & (under conditions) invert; AR stationary ⇔ polynomial invertible (Box-Jenkins selection).
- characteristic equation 特征方程 — Replace L with r, set = 0; all roots |r|>1 (outside unit circle) ⇔ stationary (example roots: 2.5, 1.25).
- ARMA(p,q) ARMA — Combines AR + MA; gradual ACF decay; |φ|<1 for stationarity; AIC/BIC to select (BIC penalises more).
- Box-Pierce / Ljung-Box 残差联合检验 — Joint test of residual autocorrelations; Q=TΣri²; use Ljung-Box for small samples (T≤100).
- seasonality 季节性 — Include the seasonal lag (4th quarterly / 12th monthly); ARMA(p,q)×(ps,qs) with ps,qs ∈ {0,1}.
📝 本章自测 · Self-Check
以下为自编练习题(非真题):题干保留英文考试形态,解析为中文——先自己判断,再点开核对。共 4 题。
Q1 · The conditions for covariance stationarity are least likely to include:
理论上的无穷序列照样可以平稳——平稳性关心的是统计性质(均值/方差/自协方差),与样本是否有限无关。A、B、C 正是三条正经条件(其中方差必须"有限"且稳定)。
Q2 · Which statement about white noise is MOST accurate?
白噪声 = 不相关 + 零均值 + 常数方差——A 漏掉后两条;高斯(正态)+不相关 ⇒ 独立,所以高斯白噪声必然是独立白噪声(B);反方向不成立——独立未必正态(C 错);D 自相矛盾("serially correlated"与"independent"对立)。
Q3 · An AR(1) process has φ = 0.75. According to the Yule–Walker relation, the autocorrelation at lag 2 is:
ρτ=φτ → ρ₂ = 0.75² = 0.5625。A 是把系数减半的错误做法;B 是 ρ₁(一阶);D 是开平方式的乱算。记住这串数会几何式缩小:0.75 → 0.5625 → 0.4219 → …
Q4 · An analyst wants to test jointly that all residual autocorrelations up to lag h equal zero, using a sample of T = 60. The most appropriate statistic is:
规则:T≤100 的小样本用 Ljung-Box(它对 BP 做了 (T+2)/(T−i) 的有限样本修正),大样本两者皆可、BP 更简单。A 说反了适用条件;C 的自由度是 h(滞后个数)不是 T;B 忽略了存在联合检验工具。计算时两者都是"T×Σ已修正式 ri²",与 χ² 临界值比较。
Non-Stationary Time Series 非平稳时间序列
来源分三类:时间趋势(确定性)、季节性(确定性)、单位根(随机性,如随机游走)。对应三种解法:趋势→回归并剔除(detrend);季节性→季节虚拟变量(s−1 个)或季节差分;单位根→一阶差分。硬核考点:随机游走方差 = tσ²、ADF 检验的备择假设是 γ<0(不是 ≠0)、以及"两个独立随机游走互相回归出高 R²"的伪回归警示;协整是伪回归的解药。
- Time trend时间趋势:y=d₀+d₁t+ε——每期变化相同金额;对数线性模型每期变化相同比例(增长率恒定)。
- Seasonality季节性:每年重演的模式;用 s−1 个季节虚拟变量或季节差分处理。
- Random walk随机游走:y_t=y_{t−1}+ε_t,方差随时间线性增长。
- Unit root单位根:滞后多项式有一个根等于 1(φ=1),非平稳的根源。
- Spurious regression伪回归:两个无关的非平稳序列回归出虚假显著。
- Cointegration协整:两个 I(1) 序列的线性组合若平稳,说明存在长期均衡,回归不再虚假。
Many financial series — prices, GDP, money supply — are non-stationary (非平稳): their statistical properties wander over time. Sources fall into three families (trends, seasonality, unit roots), each with its own remedy. Regressing non-stationary series on each other can produce spurious results伪回归 that look great but mean nothing — and cointegration (协整) is the concept that saves a legitimate long-run regression.
Time trends: linear, quadratic & log-linear 时间趋势
线性趋势模型 yt=δ₀+δ₁t+εt(ε 为白噪声):每期按相同金额增减。它虽然简单,但在金融经济里用途有限,两个原因:① 若趋势向下,线性模型最终会产出负值(数量/价格不能为负);② 即便向上,"每期等额增加"意味着增长率递减——多数变量更贴近"恒定增长率"。于是有升级版:二次(多项式)趋势 yt=δ₀+δ₁t+δ₂t²+ε;以及最常用的对数线性趋势 ln(yt)=δ₀+δ₁t+εt——表示恒定增长率,还可再叠多项式(对数二次)。趋势值用回归估计(前提:ε 是白噪声;否则系数的 t 值与 R² 都会给出误导性指示,纯趋势模型不足以描述序列)。预测:线性模型 h 期后 ŷt+h=δ₀+δ₁(t+h);区间预测(ε 正态白噪声时):ŷt+h ± 1.96 × 回归残差标准差(95%)。剔除趋势后的序列(detrended)往往可以继续用 AR/MA/ARMA 精修——"先拆趋势,再建周期"。判别口诀:恒定金额→线性;恒定百分比→对数线性。
📝 Worked example — trend forecast & interval
用 2001–2020 年数据估计行业产出:ŷt = 80.163 + 4.248t,回归残差标准差 = 107.574。预测 2021 年:80.163 + 4.248×2021 = 8,665.371。95% 区间(假设误差正态):8,665.371 ± 1.96×107.574 = [8,454.5, 8,876.2]。注意乘数是残差标准差(不是标准误、不用除以 √n)。
Seasonality: dummy variables & seasonal differencing 季节性与季节虚拟变量
季节性 = 每年重演的模式(零售销量、汽油消费);短于一年的日历效应(星期几、假日 HDV、交易日 TDV)统称 calendar effects。建模主力是季节虚拟变量:0/1 指示当前处于哪个季节。铁律:含截距的模型最多放 "频率−1" 个虚拟变量——季度数据最多 3 个、月度最多 11 个;被省略的那个季节由"其它全为 0"自然代表(若把 s 个全放进去,某个虚拟变量可被其他人精确预测 → 完全共线,即虚拟变量陷阱)。解读纪律:截距 = 省略季节的平均值;每个虚拟变量的系数 = 该季节相对省略季节的平均差异。教材例(季度 EPS):EPSt=1.25+0.75D₁−0.20D₂+0.10D₃ → 第四季平均 1.25、第一季 1.25+0.75=2.00、第二季 1.05、第三季 1.35——这些均值同时就是下一年的分季预测。第二种方法是季节差分:不建模水平、改建模"与去年同期的差"(yt−yt−12),它对"趋势+单位根"的序列也别有帮助。h 步预测的做法:把时间趋势值按 T+h 代、虚拟变量按该期取 0/1,逐项算出来。
Random walks & unit roots 随机游走与单位根 ⭐
随机游走里"今天 = 昨天 + 今天冲击"。递归代入:yt=y₀+ε₁+…+εt。两个致命处:① 冲击永不消退——第 1 期的冲击到第 t 期仍全额存在,没有均值回复,水平任意漂移;② 方差随时间增长——独立冲击的方差相加,Var(yt)=tσ²。两者都违反协方差平稳(均值/方差恒定)。"单位根"得名于滞后多项式:把过程写成 (1−L)(1−0.65L)y=ε 时,其中一根为 1。不能直接用 AR/MA/ARMA 建模单位根序列——会遇到三大麻烦:无均值回复、相互间易出伪关系、以及估计参数服从依赖样本量与时趋势的 Dickey-Fuller 分布(非标准),模型选择与预测的有效性都打折。
⚠️ Fix: difference, but don't over-difference 差分与过度差分
三招总解药是一阶差分(建模逐期变化 Δyt=yt−yt−1)——随机游走的差分就是白噪声;差分同时能处理时间趋势与季节性问题。若一阶差分仍不平稳,再做二次差分(多数宏观序列一阶即够)。但注意反方向的坑:对已平稳的序列做差分 = 过度差分(overdifferencing)——不但不化简,反而给模型凭空加复杂度。I(1) = 需要差分一次才平稳;I(0) = 水平已平稳。
📝 Augmented Dickey-Fuller test ADF 检验
ADF 回归:ΔYt = γYt−1 + δ₀ + δ₁t + λ₁ΔYt−1+…+λpΔYt−p + εt(δ 为确定性项、λ 为滞后差分,够用即可——目标是让 ε 成为白噪声)。H₀:γ=0(存在单位根,是随机游走);备择:γ<0(平稳)——注意备择是单侧的 <0,不是 ≠0!证据标准:若 γ 显著小于 0 → 拒绝单位根(序列平稳);若 γ 显著大于 0 → 爆炸式过程,也非平稳;不能拒绝 γ=0 → 按随机游走处理。
Spurious regression & cointegration 伪回归与协整 ⭐
⚠️ Spurious Regression (伪回归)
把一个随机游走对另一个独立的随机游走做回归,常常得到高 R² 和显著的 t 统计量——但它们毫无关系。这种"相关性"是两条漂移趋势恰好同向的假象。核心警示:不要把非平稳序列直接互相回归,除非先确认协整。
Cointegration 协整
协整:两个(或多个)非平稳 I(1) 序列,其线性组合是平稳的 I(0)。例:现货与期货价格、两个利率——各自游走,却保持长期均衡关系。协整对的回归不是伪回归(残差平稳);它对应"共同随机趋势"与长期均衡,是配对交易与对冲的统计基础。检验思路:对回归残差做单位根检验(残差平稳 ⇒ 支持协整)。
- sources of non-stationarity 非平稳来源 — Time trends (deterministic), seasonality (deterministic), unit roots (stochastic).
- linear trend 线性趋势 — Same amount each period; limited use: goes negative if downward; constant amount ⇒ declining growth rate.
- log-linear trend 对数线性趋势 — Constant growth rate; ln(yt)=δ₀+δ₁t; extendable to quadratics.
- trend estimation & forecast 趋势估计与预测 — Regress on t (requires white-noise errors); ŷt+h ± 1.96×residual SD for the 95% interval.
- seasonal dummies 季节虚拟变量 — s−1 dummies with an intercept (3 quarterly, 11 monthly); intercept = omitted season's mean; coefficients = differences from it.
- seasonal differencing 季节差分 — Model yt−yt−s; helps with trends and unit roots too.
- calendar effects 日历效应 — Weekday, holiday (HDV), trading-day (TDV) variations.
- random walk 随机游走 — yt=yt−1+εt; yt=y₀+Σε; variance t·σ²; not covariance stationary.
- unit root problems 单位根三问题 — No mean reversion; spurious relationships; nonstandard (Dickey-Fuller) parameter distribution.
- differencing 差分 — First differences restore stationarity; double if needed; avoid OVERdifferencing stationary series.
- ADF test ADF 检验 — H₀: γ=0 (unit root); alternative γ<0; significantly >0 ⇒ explosive.
- spurious regression 伪回归 — Independent random walks give high R² & significant t by coincidence.
- cointegration 协整 — I(1) series with a stationary linear combination; legitimate long-run regression; pairs trading & hedging basis.
📝 本章自测 · Self-Check
以下为自编练习题(非真题):题干保留英文考试形态,解析为中文——先自己判断,再点开核对。共 4 题。
Q1 · An industry's output has increased over the past decade, and its rate of growth has been roughly constant. The most appropriate trend model is:
"恒定增长率" → 对数线性(ln y = δ₀+δ₁t);"恒定金额" → 线性。B 的线性模型意味着固定增量、增长率递减;C/D 用于增速本身加速或减速的情形,题干无此信号。
Q2 · A model includes an intercept and must capture quarterly seasonality. How many seasonal dummy variables should it use?
含截距时用 s−1 个:季度 4 季 → 3 个,省略的一季由截距代表。放 4 个会形成完全共线(某一虚拟变量可被其它变量与截距精确预测),估计无法进行。月度数据同理用 11 个。
Q3 · An augmented Dickey-Fuller test rejects the unit-root hypothesis when the coefficient on the lagged level is statistically significantly:
H₀:γ=0(单位根);备择:γ<0(平稳,均值回复)。注意是单侧——D"≠0"把爆炸情形(γ>0,也非平稳)也错当成了"支持平稳";A 正是原假设本身;C 方向相反(显著为正意味着爆炸过程)。
Q4 · Which of the following is NOT a property of a random walk?
随机游走恰恰没有均值回复——冲击永不消退,水平任意漂移(A 对);方差 = tσ² 随时间线性增长(B 对);因此不平稳(D 对)。均值回复是 AR(1)、MA 等平稳模型的属性——对照记忆最牢。
Measuring Returns, Volatility & Correlation 收益、波动率与相关性
本章把统计工具接到金融数据上。三条主线:① 收益换算——对数收益跨期可加、恒小于简单收益(1+R=eʳ);② 波动率家族——σ 与 σ²、年化、隐含波动率与 VIX;③ 非正态与相关性——金融收益普遍偏斜肥尾(JB 检验)、非线性依赖要用 Spearman/Kendall 度量。末尾的 GBM/EWMA/GARCH/参数法 VaR 是波动率模型的延伸应用。
- Log return对数收益率:r=ln(Pₜ)−ln(Pₜ₋₁);多期=求和;简单收益 5% ⇒ 对数收益 4.88%。
- Variance rate方差率:σ²;波动率 σ = 收益标准差;多期缩放 √t 规则。
- Implied volatility隐含波动率:由期权价格反推的年度化波动率(BSM 反解;假设方差恒定);VIX = 标普 500 未来 30 天前瞻波动率。
- Jarque-BeraJB 检验:JB=(T−1)[S²/6+(K−3)²/24] ~ χ²(2);H₀:S=0 且 K=3(正态)。
- Power law幂律尾部:P(X>x)=kx−α——尾部下降慢、极端值更常见(t 分布即此类)。
- Spearman / Kendall秩相关 / τ:捕捉非线性(单调)依赖;对离群值不敏感。
This is where quant meets risk directly: how we measure returns, what volatility really means, why returns reject normality (and how to test that), and how dependence goes beyond linear correlation. It links the distribution chapters to the time-series ideas.
Simple vs continuously compounded returns 收益率的两种口径
简单收益 Rt=(Pt−Pt−1)/Pt−1;多期简单收益 = 各期简单收益的连乘。对数(连续复利)收益 rt=ln(Pt)−ln(Pt−1);多期对数收益 = 各期求和(可加性)。换算公式 1+Rt=exp(rt)——由此立刻得到两条常考结论:对数收益恒小于简单收益(exp 凸性);时间跨度越短、两者越接近(简单收益很小时 ln(1+R)≈R),跨度一大就分道扬镳。例:简单收益 5% → r = ln(1.05) = 4.88%。组合层面两难:对数收益不可组合加总(两资产的组合对数收益 ≠ 权重加权之和),所以组合运算多用简单收益、时间序列建模多用对数收益。
Volatility, variance rate & implied volatility 波动率家族
术语分层:波动率 σ = 收益的标准差;方差(率)σ² = 波动的平方。基础建模 rt=μ+σet(e 为均值 0、方差 1 的冲击)。缩放规则(收益独立时):日→周:均值 5μ、方差 5σ²、波动率 √5·σ;年化:σ年=√(252×σ²日)=√252·σ日;或用月度:σ年=√(12×σ²月)。隐含波动率:由期权价格反推的年度化波动率——BSM 定价公式里"当前资产价格、行权价、到期时间、无风险利率、年度方差"五个输入中,只有方差不可直接观测;期权价格已知即可反解。其固有缺陷是模型假设方差全程恒定。VIX:用多条到期日与行权价的期权价格构建的标普 500前瞻(未来 30 天)隐含波动率,依赖活跃且有深度的期权市场,可推广到股指、美国国债、商品与个股。
Non-normal returns: Jarque-Bera & power law 非正态性与 JB 检验 ⭐
前两阶矩(均值、方差)描述正态绰绰有余;金融收益却要用上第三、四阶矩:偏度(skewness)与峰度(kurtosis)。实证规律:标普 500 与日元/美元汇率收益负偏、黄金正偏;三者峰度都大于 3(正超额峰度)——"左尾藏大亏、极端值远多于正态预告"。Jarque-Bera 检验联合检验偏度与峰度:H₀:S=0 且 K=3(=正态);HA:任一不成立。统计量 JB=(T−1)[Ŝ²/6+(K̂−3)²/24] ~ χ²(2);临界值 5% → 5.99、1% → 9.21;JB 小→不拒绝正态,JB 大→拒绝。还有一个方向性规律:测量期越长(如月收益 vs 日收益),JB 往往越小——收益在更长时间尺度上更接近正态。幂律尾部:许多肥尾分布的尾部满足 P(X>x)=k·x−α——幂次衰减远慢于正态的指数衰减,t 分布就是典型;这解释了为何"距离均值很远的观测"在现实中比正态模型预言的常见得多——也是 VaR 模型必须关心尾部的理论背书。
📝 Worked example — JB test
某基金 60 个月度收益:Ŝ=0.30、K̂=3.50。JB = 59×[0.30²/6 + (3.50−3)²/24] = 59×[0.015 + 0.0104] = 1.5。1.5 < 5.99 → 不能拒绝正态性——尽管样本略有正偏与肥尾,证据不足以推翻 H₀。样本量 T 出现在乘数 (T−1) 上:同样的 S、K,样本越大 JB 越大(证据随样本增强)。
Correlation vs dependence 相关 vs 依赖 ⭐
两个变量要么独立、要么依赖:独立时联合密度 = 边缘密度之积 f(x,y)=fx(x)fy(y)——分散化收益最大、尾部风险最小。但金融资产通常既线性、又非线性地相互依赖。分层工具箱:Pearson 相关系数只度量线性依赖(回归与相关的桥:把 X、Y 都标准化到单位方差后,相关系数 = 回归斜率 β);协方差描述的是方向性共动,但带量纲。非线性依赖没有"单一统计量",两大常用度量:Spearman 秩相关——对观测排序后算线性相关(对秩、不对原值),公式 ρ̂s=1−6Σdi²/[n(n²−1)](di 为同一年 X、Y 的秩差);它专门捕捉单调关系,且因用秩而对离群值免疫——若秩相关与线性相关差距很大,说明有重要的非线性关系。Kendall τ——数"同序对(concordant)与逆序对(discordant)":τ=(nc−nd)/[n(n−1)/2];全同序=1、全逆序=−1;两变量独立时期望为 0。两者都满足:取值 [−1,1]、完全独立时为 0(反之不必然)、尺度不变(scale invariant)、正负号与单调方向一致。教材双例(4 年、n=4):Spearman ρ̂s=1−6×10/(4×15)=0;Kendall τ=(3−3)/6=0——两种口径同时报"无单调关系"。正定性:任一线性组合的方差必须非负 → 协方差/相关矩阵必须正定;当所有变量方差为 1 时,相关矩阵与协方差矩阵相同。为保证正定,实践常用两种结构化相关:等相关(equicorrelation)——矩阵内全部相关系数相等;单因子结构——相关系数由共同因子暴露决定 ρij=φiφj(各暴露在 [−1,1],乘积即相关系数)。
Extension: GBM, GARCH & parametric VaR 延伸:波动率模型与 VaR
(波动率模型的应用层)几何布朗运动(GBM):dS/S=μdt+σdW ⇒ ln(ST/S₀) ~ N((μ−σ²/2)T, σ²T)。σ²/2 是凸性修正(伊藤引理):ex 凸 → 期望价格 S₀eμT 高于中位路径 S₀e(μ−σ²/2)T;对数正态均值 eμ+σ²/2 与之同源(符号相反)。EWMA:σ²t=λσ²t−1+(1−λ)r²t−1(RiskMetrics 日频 λ=0.94)——按几何衰减给近期冲击加权,λ 越大越平滑;其等价旧冲击权重为 λk(1−λ)。GARCH(1,1):σ²t=ω+αr²t−1+βσ²t−1——在 EWMA 上加入长期方差项 ω=γ·VL,因此具备均值回复(EWMA 是 γ=0 的特例、无均值回复);稳定性要求 α+β<1,长期方差 VL=ω/(1−α−β)。参数法 VaR:VaR=zα·σ·价值(多日再乘 √t)——95% 用 1.645、99% 用 2.326;"时间平方根法则"与方差随 t 线性增长同义。
📝 Quick drills
EWMA:λ=0.94、σ²t−1=0.0004、r²t−1=0.0009 → σ²t=0.94×0.0004+0.06×0.0009=0.00043(主导权重在旧方差 0.94,新冲击只占 0.06)。
VaR:年化波动 20%、组合 $1,000,000 → 日 σ=20%/√252≈1.26%;1 日 95% VaR ≈ 1.645×1.26%×1e6 ≈ $20,700。
- simple vs log returns 简单/对数收益 — Simple compounds multiplicatively; log adds over time; 1+R=exp(r); log < simple always (smaller gap over shorter horizons); R=5% ⇒ r=4.88%.
- volatility & variance rate 波动率与方差率 — σ = std dev of returns; σ² = variance rate; r=μ+σe.
- scaling 缩放规则 — Weekly from daily: mean 5μ, variance 5σ², vol √5σ; annualise with √252 or √12.
- implied volatility 隐含波动率 — Backed out from option prices (BSM); variance constant assumption is the drawback.
- VIX VIX 指数 — Forward-looking 30-day implied vol for the S&P 500; needs deep options markets; extends to bonds, commodities, stocks.
- non-normal returns 非正态收益 — Skewness & excess kurtosis beyond mean/variance; S&P & JPY negative skew, gold positive; kurtosis > 3.
- Jarque-Bera JB 检验 — JB=(T−1)[S²/6+(K−3)²/24], χ²(2); H₀: S=0, K=3; 5.99/9.21 critical; longer horizons → more normal.
- power law tails 幂律尾部 — P(X>x)=kx−α; slow-declining fat tails (e.g., Student t); extreme observations more common than normal implies.
- correlation vs dependence 相关与依赖 — Independence: f(x,y)=fxfy; Pearson = linear; standardised variables ⇒ corr = regression slope.
- Spearman rank correlation 秩相关 — Correlation of ranks; ρ̂s=1−6Σd²/[n(n²−1)]; monotonic dependence; robust to outliers.
- Kendall's τ Kendall τ — τ=(nc−nd)/[n(n−1)/2]; probability difference of concordance vs discordance; ±1 extremes.
- positive definiteness 正定性 — Correlation matrices must be positive definite; structured forms: equicorrelation or one-factor ρij=φiφj.
- GBM & Ito GBM 与伊藤 — Log price normal with mean (μ−σ²/2)T; σ²/2 is the convexity correction.
- EWMA & GARCH EWMA 与 GARCH — EWMA weights recent shocks geometrically (λ=0.94 daily); GARCH adds a long-run variance term → mean reversion; α+β<1.
- parametric VaR 参数法 VaR — z·σ·V; z=1.645 (95%) / 2.326 (99%); scale by √t.
📝 本章自测 · Self-Check
以下为自编练习题(非真题):题干保留英文考试形态,解析为中文——先自己判断,再点开核对。共 4 题。
Q1 · An investment produced a simple return of 3.00%. The corresponding continuously compounded (log) return is closest to:
r=ln(1.03)=0.0296(2.96%)。两条换算纪律:对数收益恒小于简单收益(排除 D);差值随收益增大而增大(3% 时差约 0.04 个百分点,5% 时差 0.12 个百分点、10% 时约 0.47 个百分点)。A 是"两者相等"的常见错觉(仅当收益极小时近似成立)。
Q2 · A sample of 100 monthly returns has skewness 0.5 and kurtosis 5.0. Using JB = (T−1)[S²/6+(K−3)²/24], the test of normality at the 5% level (critical value 5.99) most likely concludes:
JB=99×[0.25/6+2²/24]=99×[0.0417+0.1667]=99×0.2083≈20.6 > 5.99(也 > 9.21)→ 拒绝正态(在 5% 与 1% 均拒绝,C 错)。A 的数值错;D 错——JB 只用 S 与 K,不需要均值方差(它们已在标准化中消去)。
Q3 · Two asset returns have a Pearson correlation of 0.20 but a Spearman rank correlation of 0.85. This pattern indicates:
秩相关高(0.85)而线性相关低(0.20):变量的排序高度同步、但数值不成直线——典型的单调非线性依赖。教材口径:两种相关差距很大时,"likely a key nonlinear relationship"。D 方向错;A、B 均与数据不符。
Q4 · Which statement about implied volatility is MOST accurate?
隐含波动率 = 用期权价格与 BSM 反解出的年度方差(唯一不可观测输入);模型假设方差恒定是其主要缺陷。A 说的是历史波动率;B 错——VIX 类方法要求有深度活跃的期权市场;C 错——期权价格正是反解的前提输入。
Simulation & Bootstrapping 模拟与自助法
解析解算不动时就模拟。本章按官方考纲展开四块:蒙特卡洛的五步流程与采样误差(SE=s/√N,精度提升 10 倍要次数提升 100 倍);两种降方差技术——对偶变量(用 −u 复跑,负相关压方差)与控制变量(借一个"性质已知"的相似变量校正);自助法家族——i.i.d.(有放回抽单点)与循环块 CBB(成块抽样处理依赖,块长 ≈√n);伪随机数——种子决定序列、换来可复现性。收尾记两个用法禁区:市场处于异态、或发生结构变化时,自助法会失真。
- Monte Carlo蒙特卡洛模拟:按假设 DGP 生成随机数据 → 计算目标统计量 → 重复 N 次 → 汇总 → 用标准误评估精度。
- Sampling error采样误差:SE=s/√N;想降 10 倍,次数加 100 倍。
- Antithetic variates对偶变量:用原随机数的补集(−u)复跑,corr(u,−u)=−1 → 方差必降。
- Control variates控制变量:x*=y+(x̂−ŷ);满足协方差条件时误差更小。
- Bootstrapping自助法:直接从历史数据有放回重抽,不做分布假设。
- PRNG伪随机数发生器:公式生成、非真随机;种子决定序列、保证可复现。
When a problem resists closed-form solutions — exotic option pricing, stress-test capital, small-sample inference — we simulate. Monte Carlo (蒙特卡洛) draws from an assumed model; bootstrapping (自助法) resamples the data itself. The exam focuses on the mechanics: the five steps, how sampling error shrinks, and the two variance-reduction techniques.
The five steps of Monte Carlo & the DGP 五步骤与数据生成过程 ⭐
蒙特卡洛的核心思想:把"求期望/分位数"换成"模拟大量场景再汇总"。标准五步——① 按假设的数据生成过程(DGP)生成随机数据 xi(通常默认标准正态,肥尾数据改选 t 分布);② 计算目标统计量 gi=g(xi);③ 重复①②共 N 次;④ 从 {g₁,…,gN} 汇总出想要的量;⑤ 计算标准误评估精度,不达标就加大 N。典型应用:奇异期权定价、宏观变量冲击评估、压力情景下的资本要求。除了矩(均值、方差),模拟还能求分位数——这正是风险管理的生命线(1% 或 5% 下尾分位)。例:初始资金 C₀=$100 投标普 500,一年末资金 C₁=C₀(1+r) 是随机变量;模拟输出的不是"一个数",而是一整条 C₁ 的概率分布——范围与尾部分布一目了然。
Sampling error: s/√N and what it costs 采样误差与代价 ⭐
真实期望值的标准误 = s/√N(s = 输出变量的标准差,N = 场景数)。标准差 s 你控制不了,能控制的只有 N。由 √ 的数学性质:SE 想降 10 倍 → N 要 ×100;想让误差减半 → N ×4。数字例:N=100 时输出均值 $110、标准差 $14.80 → SE=$14.80/10=$1.48;改成 N=400 → SE=$14.80/20=$0.74——正好减半。这就是为什么复杂多期模拟"硬堆次数"很贵,降方差技术才是性价比之选。
Antithetic variates: 负相关压方差 对偶变量
思路:与其花钱加场景,不如让现有场景"自我平衡"。若原随机抽样记为 ut,就用其补集 −ut 复跑一遍——两组完全负相关(corr=−1)。两组合并估计 x̄=(x₁+x₂)/2 的方差:var(x̄)=[var(x₁)+var(x₂)+2cov]/4。不用对偶时两组独立、cov=0,只剩前两项;用了对偶,cov<0,分子变小——采样误差必然更小(无需任何附加条件)。这是"少次数、高精度"的第一板斧。
Control variates: 借一个"已知答案" 控制变量
思路:用一个性质已知的相似变量 y 给未知变量 x 做校正。同一组随机数分别模拟 x 与 y(估计值 x̂、ŷ),重定义估计:x* = y + (x̂ − ŷ)——即"以已知的 y 真值为锚,加上模拟里 x 相对 y 的偏差"。当 x̂ 与 ŷ 高度相关时,误差相抵,x* 比原 x 估计更准。数学条件:var(x*) = var(x̂)+var(ŷ)−2cov(x̂,ŷ) < var(x̂) 化简得 cov(x̂,ŷ) > var(ŷ)/2;换成相关系数形式:corr(x̂,ŷ) > ½·√[var(ŷ)/var(x̂)]——相关性要"足够高"(且为正)才划算。直观:y 与 x 越像,用 y 纠偏越有效。
Bootstrapping: i.i.d. 与循环块 CBB 自助法 ⭐
自助法不从分布抽、直接从历史数据抽:有放回地反复重抽观测样本,"画中画"地仿制抽样分布,且不做任何分布假设(这正是它相对蒙特卡洛的优势——不依赖 DGP 假设)。两大流派:i.i.d. 自助法——逐点有放回抽取。例:10 个观测中抽 3 个,第一次可能是 {x₂,x₇,x₉}、第二次 {x₂,x₅,x₁₀}、第三次 {x₁,x₁,x₈}——样本可重叠、同一点可出现两次,都因"有放回"。它要求观测独立;但金融数据常有时变依赖(波动率一会儿高一会儿低),于是有 CBB(循环块自助法):以块为单位有放回抽,块长 n 观测的 √n 为宜——块首尾循环回绕(如 10 点数据块长 3:{x₈,x₉,x₁₀} 之后还有 {x₉,x₁₀,x₁}、{x₁₀,x₁,x₂} 两个回绕块)。块长要足以承载数据依赖,又不能大到块数太少。两大失效禁区:① 当前市场状态与历史常态不同时不可靠——用 2007–09 危机前的低波动历史去做自助 VaR,会得出"低得离谱"的风险读数;② 市场发生了永久性结构变化时失效——如 2008 年起美债利率近零十年,历史上从未有类似长样本可抽。
Pseudo-random numbers & disadvantages 伪随机数与两大缺点
伪随机数发生器(PRNG):计算机里的"随机数"其实由确定性公式产出(故称 pseudo),典型输出为 (0,1) 均匀分布的序列;初始种子决定整条序列——同一个种子永远重放同一串数。这带来两个好处:可复现(不同实验共用同一模拟数据、监管合规要求结果可重现);计算集群(多台机器用同一种子,各自模拟同一组因子下的不同组合、结果可协调)。"不可预测"不等于"真随机"——它们看起来随机,是因为公式复杂得难以预测。模拟法的两大缺点:① DGP 误设——输入分布假设错了,再多迭代也救不回来(典型:期权价格本为肥尾,却从正态抽);② 计算成本——参数复杂时,1 万次以上重数的成本高昂,而市场复杂性还在上升。
- five steps 五步骤 — Generate from DGP; compute statistic; repeat N times; estimate the quantity; assess accuracy via SE and raise N if needed.
- DGP 数据生成过程 — Parameters + assumed distribution (standard normal default; t for fat tails); used to produce simulated data.
- standard error 标准误 — s/√N; 10× accuracy costs 100× replications; 2× accuracy costs 4×.
- antithetic variates 对偶变量 — Rerun with the complement set (−ut); perfectly negative correlation ⇒ sampling error always smaller.
- control variates 控制变量 — x*=y+(x̂−ŷ) with a known-properties y; works when cov(x̂,ŷ)>var(ŷ)/2 (high correlation).
- bootstrapping 自助法 — Resample historical data WITH replacement; no distributional assumptions; advantage over Monte Carlo.
- i.i.d. bootstrap i.i.d. 自助法 — Observations drawn one by one; duplicates allowed; valid when data are independent.
- circular block bootstrap 循环块自助法 — Sample blocks (size ≈√n) with wrap-around; handles dependence (e.g., volatility clustering).
- bootstrap limitations 自助法失效场景 — Abnormal current markets (crisis VaR from calm history too low); structural changes (near-zero rates era).
- PRNG 伪随机数 — Formula-generated, not truly random; seed determines the sequence; repeatability & cluster computing benefits.
- disadvantages of simulation 模拟的两大缺点 — DGP misspecification (wrong distribution ⇒ wrong regardless of N); computational cost (10,000+ replications common).
📝 本章自测 · Self-Check
以下为自编练习题(非真题):题干保留英文考试形态,解析为中文——先自己判断,再点开核对。共 4 题。
Q1 · An analyst wants to reduce the standard error of a Monte Carlo estimate to one-fifth of its current value. The number of replications must be increased by a factor of:
SE ∝ 1/√N。误差降为 1/k,次数需 ×k²:降 1/5 → 5²=25 倍。由同一法则可推:减半 ×4、降 1/10 ×100。A/B 是"线性直觉"的典型错误——成本按平方涨。
Q2 · The antithetic variate technique reduces Monte Carlo sampling error by:
对偶 = 用原抽样 ut 的补集 −ut 复跑一遍,两组完全负相关(corr=−1),协方差为负 → 合并估计的方差必降。B 是"硬堆次数";C 说的是自助法的"有放回";D 是控制变量——三项技术极易混淆,按"负相关 / 有放回 / 换已知变量"三把钥匙区分。
Q3 · Which statement about the i.i.d. bootstrap of sample size 3 drawn from 10 observations is MOST accurate?
i.i.d. 自助法是有放回抽取——同一个观测可以在一个样本里出现多次(如 {x₁,x₁,x₈}),不同样本之间也可重叠。A 与事实相反;C 无此规则;D 错——自助法正是免分布假设的方法。注意:i.i.d. 版要求观测间独立,依赖数据要改用 CBB。
Q4 · Financial return data exhibit volatility clustering (dependence over time). The MOST appropriate bootstrap method is:
数据不独立时(波动率聚簇是教科书例子),逐点抽取的 i.i.d. 自助法会打碎依赖结构;CBB 以块为单位抽样(块长 ≈√n)从而保留相邻观测的依赖。B、C 是蒙特卡洛的降方差技术,不是自助法家族;A 恰好用错场景。
Machine-Learning Methods 机器学习方法
本章(官方考纲第 25 章)是机器学习的"概念总图":先分清三类学习(有监督/无监督/强化),再过一遍数据准备动作(标准化、归一化、清洗),然后各配一个"动手算法"——无监督的 PCA 降维与 K-means 聚类、强化的 Q 值更新、文本侧的 NLP 预处理五步。贯穿始终的红线是偏差-方差权衡与三大数据集分工(训练估参数、验证选模型、测试定成败)。定量考点集中在:标准化公式、欧氏/曼哈顿距离、惯性、Q 值两法更新——都有数值题原型。
- Supervised有监督:带标签学映射,做预测(回归/分类)。
- Unsupervised无监督:无标签找结构(聚类/降维),不用于预测但用于理解数据。
- Reinforcement强化学习:试错学习,最大化奖励;风险领域用于对冲、大额交易。
- Standardization标准化:(x−μ̂)/σ̂,零均值单位方差,含离群值广数据首选。
- Normalization归一化(min-max):(x−min)/(max−min),压到 [0,1]。
- PCA主成分分析:用少量不相关主成分承载原相关变量的信息。
- K-meansK 均值聚类:质心迭代分配;惯性越小越凝聚;肘部定 K。
- Bias–variance偏差-方差权衡:欠拟合=高偏差低方差;过拟合=低偏差高方差。
Machine learning (机器学习) lets models find patterns in data for practical use — with data, not hypotheses, driving what enters the model. This chapter gives you the map: the three learning categories, data preparation, and the core unsupervised tools (PCA, K-means) plus reinforcement learning and NLP. The next chapter covers prediction algorithms and performance evaluation.
ML vs classical econometrics 机器学习 vs 经典计量 ⭐
哲学分岔:经典计量与统计里,经济/金融理论驱动数据生成过程——分析师选模型、选变量、提假设,计算机负责估参数、测显著性,最后人判断"数据是否支持预期";机器学习反过来,让数据自己决定模型包含什么,全过程不检验分析师的特定假设,目标直指预测精度。因此传统模型在意的东西——解释变量独立性、正态性、统计显著性、误差项检验、拟合质量——大都不适用于有监督机器学习。ML 的三大适用优势:处理超大规模数据、更大的灵活性(灵活函数形式捕捉非线性交互)、更宽的模型设定面。术语对照是概念题原型:自变量 → inputs / features;因变量 → outputs / targets(即 labels)。
| Conventional Econometrics | Machine Learning |
|---|---|
| Independent variables(自变量) | Inputs / features(输入/特征) |
| Dependent variables(因变量) | Outputs / targets(输出/目标,labels 标签) |
| Hypothesis-driven; significance testing | Data-driven; prediction accuracy |
Three categories of learning 三类学习
有监督:用带标签数据学"x→y"——预测变量值(房价、明年国债收益率)或分类(球赛输赢、是否违约);横截面与时间序列都适用。无监督:没有目标变量,纯找结构——聚类、识别少数解释因子;不用于预测,但极常用于理解数据(例:内部审计用无监督方法筛查分类账中异常的会计分录,决定是否深入调查)。强化学习:在变化环境中试错决策——风险管理的三大场景是分块大宗交易、衍生品组合对冲、整体投资组合管理。
📝 一句判别
看用途:预测已知答案 → 有监督;找结构/找异常,不要答案 → 无监督;连续决策、反馈奖励 → 强化。审计员查账不设"标准答案",故归类无监督——这是官方模块题的经典场景。
Data preparation & cleaning 数据准备:标准化、归一化与清洗 ⭐
ML 模型常要求变量"尺度一致",两条路:标准化(standardization)——减均值、除标准差,得到零均值、单位方差,适合覆盖面广(含离群值)的数据,是默认首选;归一化(normalization,又称 min-max 变换)——映射到 [0,1] 区间,注意它通常不具有零均值或单位方差。清洗(ML 中最耗时环节)的清单:缺失值(少则删、或补均值/中位数、或用其它观测估计)、离群值(偏离均值数个标准差)、重复观测、记录不一致、无关观测。
📝 Worked example — 同一观测两种尺度
某特征取值范围 10–50,均值 30、标准差 10。观测值 40:标准化 → (40−30)/10 = 1.0("高于均值 1 个标准差");归一化 → (40−10)/(50−10) = 0.75。同一数字、两种口径——考试陷阱就埋在"你用的是哪个变换"。
PCA & K-means: unsupervised workhorses PCA 与 K-means ⭐
PCA(主成分分析)的目标是降维:用少量不相关成分承载"一大堆相关变量"的几乎全部信息(相关成分互相重叠、不独立增值,故要提炼成不相关的主成分)。金融教科书案例:收益率曲线变动用少数主成分描述——最重要的两个是 平行移动(level:所有利率同向同幅)与扭转(twist:短端与长端反向);实测 7 个国债利率、10 年 120 个月的数据,前三个成分就解释了曲线变动的 99%。PCA 输出为原变量的线性组合。
K-means 聚类:K(簇数)由分析师设定;质心(centroid)初始随机,随后迭代"分配-重算"——每个点归入最近质心,质心更新为所辖点的中心,直到质心不再移动。距离可选欧氏(直线)或曼哈顿(折线):dE=√Σ(xiQ−xiP)²;dM=Σ|xiQ−xiP|。拟合优度看惯性 inertia=Σdj²——越小越凝聚;但 K 越大惯性必然越小,所以要找"边际收益拐点":肘部法则(scree plot)——惯性下降开始明显放缓的那个 K 即最优;轮廓系数(silhouette)是替代法:比较观测与本簇/邻簇点的距离,得分最高的 K 最优。
Underfitting, overfitting & sample splitting 欠拟合、过拟合与数据三分 ⭐
过拟合:模型太复杂/参数太多——训练集误差极低,换新数据表现骤降;ML 比传统计量更容易过拟合。欠拟合:模型太简单,捕不住相关模式;传统计量更容易欠拟合。判例:对冲基金业绩与规模(AUM)关系预期呈倒 U(小基金覆盖不了成本、大基金决策迟滞)——灵活的 ML 模型能直接拟合这条抛物线,而线性传统模型会欠拟合。偏差-方差口径:欠拟合 = 高偏差、低方差;过拟合 = 低偏差、高方差。
数据三分(机器学习标配):训练集估参数;验证集在候选模型间做选择(选定后即"用完");测试集最终评估已选模型——若测试表现≈训练表现,即称泛化(generalization)。典型配比 2/3、1/6、1/6;训练集太小 → 参数估计有偏,验证集太小 → 模型选择不准。横截面数据无天然顺序、可随机三分;时间序列有顺序——训练取前段、验证居中、测试殿后。数据量小则用 k 折交叉验证:合并训练+验证切成 k 份(常用 5 或 10),轮流留一份做验证、其余训练,10 个验证结果取平均;k=n 时即留一法(leave-one-out)。
Reinforcement learning: states, actions, rewards 强化学习与 Q 值 ⭐
强化学习 = 为"在环境中做连续决策"生成策略,目标是奖励最大化;靠大量试错(如同计算机自我对弈)从拙劣起步、随时间大幅改善。三要素:状态 S(环境)、动作 A(决策)、奖励 R(最优决策时最大)。核心量是 Q 值 Q(S,A):在状态 S 下采取动作 A 的期望价值;某状态下的最优策略取 V(S)=maxAQ(S,A)。决策时在"已知最好动作(利用 exploitation,概率 p)"与"新动作(探索 exploration,概率 1−p)"之间权衡——试错越多,p 越大。Q 值更新两法:蒙特卡洛法:Qnew(S,A)=Qold(S,A)+α[R−Qold(S,A)](α 如 0.01 或 0.05,用"实际奖励 − 旧估计"的偏差修正);时序差分法(temporal difference):只看前一步决策、假定"目前最优策略即今后策略"。教材数值例:Q(4,3) 由 0.5 起——蒙特卡洛下,奖励 1.2、α=0.01 → 0.5+0.01×(1.2−0.5)=0.507;时序差分下,奖励 0.3 加下一状态值 0.8 → 0.5+0.01×(0.3+0.8−0.5)=0.506。深度强化学习:用神经网络替代整张 Q 表来估计。
Natural language processing 自然语言处理
NLP(又称文本挖掘)让机器理解书面与口头语言;优势是速度快、无人工审阅的不一致与偏见;应用于财务造假识别、公司公告情感打分、文本分类等。预处理五步:① 分词(tokenize)——只留单词、去掉标点符号空格、统一小写;② 去停用词(the、has、a 这类只起语法作用的词);③ 词干化(stemming)——砍到词干,"arguing/argued/argues"→"argu";④ 词形还原(lemmatization)——还原到真正的词("worse"→"bad"),与词干化相似但结果是真实单词;⑤ 视需要建 N-gram——把有组合意义的词组当整体("exceed analyst expectations" 优于三个孤词)。处理后文本按"词袋"对待(除 N-gram 外,词序与关联不重要)。情感分析:用预分类的"情感词"清单计数——正面词干如 grow、relief、increase、rise;负面如 concern、disappoint、decrease、decline。4 个正面词 vs 6 个负面词 → 总体判负面。难点:正面词出没于否定语境("would have resulted in an increase")——对策是用人工审阅结果与算法结果比对校准。
- ML vs econometrics ML vs 计量 — Data (not hypotheses) drives the model; flexible functional forms, nonlinearity, big data; prediction accuracy over significance.
- terminology 术语对照 — Independent/dependent variables ⇒ inputs (features) / outputs (targets, labels).
- three categories 三类学习 — Supervised (labeled, predict); unsupervised (no target, structure — not prediction); reinforcement (trial-and-error, rewards).
- standardization 标准化 — (x−μ̂)/σ̂; zero mean & unit variance; preferred for wide-scope data with outliers.
- normalization 归一化 — Min-max transform to [0,1]; usually neither zero-mean nor unit-variance.
- data cleaning 数据清洗 — Missing data, outliers, duplicates, inconsistent recording, unwanted observations.
- PCA 主成分分析 — Dimensionality reduction; few UNCORRELATED components; yield curve: parallel shift + twist; top 3 ≈ 99% of variation.
- K-means K 均值 — Analyst sets K; random initial centroids; iterate assign-recompute until stable; Euclidean/Manhattan distances.
- inertia / scree / silhouette 惯性/肘部/轮廓 — inertia Σd², lower = better fit; elbow = decline slows; highest silhouette score = optimal K.
- overfitting vs underfitting 过拟合与欠拟合 — Overfit (complex): low bias, high variance, ML's risk; underfit (simple): high bias, low variance, econometrics' risk.
- sample splitting 数据三分 — Train (fit params), validation (choose model), test (effectiveness; generalization = test ≈ train); 2/3-1/6-1/6; k-fold; leave-one-out.
- reinforcement learning 强化学习 — States, actions, rewards; policy maximizes reward; Q-value; exploitation p vs exploration 1−p rising with trials.
- Q-value updates Q 值更新 — Monte Carlo: Q+α[R−Q]; temporal difference: looks one decision ahead; example 0.507 / 0.506.
- NLP preprocessing NLP 预处理 — Tokenize (lowercase), remove stopwords, stemming (→stem), lemmatization (→real word), N-grams; bag of words.
- sentiment analysis 情感分析 — Count pre-classified words; negation contexts are the known challenge; benefits: speed, consistency, no human bias.
📝 本章自测 · Self-Check
以下为自编练习题(非真题):题干保留英文考试形态,解析为中文——先自己判断,再点开核对。共 4 题。
Q1 · Compared with classical econometrics, a characteristic feature of machine learning is that:
ML 的目标是预测精度:用灵活函数形式捕捉非线性交互,数据决定模型包含什么,不检验分析师的特定假设。A、B、C 全部描述的是经典计量的流程(理论驱动、假设检验、系数显著性)——方向反了。
Q2 · A feature ranges from 10 to 50 with mean 30 and standard deviation 10. An observation of 40 becomes, under standardization:
标准化:(x−μ̂)/σ̂ = (40−30)/10 = 1.0(高于均值一个标准差)。A 的 0.75 是归一化答案 (40−10)/(50−10)——两法同题出现时先看清问的是哪个:标准化=零均值单位方差;归一化=压到 [0,1]。
Q3 · Using a scree plot, the optimal number of clusters (K) is found at the point where:
惯性随 K 增加必然下降,靠"总惯性最低"选 K 无意义(永远指向 K=n);应找下降斜率突然放缓的肘点——边际收益在这里塌陷。C 错:轮廓系数是取最高得分;D 是极端过拟合式聚类。
Q4 · A reinforcement-learning agent has Q(4,3) = 0.5; it takes action 3 in state 4 and receives reward 1.2. With α = 0.01, the Monte Carlo update gives Q(4,3) equal to:
Qnew=Q+α[R−Qold]=0.5+0.01×(1.2−0.5)=0.5+0.007=0.507。C 是只加了 α×R(0.5+0.012,公式记漏);若用时序差分且下一状态值 0.8、两步间奖励 0.3:0.5+0.01×(0.3+0.8−0.5)=0.506——两法差距虽小,"用未来状态值与否"是概念题分水岭。
Machine Learning & Prediction 机器学习与预测
本章(官方考纲第 26 章)是"预测算法工具箱 + 成绩单":先处理类别变量、再上正则化控制复杂度,然后逐个数清监督算法(决策树→集成→KNN→SVM→神经网络),最后用混淆矩阵给模型打分。三条数值考点务必手熟:① 信息增益 = 基础基尼 − 加权基尼(分结点选信息增益最大的特征);② 梯度下降的停止点=验证集目标函数开始恶化、训练集仍改善之处;③ 准确率 + 误差率 = 100%(同一分母的互补)。精确率与召回率的分母别混:精确率分母=被预测为正(TP+FP),召回率分母=真实为正(TP+FN)。
- One-hot encoding独热编码:无序类别 → 每个取值一个 0/1 虚拟变量。
- Ridge / LASSO岭回归 / LASSO:惩罚项 Σβ² vs Σ|β|;前者收缩,后者可置零(特征选择)。
- Logistic regression逻辑回归:sigmoid 输出 0–1 概率;最大似然估计;阈值 Z 按错误成本设定。
- Information gain信息增益:父结点无序度 − 子结点加权无序度(熵或基尼计)。
- Ensembles集成学习:装袋/森林(并行降方差)与提升(序列修正残差或权重)。
- Confusion matrix混淆矩阵:TP/FP/TN/FN → 准确率、精确率、召回率、误差率;ROC/AUC 评排序质量。
This capstone chapter is about making predictions and scoring them honestly — from encoding raw categories and taming complexity with regularization, through trees, ensembles, KNN, SVM and neural networks, to the confusion-matrix metrics that separate a genuinely useful model from an overfit one.
Categorical variables & regularization 类别变量与正则化 ⭐
编码(mapping/encoding)把非数值信息转成数字。没有天然顺序的类别(例如居住县)用独热编码:本县记 1、其余全 0——每个类别一个独立虚拟变量;有天然顺序的类别(收入档)用有序编号:0=低于 5 万、1=5–10 万、2=10 万以上——虚拟变量可以取 0/1 之外的值,但顺序信息被编进了数字大小里。
正则化给模型"装刹车",防止过大过复杂、压低过拟合概率,两大流派都对目标(损失)函数加惩罚项:岭回归(Ridge,L2)——惩罚斜率系数的平方和,L=RSS+λΣβ²,目的把系数收缩向零(用解析法估参);LASSO(L1)——惩罚绝对值之和,L=RSS+λΣ|β|,不重要的系数直接被置为零,故是"特征选择"方法(用数值法估参);λ 越大、剔除的特征越多。弹性网(elastic net)是把两种惩罚项相加的混合体。共同收益:收缩系数→在测试数据上大幅降方差。目的记牢:正则化=简化模型+抗过拟合。
Logistic regression & thresholds 逻辑回归与阈值 ⭐
金融里的"是/否"问题(有无退休计划、是否违约)把结果编码为 1/0;线性模型不适用,逻辑回归(logit)把线性组合 yj=α+β₁x₁+…+βmxm 送进逻辑函数(sigmoid)f(y)=1/(1+e−y)——输出落在 0 到 1,可解释为"y=1 的概率"。参数用最大似然法估计(模型非线性,OLS 不适用;实操中用更好算的对数似然函数最大化)。预测三件套:① 设阈值 Z;② 算 Pj;③ 按 Pj≥Z 判 1、否则判 0。阈值怎么定?看两类错误的成本:Z=0.5 意味着对称成本;若"该违约却被放贷"远比"错拒一笔好贷款"昂贵,Z 要压低(如 0.1)——宁可多怀疑。
连续输出的模型(如预测收益率)用均方预测误差 MSFE=Σ(yi−ŷi)²/ntest 打分,或用绝对值版的平均绝对误差。
Decision trees & information gain 决策树与信息增益 ⭐
决策树把"逐层提问"画成倒长的树:顶端根结点、中间决策结点、末端叶结点;既能分类也能回归(合称 CART);因为讲得清链路,被称为白盒模型(对照神经网络的"黑盒")。每个结点挑哪个特征来问?挑信息增益最大的那个——增益 = 父结点的无序度 − 子结点的加权无序度。无序度两种计法:熵 entropy=−Σpᵢlog₂(pᵢ)(二分类语境取值 0–1);基尼系数 Gini=1−Σpᵢ²。教材演算(16 家公司样本,10 履约 / 6 未履约):基础基尼 = 1−(10/16)²−(6/16)² = 0.46875;按"销售增减"切分:9 增(5 履约/4 未)基尼 0.49383、7 减(5 履约/2 未)基尼 0.40816,加权 = (9/16)×0.49383+(7/16)×0.40816 = 0.45635;信息增益 = 0.46875−0.45635 = 0.0124。连续变量(如赊销占比)则选使增益最大的阈值切分。树的收尾:特征用完或叶结点达到"纯集"(如"收入下滑的公司全部未履约");头号风险仍是过拟合——对策是剪枝:预剪枝(结点样本数低于阈值即停止分裂)、后剪枝(先长大树再剪掉弱结点)。
Ensembles, KNN & SVM 集成、KNN 与支持向量机
集成学习:把多种模型的输出合成一个——"三个臭皮匠"平均出更稳的估计,同时防过拟合。三条路线:装袋(bagging)——从训练样本有放回抽多份、各训一棵树再聚合,平均化降方差;从未被抽中的袋外(out-of-bag)观测正好用来评估;粘贴(pasting)与装袋之差在无放回(500 个样本、每次 25 个 → 恰好 20 份子样本)。随机森林——大量决策树,且在建树时对特征或观测抽样(常用特征数≈总特征数的 √),核心收益是降低树与树之间的相关性(低相关 → 集成表现最佳)。提升(boosting)——串行纠错:梯度提升用上一模型的残差建新模型;AdaBoost 从等权重起步、对错分观测逐轮加码。
KNN:不动训练数据、预测时再找"最近 k 个邻居"投票/取均值——故称惰性学习器(lazy learner);K 常取训练样本量的平方根(n=400 → K=20)。K 的权衡:太大 → 平滑过度、高偏差低方差;太小 → 抖动剧烈、低偏差高方差。SVM:特征多时的利器;两类之间找最宽的一条分离带(两条平行线夹住)、支持向量是贴在两缘的数据点、分离边界=路径中线;多特征时边界升级为超平面,维数 = 特征数−1。
Neural networks & gradient descent 神经网络与梯度下降 ⭐
人工神经网络(ANN)最常见的形态是前馈网络 + 反向传播:输入层特征经权重 w 线性组合、加偏置(bias)、过激活函数(常用 logistic,"引入非线性"是全章关键句),逐层前传;反向传播负责在迭代中不断更新权重与偏置。单结点输出 = bias + Σwjxj。由于没有解析解,用梯度下降最小化目标函数——沿"山谷最陡下降线"迭代;学习率控制步幅:太大在山谷两侧来回横跳,太小则爬行太慢。深度网络的过拟合警报:隐层和结点过多时;停止时机(双数据集同看):训练集目标函数还在改善、但验证集目标函数开始恶化的那一点就该停——这是防过拟合的教科书闸门。
Model performance: confusion matrix & beyond 模型成绩单 ⭐
二分类模型用 2×2 混淆矩阵清点四格:TP(判正且真)、FP(判正但假)、TN(判负且假)、FN(判负但真)。四指标:准确率=(TP+TN)/全体、精确率=TP/(TP+FP)("报的警里有多少是真的")、召回率=TP/(TP+FN)("真的里抓到多少")、误差率=(FP+FN)/全体——注意准确率+误差率=100%(同一分母互补)。教材演算(500 家公司并购预测:TP=96、FN=54、FP=124、TN=226):准确率 64.4%、精确率 43.6%、召回率 64.0%、误差率 35.6%。ROC 曲线把"真阳率 vs 假阳率"画成一条线,AUC=曲线下面积:=1 完美;=0.5 等于瞎猜;<0.5 反向指标。逻辑回归 vs 神经网络的对比(教材表):训练集上两法准确率持平、精确率神经网络占优、召回率逻辑回归占优——指标互相矛盾时没有显然赢家;此时回到混淆矩阵的原始计数对比更可靠(谁在哪个样本上抓对了更多 TP/TN)。
📝 Worked example — 四指标全套
模型数据:TP=40、FN=20、FP=10、TN=30(共 100 笔)。精确率 = 40/(40+10) = 80%;召回率 = 40/(40+20) ≈ 66.7%;准确率 = (40+30)/100 = 70%;误差率 = 30/100 = 30%。同一张矩阵,问哪个指标先看分母:精确率 = 分母"报了的";召回率 = 分母"真有的"。
Prediction vs Inference & risk applications 预测 vs 推断
预测只求对新数据报得准——模型可以是黑盒;推断要求讲清每个 x 如何影响 y(可解释系数)——风险管理常两者都要(拒贷要能解释),这就是"预测力 vs 可解释性"的取舍。落地场景:信用评分(逻辑回归/梯度提升)、欺诈侦测(异常检测)、波动率与市场状态切换、客服与财报文本的 NLP 信号——不变的前提都是严格的样本外验证纪律:训练/验证/测试三分、k 折、严防数据泄漏(训练混入未来信息 → 样本内好看、上线即崩)——超参数只在验证集上调、测试集留到最终评估。
- encoding 编码 — Non-numeric → numbers; nominal categories: one-hot (separate dummy per category); ordinal: numbered (natural order).
- regularization 正则化 — Penalty on the loss function; simplifies models; reduces overfitting; ridge + LASSO; elastic net = both penalties summed.
- ridge regression 岭回归 — L2: RSS + λΣβ²; analytical solution; shrinks slope coefficients toward zero.
- LASSO LASSO — L1: RSS + λΣ|β|; numerical; sets unimportant coefficients exactly to zero (feature selection); larger λ removes more features.
- logistic regression 逻辑回归 — Sigmoid 1/(1+e−y) maps to [0,1]; MLE (log-likelihood); threshold Z: 0.5 equal costs, lower when default costlier.
- MSFE 均方预测误差 — Σ(y−ŷ)²/ntest for continuous outputs; MAE as absolute-value alternative.
- decision tree 决策树 — Root/decision/terminal nodes; CART; white-box; split by maximum information gain; entropy & Gini.
- information gain 信息增益 — Base disorder minus weighted child disorder; example: 0.46875 − 0.45635 = 0.0124.
- pruning 剪枝 — Pre-pruning: stop splitting below an observation count; post-pruning: build large, remove weak nodes.
- bagging & pasting 装袋与粘贴 — Bagging: sample with replacement (out-of-bag evaluation); pasting: without replacement.
- random forests 随机森林 — Trees on sampled features/observations (≈√p features); reduces inter-tree correlation; low correlations perform best.
- boosting 提升 — Gradient: fit residuals of previous model; AdaBoost: sequential weight increases on misclassified outputs.
- KNN K 近邻 — Lazy learner; K often √n (400→20); too large K: high bias/low variance; too small: low bias/high variance.
- SVM 支持向量机 — Widest path between classes; support vectors on edges; separation boundary at center; hyperplane dimension = features − 1.
- neural networks 神经网络 — Feedforward + backpropagation; weights & biases; activation adds nonlinearity; stop when validation objective worsens while training improves.
- confusion matrix 混淆矩阵 — TP/FP/TN/FN; accuracy=(TP+TN)/N; precision=TP/(TP+FP); recall=TP/(TP+FN); error=(FP+FN)/N; accuracy+error=100%.
- ROC / AUC ROC 与 AUC — TPR vs FPR; AUC: 1 perfect, 0.5 random, <0.5 negative value.
- prediction vs inference 预测与推断 — Black-box accuracy vs interpretable effects; validation discipline (train/validation/test, k-fold, no leakage).
📝 本章自测 · Self-Check
以下为自编练习题(非真题):题干保留英文考试形态,解析为中文——先自己判断,再点开核对。共 4 题。
Q1 · A confusion matrix for a logistic regression shows TP = 40, FN = 20, FP = 10, and TN = 30. The model's precision is closest to:
精确率 = TP/(TP+FP) = 40/(40+10) = 80%——分母是"模型报警的全部"。B 的 66.7% 是召回率 40/(40+20)(分母换成"真实为正的全部");D 的 70% 是准确率 (40+30)/100;A 的 30% 是误差率。一张矩阵四个指标,先把分母对号入座再算。
Q2 · A node has a base Gini of 0.46. Splitting on feature X gives a weighted Gini of 0.41. The information gain is:
增益 = 0.46 − 0.41 = 0.05。A 是两值相加(无此运算);C 是子结点加权值本身;D 无来源。选根结点/分结点时,谁的信息增益最大谁上——增益越大、切分后越"纯"。
Q3 · Which statement about regularization techniques is MOST accurate?
① 惩罚项:岭=平方和 Σβ²、LASSO=绝对值和 Σ|β|(B 说反);② 解法:岭=解析法、LASSO=数值法(C 说反);③ 效果:岭把系数收缩向零、LASSO 直接把不重要系数置零(故为特征选择,A 对);弹性网=两种惩罚相加(D 错)。λ 越大,LASSO 剔除越多。
Q4 · In K-nearest neighbors, choosing a very small value of K most likely produces predictions with:
K 很小时,预测只看一两个最近邻——模型极"灵活",换一批训练数据结果就变(高方差),但几乎没有系统性简化(低偏差)——过拟合形态。A 是大 K 的形态(平滑过度、欠拟合)。参考值:K 常取训练样本量的平方根(n=400 → 20),是灵活性与稳定性的折中。
🧮 Interactive Calculators 在线计算器
本页提供 11 个即时计算器:贝叶斯更新、二项分布、正态分布函数、组合均值—方差、样本统计量、t 检验、OLS 拟合、相关系数、EWMA、蒙特卡洛与 Kupiec 回测。每个计算器对应讲义中的一个公式——输入数值点击按钮即可看到带过程的计算结果。做题卡壳时回来动手验证一遍,比死背公式更能建立直觉。
- Bayes calculator贝叶斯计算器:验证先验×似然的更新过程
- Portfolio calculator组合计算器:两资产均值与方差
- t-test calculatort 检验计算器:自动给出 t 值与双侧 p 值
- EWMA calculatorEWMA 计算器:递归更新方差估计
- Kupiec backtestKupiec 回测:检验 VaR 突破次数是否合理
Practice FRM-style numbers with these live calculators在线计算器. Each mirrors a formula from 各章对应讲义公式 — type values, click the button, and the out panel shows the worked result. All functions are defined in the trailing script; inputs read by id, output written to the matching out_xxx div.
(a) Bayes' Rule 贝叶斯法则
(b) Binomial PMF / CDF 二项分布
(c) Standard Normal CDF 标准正态累积分布 (approximation)
(d) Two-Asset Portfolio Mean & Variance 两资产组合
(e) Sample Mean / Variance / Std Dev 样本矩
(f) t-stat & p-value for a Mean 均值 t 检验
(g) Simple OLS Slope & Intercept 线性回归斜率与截距
(h) Correlation from Covariance & Std Dev 相关性
(i) EWMA Volatility EWMA 波动率
(j) Monte Carlo: Average of Normal Draws 蒙特卡洛模拟
(k) Kupiec Backtest (POT) — LR statistic Kupiec 回测
📐 Formula Sheet 公式速查表
公式速查表按主题分四组:概率统计、推断与回归、时间序列、收益波动率与相关。考前重点内化关系式而非死记代数:标准误 σ/√n、组合方差、贝叶斯更新、EWMA/GARCH 递归、调整 R² 与 F 统计量的 R² 表达式。正态临界值务必使用精确口径:1.645(95% 单侧)、1.96(95% 双侧)、2.326(99% 单侧)、2.576(99% 双侧)。
- Standard error of the mean均值标准误:SE=σ/√n
- Adjusted R²调整 R 方:按自由度惩罚参数个数
- Normal VaR参数法 VaR:z·σ·V·√t
- AIC / BIC信息准则:取最小者为优
- Critical z-values正态临界值:1.645 / 1.96 / 2.326 / 2.576
The essential equations from , grouped by topic. The FRM exam gives a limited formula table公式表 — internalize the relationships above the raw algebra (e.g. SE = σ/√n, portfolio variance, Bayesian updating, EWMA/GARCH recursion).
Probability & Statistics
概率与统计的八条核心公式:加法法则、条件概率与贝叶斯、组合数、二项与泊松分布、期望方差、对数正态矩、组合方差与相关系数。建议全部能默写并各配一道手算例题。
| Concept | Formula 中文 |
|---|---|
| Addition rule | P(A∪B)=P(A)+P(B)−P(A∩B) |
| Conditional / Bayes | P(A|B)=P(A∩B)/P(B) · P(A|B)=P(B|A)P(A)/P(B) |
| Combinations | nCr = n!/[r!(n−r)!] |
| Binomial PMF | P(X=x)=C(n,x)px(1−p)n−x |
| Poisson PMF | P(X=x)=e−λλx/x! |
| Expectation / Variance | E[X]=Σxp(x) · Var(X)=E[X²]−(E[X])² |
| Lognormal moments | E[eX]=eμ+σ²/2Var=e2μ+σ²(eσ²−1) |
| Portfolio variance | σp²=w₁²σ₁²+w₂²σ₂²+2w₁w₂ρσ₁σ₂ |
| Std error of mean | SE(X̄)=σ/√n |
| Correlation | ρ=Cov(X,Y)/(σXσY) |
| Sample variance | s²=Σ(Xi−X̄)²/(n−1) |
Inference & Regression
推断与回归部分:均值与斜率的 t 统计量、OLS 估计量、R² 与调整 R²、F 统计量的 R² 表达式,以及回归结论成立所需的前提条件。这一组是计算题的主力公式。
| Concept | Formula 中文 |
|---|---|
| t-stat for mean | t=(X̄−μ₀)/(s/√n), df=n−1 |
| t-stat for slope | t=(b̂−b₀)/SE(b̂), df=n−2 |
| OLS slope | b̂=Cov(x,y)/Var(x) |
| OLS intercept | â=ȳ−b̂x̄ |
| R² | R²=1−SSE/TSS=ρ² (simple reg) |
| Adjusted R² | R̄²=1−[SSE/(n−k−1)]/[TSS/(n−1)] |
| F-stat (model) | F=(R²/k)/[(1−R²)/(n−k−1)] |
| Durbin–Watson | DW≈2(1−ρ̂) |
| Stable regress condition | 回归有效条件E(ε|x)=0, homoskedasticity, no autocorr |
Time Series
时间序列四条:AR(1) 及其平稳条件与长期均值、MA(1)、随机游走的方差随时间增长、信息准则 AIC/BIC。考前把平稳条件再确认一遍。
| Concept | Formula 中文 |
|---|---|
| AR(1) | Yt=c+φYt−1εt; stationarity |φ|<1; mean=c/(1−φ) |
| MA(1) | Yt=μ+εtθεt−1 |
| Random walk | Yt=Yt−1εt; Var=tσ² |
| AIC / BIC | AIC=−2lnL+2k · BIC=−2lnL+k·ln(n) |
Returns, Vol & Correlation
收益与波动部分:对数收益、GBM 的对数价格分布、EWMA 与 GARCH(1,1) 递归式、参数法 VaR 以及 Kupiec 似然比统计量。VaR 计算里的 z 值务必用精确口径。
| Concept | Formula 中文 |
|---|---|
| Log return | rt=ln(Pt/Pt−1) |
| GBM (log price) | ln(ST/S₀)~N((μ−σ²/2)T, σ²T) |
| EWMA | σ²t=λσ²t−1(1−λ)r²t−1 |
| GARCH(1,1) | σ²t=ω+αr²t−1βσ²t−1; VL=ω/(1−α−β) |
| Normal VaR | VaR=zασ·V·√t |
| Kupiec LR | 似然比LR=−2ln[(1−p)n−xpx]+2ln[(1−x/n)n−x(x/n)x] ~ χ²(1) |
🪄 Critical Z-values you must memorise
1.645 = 5% one-tailed / 95% one-sided · 1.96 = 5% two-tailed / 97.5% one-sided · 2.326 = 1% one-tailed / 99% one-sided · 2.576 = 1% two-tailed. The 68–95–99.7 rule经验法则 (σ·1, σ·1.96, σ·3).