在开始我们关于“假设检验”的讨论时，我想引用一句来自文学作品的深刻洞察，它对于我们理解统计推断中的某些原则非常有启发。
Sherlock Holmes (A Study in Scarlet)
It is a mistake to confound strangeness with mystery.
“混淆怪诞与神秘是一个错误”：从《金田一少年事件簿》之“学园七不思议”看假设检验
夏洛克·福尔摩斯
这句话的精神内核与阿瑟·柯南·道尔爵士笔下家喻户晓的大侦探夏洛克·福尔摩斯 (Sherlock Holmes) 的探案方法论高度契合。虽然具体文字表述可能在不同故事或改编中略有差异，但其核心思想——即区分表面的奇特现象与背后真正的未解之谜，并通过逻辑和证据来揭示真相——是福尔摩斯探案的基石。例如，在《血字的研究》(A Study in Scarlet) 和《巴斯克维尔的猎犬》(The Hound of the Baskervilles) 等故事中，福尔摩斯常常告诫华生医生或其他人，不要因为案件的某些方面看起来离奇古怪（strangeness）就立刻将其归因为超自然力量或无法解释的神秘事物（mystery）。相反，他强调通过细致观察、演绎推理，从“怪诞”的表象中找出合理的、往往是基于事实的解释。福尔摩斯的方法论鼓励我们寻找事物背后平凡但可能被忽略的真相，而不是轻易陷入对“神秘”的迷恋。
vs 假设检验
现在，让我们看看这句充满智慧的引言如何帮助我们理解“假设检验”：
-
“怪诞”(Strangeness) —— 统计显著性与P值
- 正如福尔摩斯在案件中首先注意到那些“怪诞”的线索，在假设检验中，我们也从观察样本数据开始。我们设立一个原假设 ()，这通常代表一种“无差异”、“无效果”或“现状”的基准状态（可以看作是案件中“一切正常”的初步判断）。
- 然后我们收集样本数据，计算出一个检验统计量，并由此得到一个 P值。
- P值衡量的是“怪诞”的程度：如果原假设 是真的（即“一切正常”），那么我们观察到的样本数据（或更极端的数据）有多么“怪诞”或“不寻常”（如同案件中一个不合常理的细节）。
- 一个很小的P值（例如，P < 0.05）意味着，如果原假设为真，我们实际观察到的数据是非常“怪诞”或不太可能发生的。这种“怪诞”的观察结果，我们就称之为统计显著性。
-
“神秘”(Mystery) —— 对备择假设的过度解读或不当归因
- 当我们得到一个统计显著的结果（即观察到了“怪诞”的数据，P值很小），我们就会拒绝原假设 ，并倾向于接受备择假设 ()。
- 这里的“神秘”可以比喻为福尔摩斯警告华生不要做的事情：仅仅因为案件的某些方面看起来“怪诞”（统计显著），就立即、不加批判地认为我们揭示了一个深刻的、复杂的、具有重大意义的“真相”或“规律”（即备择假设所代表的效应），甚至将其归因为某种超乎寻常的“神秘力量”。
- 学生们有时会倾向于认为，一个P < 0.05的结果就像是发现了一个重大秘密，揭示了一个不为人知的“神秘”现象。
-
“混淆怪诞与神秘是一个错误” —— 在假设检验中的体现
-
错误1：将统计显著性（怪诞）等同于实际重要性或“重大发现”（神秘）
- 教学点：福尔摩斯会仔细分析“怪诞”线索的实际意义，而不是所有怪诞都指向大阴谋。类似地，一个统计上显著的结果（P值小，数据“怪诞”）仅仅表示观察到的效应不太可能是由纯粹的随机波动造成的（在为真的前提下）。
- 但是，这并不自动意味着：
- 这个效应在实际上是重要的或有意义的。一个非常大的样本量可能会使一个微乎其微、在现实中毫无价值的差异也变得统计显著。这时数据表现出“怪诞”，但背后并没有什么值得大惊小怪的“神秘”。（需要引入“效应大小”的概念）
- 我们发现的备择假设是唯一或最佳的解释。可能存在混杂因素或其他未考虑到的变量，就像案件中可能有多个嫌疑人或多种动机。
- 这个结果一定代表了一个全新的、颠覆性的“神秘”规律。它可能只是验证了一个已知的、不太令人意外的现象。
-
错误2：过度依赖P值，将“怪诞”视为绝对证据，忽视错误的可能
- 教学点：福尔摩斯也会考虑他的推断出错的可能性。即使我们观察到了“怪诞”的数据（P值小），并拒绝了原假设，我们仍然有可能犯了第一类错误 (Type I Error) —— 即原假设实际上是真的，但我们错误地拒绝了它（如同错误地指控了一个无辜的人）。
- 如果我们将每一次的统计显著性（怪诞）都视为揭示了一个真实的“神秘”效应，那么我们就会忽视第一类错误的可能性。当时，即使为真，平均每做20次检验，就有一次可能错误地观察到“怪诞”并拒绝。
- 教学中应强调：统计显著性不是绝对的证明，而是在一定置信水平下的推断。
-
错误3：在探索数据时，将任何“看起来怪诞”的模式不加检验就视为“神秘”的信号
- 教学点：福尔摩斯不会凭空猜测。在进行正式的假设检验之前，我们可能会观察到数据中的某些模式看起来很“怪诞”。
- 这里的“错误”是，不经过严格的统计检验（这个检验过程本身就是判断这种“怪诞”是否超出了随机波动的范围），就主观地认为这些模式背后一定有某种“神秘”的原因。
- 假设检验提供了一个客观的框架来判断这种“怪诞”是真实的信号（值得进一步调查的线索），还是仅仅是噪音（无关紧要的细节）。
-
比喻的运用
- 引入阶段：在解释P值和显著性水平时，引用福尔摩斯的这句名言，并解释其背景，然后用“怪诞”来形容在原假设成立条件下，观察到当前数据的可能性有多小。
- 结果解读阶段：当学生得到一个显著性结果时，提醒他们：“福尔摩斯会怎么看？我们观察到的数据在原假设下确实显得‘怪诞’（P值小，统计显著），但这是否就意味着我们揭开了一个重大的‘神秘面纱’呢？不一定。”
- 引导批判性思维：
- “这个‘怪诞’的效应有多大（效应量）？在现实中重要吗？福尔摩斯会认为这个线索指向一个大案件，还是只是一个小插曲？”
- “我们有多大把握这不是一次‘看走眼’（第一类错误）？”
- “除了我们提出的备择假设，还有没有其他原因可以解释这个‘怪诞’的现象？（思考混杂变量）”
- “这个‘怪诞’的结果是否能在其他研究中重复出现？（强调科学研究的可重复性）”
通过将福尔摩斯的智慧与假设检验的原则相结合，可以帮助学生更生动地理解统计推断的强度与局限性，鼓励他们在面对数据时，像大侦探一样，既要敏锐地捕捉“怪诞”之处，又要审慎地避免过早陷入对“神秘”的臆断，而是要基于证据进行严谨的逻辑分析。