第 1 节:引言 - 茶会上的挑战

  • 背景设定:
    • 介绍罗纳德·艾尔默·费雪爵士 (Sir Ronald A. Fisher),现代统计学的关键人物之一,以及故事发生的背景:20世纪20年代英国剑桥的一次茶会 1。提及他在洛桑实验站 (Rothamsted Experimental Station) 的工作及其对实验设计的贡献 1。
    • 介绍缪丽尔·布里斯托尔博士 (Dr. Muriel Bristol),一位藻类学家/植物学家 2。
  • 核心问题:
    • 描述布里斯托尔博士的论断:她声称自己能分辨出一杯奶茶是先加牛奶还是先加茶水 1。详细说明她拒绝费雪递给她的一杯茶的情景,理由是她认为冲泡顺序不对 4。
    • 费雪最初的怀疑态度(可能基于物理原理,如热力学,如 4 所述)与布里斯托尔的坚持形成对比 4。
    • 有人提议通过科学方法检验她的说法,提议者可能是她未来的丈夫威廉·罗奇 (William Roach) 4。这一提议将一个轶事转变为一个结构化的探究过程。
  • 从轶事到实验:
    • 这个故事的核心转变在于,它从一个非正式的社交场合中的分歧,演变成了一个需要通过严谨实验来验证的问题。这体现了科学方法的核心思想:将主观论断转化为可检验的假设 1。费雪当时正致力于将严格的统计方法应用于生物学及更广泛的领域,这个事件恰好提供了一个绝佳的例证 1。
  • 统计思维的普适性:
    • 实验起源于非正式的茶会,而非刻板的实验室环境 1。这突显了统计思维可以应用于日常生活中的观察和论断,证明了统计学不仅仅局限于农业或实验室研究 1。费雪认识到,这个看似平凡的问题背后蕴含着一个根本的统计学问题:如何区分两种处理方式的效果是否超越了纯粹的机遇。

---

第 2 节:设计实验 - 确保公平性

  • 实验装置: 费雪精心设计了实验步骤,以确保测试的公平性和严谨性。
    • 基本设置(使用列表展示):
      • 总杯数: 准备 8 个完全相同的茶杯 1。
      • 冲泡方法: 其中 4 杯先加牛奶后加茶,另外 4 杯先加茶后加牛奶 1。
      • 受试者信息: 事先告知布里斯托尔实验的构成(共 8 杯,两种类型各 4 杯)3。这一点至关重要,因为它界定了她可能做出的反应结构。
      • 任务: 要求布里斯托尔从中挑选出用特定方法冲泡的 4 杯(例如,挑出所有“先加牛奶”的茶杯)1。
      • 呈现方式:随机顺序将 8 杯茶呈现给布里斯托尔 1。
  • 随机化的重要性:
    • 定义: 在此背景下,随机化意味着每种呈现顺序的可能性都相等,从而避免系统性模式 12。它并非随意或偶然的选择 12。
    • 目的: 消除潜在的偏倚。例如,实验者可能无意中给出提示,或者布里斯托尔可能从呈现顺序中发现某种模式 1。随机化确保了分配过程与受试者的任何特征之间不存在关联 12。
    • 功能: 确保如果零假设为真(即她只是在猜测),那么任何成功都完全归因于在既定概率结构内运作的机遇 1。它使得应用概率论进行结果分析成为可能 14。
    • 更广泛的意义: 随机化能够控制已知和未知的混杂变量,是许多实验设计(尤其是随机对照试验)中进行因果推断的基础,尽管因果推断并非此处的首要焦点 14。
  • 其他实验原则:
    • 对照 (Control): 每种类型的茶杯数量固定且相等(4 杯对 4 杯),为比较提供了基准 1。
    • 盲法 (Blinding): 布里斯托尔在品尝之前不知道任何一杯茶的真实冲泡方法 1。这防止了她的预期影响判断。
    • 重复 (Replication): 费雪本人也认识到增加试验次数的价值,尽管最初的故事集中在这一组 8 杯茶上 1。重复实验可以增强结果的可靠性。
  • 设计的精妙之处:
    • 这个实验设计不仅仅是让布里斯托尔品尝茶水。它的构建非常严谨,旨在分离出她声称拥有的特定能力,并排除其他可能的解释,如偏倚或简单的猜测模式 1。通过固定数量(对照)、盲法和随机化,费雪确保了如果观察到统计上显著的结果,那么这个结果就不太可能归因于这些混杂因素,而更有可能与她声称的能力(或者极好的运气)有关 13。
  • 随机化的基石作用:
    • 随机化是能够将概率论有意义地应用于实验结果的关键。如果没有随机化,计算她凭猜测答对的概率将变得不可靠 5。如果茶杯以非随机、可预测的顺序呈现(例如 MMTTMMTT),她可能会猜中模式,从而违背了随机选择的假设。随机化确保在零假设下,每种可能的茶杯序列都是等概率的,从而使得基于组合学的概率计算有效 12。它创造了进行统计检验所必需的“公平游戏”场景。

---

第 3 节:统计问题 - 零假设

  • 引入假设检验框架: 介绍费雪应用的正式假设检验框架。
    • 核心思想: 我们通过假设一个特定的假说(零假设)为真,然后计算在该假设下观察到我们现有数据的可能性,来对这个假说进行检验 20。
    • 定义零假设 (H0​):
      • 陈述: 这位女士完全没有能力区分两种不同的奶茶冲泡方法。任何正确的识别纯粹是随机猜测的结果 1。
      • 性质: 它是一个关于“无效果”或“无差异”的陈述。费雪将其描述为“在实验过程中永远不会被证明或确立,但可能被推翻”的东西 7。
    • 定义备择假设 (Ha​ 或 H1​):
      • 陈述: 这位女士具有一定的能力来区分这两种冲泡方法(即,她的表现优于随机猜测)1。
      • 历史注记: 费雪最初的框架主要关注于推翻 H0​。明确的备择假设概念是由内曼 (Neyman) 和皮尔逊 (Pearson) 后来更充分地发展起来的 5。简要说明这一历史背景。
  • 零假设框架的意义:
    • 零假设框架为统计推断提供了一个关键的起点。通过首先采纳“怀疑”的立场(即假设女士没有辨别能力),我们可以量化反对这一立场(即支持她有能力)的证据强度。
    • 其逻辑类似于“反证法”:我们想评估女士的说法。直接证明她总是能答对是很困难的 3。因此,我们反过来假设她不能分辨 (H0​)。然后,我们计算,如果她真的只是在猜测,她观察到的表现(例如全部答对)有多大的可能性发生。如果这个概率非常低,就对我们最初的假设 (H0​) 产生了怀疑,从而间接支持了她的说法 (Ha​) 2。
  • 历史里程碑:
    • 这个实验是费雪形式化零假设概念的经典范例,该概念已成为 20 世纪统计学的基石 2。在此之前,虽然存在统计方法,但费雪寻求一个更严谨的框架来分析实验数据 2。女士品茶实验以其清晰、易于理解的特点,完美地阐释了他所倡导的方法论 2。他在其著作《实验设计》(1935年)中运用这个例子来介绍 H0​ 和显著性检验 2,从而巩固了 H0​ 在统计实践中的核心地位。

---

第 4 节:计算可能性 - 组合学与概率

  • 明确任务与方法:
    • 任务回顾:女士需要从 8 杯茶中选出 4 杯(比如,标记为“先加牛奶”)。她选择的顺序不重要,重要的是她最终确定的那 4 杯组合。
    • 组合学:这是一个组合问题——从一个集合中选择一个子集,其中元素的顺序无关紧要 30。
  • 组合公式:
    • 介绍组合公式:C(n,r)=(rn​)=r!(n−r)!n!​ 30。
    • 其中 n 是集合中元素的总数,r 是要选择的元素数量。
  • 计算总可能性:
    • 将公式应用于本实验(n=8 杯总数,r=4 杯要选择):
      • (48​)=4!(8−4)!8!​=4!4!8!​
      • (48​)=(4×3×2×1)×(4×3×2×1)8×7×6×5×4×3×2×1​
      • (48​)=4×3×2×18×7×6×5​=241680​=70 3。
    • 解释: 女士从 8 杯茶中选择 4 杯,共有 70 种不同的组合方式。
  • H0​ 下的概率:
    • 如果零假设为真(她只是在随机猜测),那么这 70 种组合中的每一种被选中的可能性都是相等的 5。选择任何特定组合的概率是 1/70。
  • 可能的结果及其概率(表格):
    • 解释如何计算达到每种成功水平(正确识别 0, 1, 2, 3 或 4 杯“先加牛奶”茶)的方式数量。这涉及到超几何分布 (Hypergeometric distribution) 的概念 7。
      • 正确识别 4 杯: 从 4 杯正确的茶中选出 4 杯 ((44​)=1 种方式),从 4 杯错误的茶中选出 0 杯 ((04​)=1 种方式)。总方式 = 1×1=1 种。概率 P=1/70。
      • 正确识别 3 杯: 从 4 杯正确的茶中选出 3 杯 ((34​)=4 种方式),从 4 杯错误的茶中选出 1 杯 ((14​)=4 种方式)。总方式 = 4×4=16 种。概率 P=16/70。
      • 正确识别 2 杯: 从 4 杯正确的茶中选出 2 杯 ((24​)=6 种方式),从 4 杯错误的茶中选出 2 杯 ((24​)=6 种方式)。总方式 = 6×6=36 种。概率 P=36/70。
      • 正确识别 1 杯: 从 4 杯正确的茶中选出 1 杯 ((14​)=4 种方式),从 4 杯错误的茶中选出 3 杯 ((34​)=4 种方式)。总方式 = 4×4=16 种。概率 P=16/70。
      • 正确识别 0 杯: 从 4 杯正确的茶中选出 0 杯 ((04​)=1 种方式),从 4 杯错误的茶中选出 4 杯 ((44​)=1 种方式)。总方式 = 1×1=1 种。概率 P=1/70。
    • 表格:H0​ 下正确猜测杯数的概率分布
正确识别“先加牛奶”的杯数 (k)可能的组合方式数计算方式概率 P(X=k)累积概率 P(X≥k)
41(44​)×(04​)1/70≈0.01431/70≈0.0143
316(34​)×(14​)16/70≈0.228617/70≈0.2429
236(24​)×(24​)36/70≈0.514353/70≈0.7571
116(14​)×(34​)16/70≈0.228669/70≈0.9857
01(04​)×(44​)1/70≈0.014370/70=1.0000
总计70(48​)1.0000-
  • 组合学的作用:
    • 组合学提供了数学工具,使我们能够精确地量化在随机猜测(H0​)假设下不同结果发生的可能性。实验具有固定的结构(8 杯选 4 杯)。在 H0​ 下,女士的选择在所有可能的 4 杯组合中是随机的。组合学让我们能够枚举所有可能的组合(70种),并计算每种成功水平(0到4杯正确)对应的组合数。这将问题从主观判断转变为客观的概率计算 3。
  • 概率分布的对称性:
    • 表格中概率的对称性(P(4正确)=P(0正确),P(3正确)=P(1正确))直接反映了实验设计的平衡性(两种类型的茶各有 4 杯)。
    • 任务是识别出 4 杯特定的茶(例如“先加牛奶”)。全部答对(4正确)意味着识别出所有 4 杯“先加牛奶”的茶(因此也正确识别了所有 4 杯“先加茶”的茶)。完全答错(0正确)意味着将所有 4 杯“先加茶”的茶误认为“先加牛奶”(因此也将所有 4 杯“先加牛奶”的茶误认为“先加茶”)。这两种结果都是独特的、镜像对称的,因此各有 1 种方式。类似地,答对 3 杯(漏掉 1 杯“先加牛奶”,误认 1 杯“先加茶”)与答对 1 杯(只认对 1 杯“先加牛奶”,误认 3 杯“先加茶”)也是对称的。这种对称性源于该特定设置下超几何分布 n=8,K=4,k=4 的结构 7。

---

第 5 节:实验结果与 P 值

  • 报告的实验结果:
    • 根据多数记载,缪丽尔·布里斯托尔成功地识别了所有 8 杯茶的冲泡顺序 2。这意味着她准确地选出了那 4 杯“先加牛奶”的茶(或者等效地,那 4 杯“先加茶”的茶)。
    • (注:虽然有少数资料提到她答对了 6 杯 3,但费雪经典的分析是基于 8 杯全部答对的结果,因此我们以此为基础进行讨论。)
  • 引入 P 值 (P-value):
    • 定义: P 值是指,假设零假设 (H0​) 为真的情况下,观察到至少与实际观测到的结果一样极端的检验统计量(或结果)的概率 2。
    • 解释: P 值衡量的是数据与零假设的兼容性。一个小的 P 值表明,如果 H0​ 为真,那么观察到的数据是不太可能发生的 22。
    • 关键点: P 值不是 H0​ 为真的概率,也不是备择假设为真的概率 21。它是一个条件概率:P(数据∣H0​为真)。
  • 计算本实验的 P 值:
    • 观察到的结果是“正确识别 4 杯”。
    • 在本例中,“至少一样极端”的结果就是指“正确识别 4 杯”(因为这是支持她有能力的最极端可能结果)。
    • 根据第 4 节的表格,在 H0​ 为真的条件下,P(X=4)=1/70。
    • 因此,本实验的 P 值 = 1/70≈0.0143 2。
    • (可选扩展:如果她答对了 3 杯,那么 P 值将是 P(X≥3∣H0​)=P(X=3)+P(X=4)=16/70+1/70=17/70≈0.243 3)。
  • P 值的意义:
    • P 值提供了一个标准化的“惊讶程度”度量。它精确地量化了,假设只有机遇在起作用,观察到的结果(全部答对)是多么不可能发生。直觉上,如果只是猜测,全部答对似乎不太可能。P 值的计算(1/70)用一个精确的概率证实了这种直觉。它将原始结果(4/4 正确)转化为一个衡量反对零假设证据强度的通用标尺 22。1.4% 的概率通常被认为是令人惊讶的小概率事件。
  • “至少一样极端”的概念:
    • “至少一样极端”是 P 值定义的核心,其方向取决于备择假设(即使在费雪的早期工作中是隐含的)。在这里,“极端”指的是那些提供同等或更多证据支持她有能力的结果(即,更高的正确猜测数)。
    • P 值不仅仅是精确观察结果的概率。它包含了所有在备择假设方向上提供相等或更强反对 H0​ 证据的结果的概率总和。在本例中,最极端的结果就是 4 杯全对,因此 P 值就是 P(X=4)。如果结果是 3 杯正确,“至少一样极端”就意味着 3 杯正确 4 杯正确,所以 P 值需要将这两个概率相加 3。这个定义考虑到了我们关心的是反对 H0​ 的总体证据强度,而不仅仅是某个特定罕见事件的概率。

---

第 6 节:做出决策 - 统计显著性

  • 引入显著性水平 (α):
    • 介绍预先设定的显著性阈值概念,用 α 表示 24。
    • 常用值:α=0.05 (或 5%)2。需要解释这是一种惯例,带有一定的任意性 20。
    • 含义: 它代表了研究者愿意容忍的犯第一类错误 (Type I error) 的最大概率。第一类错误是指当零假设 H0​ 实际上为真时,却拒绝了它 5。
  • 决策规则:
    • 如果 P 值 ≤α:拒绝零假设 (H0​) 20。结果被认为是“统计显著的”(statistically significant)。
    • 如果 P 值 >α:未能拒绝零假设 (H0​) 20。结果被认为是“统计不显著的”。(强调:这并不证明 H0​ 是正确的 20)。
  • 将规则应用于本实验:
    • 计算出的 P 值 ≈0.0143。
    • 采用的常规显著性水平 α=0.05。
    • 因为 0.0143≤0.05,所以我们拒绝零假设 H0​ 2。
  • 结论:
    • 基于本次实验结果和常规的显著性水平,我们有统计上显著的证据得出结论:这位女士区分两种奶茶冲泡方法的能力并非仅仅源于偶然。数据支持了她的论断 2。
    • (讨论 Type I 和 Type II 错误:拒绝 H0​ 意味着我们可能犯了第一类错误——即她实际上是在猜测,但运气极好。如果我们未能拒绝 H0​(例如,如果她只答对了 2 杯),我们可能犯了第二类错误——即她确实有能力,但这次实验未能检测出来 5。)
  • 费雪的观点:
    • 费雪将显著性检验视为一种判断哪些结果值得进一步研究(即“忽略哪些结果”)的方法,并旨在设计出当真实效应存在时,“很少会得不到显著结果”的实验 20。他认为 P <0.01 是强有力的证据,而 P >0.20 则表明效应(如果存在的话)太小,以至于该规模的实验无法可靠地检测到 20。本实验 1/70 的结果落入了他的“强有力证据”类别。
  • 决策的本质:
    • 统计显著性是基于将观察到的证据(P 值)与预先设定的阈值(α)进行比较而做出的决策。这是一个概率性的结论,而非绝对的证明。P 值(0.0143)量化了反对 H0​ 的证据。α 水平(0.05)设定了证据需要达到多强的标准才能被接受。比较(P ≤α)导致了一个正式的决策(拒绝 H0​)。这个决策承认了犯错的小风险(α),即犯第一类错误的风险:结论是她有能力,而实际上她只是运气特别好 5。统计推断是关于管理不确定性,而不是消除不确定性。
  • α=0.05 的惯例:
    • 选择 α=0.05 很大程度上是历史形成的惯例,而非基于严格的科学推导 20。费雪本人更灵活地使用 P 值 20。过度依赖单一阈值可能存在问题 22。所需的证据强度可能取决于具体情境(例如,错误决策的后果)。现代统计实践越来越鼓励报告精确的 P 值,并结合效应大小和置信区间来解释结果 25。虽然这个实验早于其中一些发展,但它清晰地展示了显著性概念的起源。

---

第 7 节:核心概念回顾(总结)

  • 零假设显著性检验 (NHST) 流程:
    • 提出假设: 明确可检验的零假设 (H0​:女士没有辨别能力)。
    • 实验设计: 设计实验收集相关数据(8 杯茶,随机顺序)。
    • 计算统计量: (隐含地)计算检验统计量(答对的杯数)。
    • 计算 P 值: 确定在 H0​ 为真的前提下,观察到当前结果或更极端结果的概率 (1/70)。
    • 做出决策: 将 P 值与预设的显著性水平 (α) 比较,决定是否拒绝 H0​。
  • 实验设计原则:
    • 随机化 (Randomization): 消除偏倚、验证概率计算的关键。
    • 对照 (Control): 使用已知的结构(每种 4 杯)进行比较。
    • 盲法 (Blinding): 防止受试者的主观预期影响结果。
    • 重复 (Replication): (隐含价值)增加试验次数可获得更强的结论。
  • 组合学与概率:
    • 组合计数: 当顺序不重要时,使用组合公式 ((rn​)) 计算可能的选择方式 ((48​)=70)。
    • 精确概率: 在 H0​ 下计算离散事件的精确概率(基于超几何分布)。
  • P 值解读:
    • 正确理解: P 值是 P(数据或更极端结果∣H0​为真)。
    • 常见误解: P 值不是 P(H0​为真) 或 P(Ha​为真)。
  • 统计显著性:
    • 决策标准: 理解为基于阈值的关于 H0​ 的决策。
    • 区分: 区分统计显著性与实际重要性 26。虽然在此案例中,证明能力本身就是重要的。
  • 教学价值:
    • “女士品茶”实验的精妙之处在于它将多个基本的统计概念(从实际问题出发,到严谨的实验设计,再到概率计算和假设检验的逻辑)优雅地整合到一个易于理解的故事中,使其成为一个极具教学价值的案例 1。

---

第 8 节:“女士品茶”的遗产

  • 奠基性范例:
    • 这个实验是费雪在其极具影响力的著作《实验设计》(1935年)中,对零假设和显著性检验概念最原始、最直观的阐述 2。
  • 对实验设计的影响:
    • 它极大地突显了随机化的极端重要性。随机化后来成为严谨科学实验的基石,尤其是在医学等领域的黄金标准——随机对照试验 (Randomized Controlled Trials, RCTs) 中 1。费雪通过这个简单的例子,展示了如何通过设计来消除偏倚,从而获得更可靠的结论。
  • 普及与传播:
    • 这个故事本身变得非常著名,向更广泛的受众普及了统计学原理。例如,大卫·萨尔斯伯格 (David Salsburg) 的书《女士品茶:统计学如何变革了二十世纪的科学》就以此命名 2。它被认为是随机化分析的两大支柱之一 7。
  • 持续的相关性:
    • 实验所体现的核心原则——假设检验、随机化、P 值——至今仍然是众多学科领域数据分析的基础 2。
  • 深远影响:
    • 这个看似简单的实验,对 20 世纪统计方法学的发展和教学产生了不成比例的巨大影响。其原因在于:故事本身通俗易懂、贴近生活;费雪战略性地用它来阐释抽象的统计原理 2;它清晰地展示了随机化和显著性检验的力量。这些因素共同促成了费雪方法的广泛传播,并使其成为科学研究的核心工具 1。其强大的叙事性也使其成为经久不衰的教学范例 8。

---

总结

“女士品茶”实验不仅是一个关于茶和味觉的趣闻轶事,更是统计学发展史上的一个里程碑。通过这个案例,我们可以学习和教授:

  1. 科学思维: 如何将一个日常的、主观的论断转化为一个可以通过客观实验来检验的科学问题。
  2. 实验设计的重要性: 理解随机化、对照和盲法等原则在消除偏倚、确保实验有效性方面的关键作用。
  3. 概率与组合学应用: 如何运用数学工具(组合公式、超几何分布)来量化在特定假设(零假设)下各种结果发生的可能性。
  4. 假设检验的逻辑: 掌握零假设、备择假设、P 值和显著性水平的概念,以及如何基于 P 值做出统计决策。
  5. 统计学的力量: 认识到统计方法不仅适用于复杂的科学研究,也能为解决看似简单的问题提供严谨的框架和洞见。

这个案例以其简洁、直观和历史意义,为初学者打开了理解现代统计推断思想的大门。

Works cited

  1. The Historical And Statistical Significance Of The Lady Tasting Tea Experiment - JYYNA, accessed April 27, 2025, https://jyyna.co.uk/lady-tasting-tea/
  2. The Statistical Significance of the ‘Lady Tasting Tea’ Experiment, accessed April 27, 2025, https://statisticseasily.com/lady-tasting-tea/
  3. The lady tasting tea experiment | Brainder., accessed April 27, 2025, https://brainder.org/2015/08/23/the-lady-tasting-tea-and-fishers-exact-test/
  4. Ronald Fisher, a Bad Cup of Tea, and the Birth of Modern Statistics, accessed April 27, 2025, https://www.sciencehistory.org/stories/magazine/ronald-fisher-a-bad-cup-of-tea-and-the-birth-of-modern-statistics/
  5. The Lady tasting tea - Uprm, accessed April 27, 2025, https://academic.uprm.edu/wrolke/esma3015/lady-tea.html
  6. “Lady Tasting Tea”1, accessed April 27, 2025, https://www.nbi.dk/~petersen/Teaching/Stat2021/Notes/Fisher_ExactTest_LadyTastingTea.pdf
  7. Lady tasting tea - Wikipedia, accessed April 27, 2025, https://en.wikipedia.org/wiki/Lady_tasting_tea
  8. [Q] the “tea” in Lady Tasting Tea : r/statistics - Reddit, accessed April 27, 2025, https://www.reddit.com/r/statistics/comments/vinown/q_the_tea_in_lady_tasting_tea/
  9. A Bayesian network for modelling the Lady tasting tea experiment - PMC, accessed April 27, 2025, https://pmc.ncbi.nlm.nih.gov/articles/PMC11271908/
  10. The Lady Tasting Tea experiment was a famous statistical test conducted by Ronald Fisher in the 1920s to evaluate a woman’s claim that she could distinguish whether tea or milk was added to a cup first. - Reddit, accessed April 27, 2025, https://www.reddit.com/r/wikipedia/comments/1f76y13/the_lady_tasting_tea_experiment_was_a_famous/
  11. SR-5101 Advanced Research Skills - Haziq Jamil, accessed April 27, 2025, https://haziqj.ml/sr5101/lecture2
  12. Why randomize? - Institution for Social and Policy Studies - Yale University, accessed April 27, 2025, https://isps.yale.edu/research/field-experiments-initiative/why-randomize
  13. Random Assignment in Experiments | Introduction & Examples - Scribbr, accessed April 27, 2025, https://www.scribbr.com/methodology/random-assignment/
  14. An overview of randomization techniques: An unbiased assessment of outcome in clinical research - PMC, accessed April 27, 2025, https://pmc.ncbi.nlm.nih.gov/articles/PMC3136079/
  15. Impact of Randomization in Experimental Design in Research - Sawtooth Software, accessed April 27, 2025, https://sawtoothsoftware.com/resources/blog/posts/randomization-in-experimental-designs
  16. Quiz 3 12pm Class Question: What is the main purpose for using randomization in an experiment? Here are your answers in random - CSUN, accessed April 27, 2025, http://www.csun.edu/~an73773/Quiz3Feedback12pm.pdf
  17. Why is randomization important in an experimental design? - QuillBot, accessed April 27, 2025, https://quillbot.com/blog/frequently-asked-questions/why-is-randomization-important-in-an-experimental-design/
  18. Randomization & Balancing | Experimental Design | Learn - Labvanced, accessed April 27, 2025, https://www.labvanced.com/content/learn/en/guide/randomization-balanced-experimental-design/
  19. The importance of randomization in clinical research - PMC, accessed April 27, 2025, https://pmc.ncbi.nlm.nih.gov/articles/PMC9424468/
  20. Lady Tasting Tea - Hypothesis Testing, accessed April 27, 2025, https://dlsun.github.io/ds-seminar/readings/LadyTastingTea-HypothesisTesting.pdf
  21. Chapter 1 The Lady Tasting Tea | A Brief Introduction to Bayesian Inference - Bookdown, accessed April 27, 2025, https://bookdown.org/johnnydoorn/bayesbookdown/the-lady-tasting-tea.html
  22. Understanding P-values | Definition and Examples - Scribbr, accessed April 27, 2025, https://www.scribbr.com/statistics/p-value/
  23. P-Value: What It Is, How to Calculate It, and Examples - Investopedia, accessed April 27, 2025, https://www.investopedia.com/terms/p/p-value.asp
  24. P-value - Wikipedia, accessed April 27, 2025, https://en.wikipedia.org/wiki/P-value
  25. Hypothesis Testing, P Values, Confidence Intervals, and Significance - StatPearls - NCBI, accessed April 27, 2025, https://www.ncbi.nlm.nih.gov/books/NBK557421/
  26. What the P values really tell us - PMC, accessed April 27, 2025, https://pmc.ncbi.nlm.nih.gov/articles/PMC5665734/
  27. p-value: A Beginner’s Guide - Datatab, accessed April 27, 2025, https://datatab.net/tutorial/p-value
  28. Understanding p-value and its role in statistical significance | Statsig, accessed April 27, 2025, https://www.statsig.com/perspectives/pvalue-role-statistics
  29. P-value - (Intro to Statistics) - Vocab, Definition, Explanations | Fiveable, accessed April 27, 2025, https://library.fiveable.me/key-terms/college-intro-stats/p-value
  30. Combinations and Permutations Calculator - Stat Trek, accessed April 27, 2025, https://stattrek.com/online-calculator/combinations-permutations
  31. Combinations and Permutations - Math is Fun, accessed April 27, 2025, https://www.mathsisfun.com/combinatorics/combinations-permutations.html
  32. www.cuemath.com, accessed April 27, 2025, https://www.cuemath.com/questions/in-how-many-ways-can-a-committee-of-4-be-chosen-from-a-group-of-8-people/#:~:text=8%E2%88%924)!-,8%20C%204%20%3D%208%20!,(%208%20%E2%88%92%204%20)%20!&text=Therefore%2C%20there%20are%2070%20ways,a%20group%20of%208%20people.
  33. In how many ways can a committee of 4 be chosen from a group of 8 people? - Cuemath, accessed April 27, 2025, https://www.cuemath.com/questions/in-how-many-ways-can-a-committee-of-4-be-chosen-from-a-group-of-8-people/
  34. How do you find the number of ways to listen to 4 CDs from a selection of 8 CD? - Socratic, accessed April 27, 2025, https://socratic.org/questions/how-do-you-find-the-number-of-ways-to-listen-to-4-cds-from-a-selection-of-8-cd
  35. Find the Number of Possibilities 8 choose 4 - Mathway, accessed April 27, 2025, https://www.mathway.com/popular-problems/Finite%20Math/600005
  36. Combination Calculator - Statistics Kingdom, accessed April 27, 2025, https://www.statskingdom.com/combinations-calculator.html
  37. Combination Calculator, accessed April 27, 2025, https://www.omnicalculator.com/statistics/combination