# 证据评估与数据陷阱识别手册

---

## 一、证据层级金字塔

可信度从高到低排列。越高层级的证据越不容易被推翻。

### Level 1：系统性综述 / 元分析（Meta-Analysis）

**定义**：汇总多个独立研究的结果，用统计方法综合得出结论。

**可信度**：最高。因为综合了大量研究，避免了单一研究的偶然性。

**局限**：垃圾进垃圾出——如果纳入的研究本身质量差，综述也不可靠。

**职场判断**：如果有人引用元分析，追问"纳入了多少个研究？研究质量如何筛选的？"

### Level 2：随机对照实验（RCT）

**定义**：随机分组，一组干预一组对照，比较差异。

**可信度**：极高。随机化排除了混淆变量。

**局限**：实验环境≠真实环境；样本量、实验周期影响结论强度。

**职场判断**：A/B测试是RCT在互联网的应用。追问"分组是否真正随机？样本量足够大吗？实验周期够长吗？"

### Level 3：队列研究 / 前瞻性研究

**定义**：追踪一群人一段时间，观察暴露组和非暴露组的差异。

**可信度**：较高。有时间顺序，但不能完全排除混淆变量。

**职场判断**：用户留存分析、员工发展追踪属于此类。追问"追踪了多久？中途流失了多少人？"

### Level 4：案例对照研究

**定义**：从结果出发，回溯比较有此结果和无此结果的两组人的差异。

**可信度**：中等。回溯容易受记忆偏差和选择偏差影响。

**职场判断**：离职原因分析、项目失败复盘。追问"对照组怎么选的？回忆可能有偏差吗？"

### Level 5：横断面调查

**定义**：在某一时间点收集数据，分析变量之间的关联。

**可信度**：较低。只能看相关不能推因果，无法确定时间顺序。

**职场判断**：满意度调查、市场调研。追问"这只是一个快照——因果方向确定吗？"

### Level 6：专家意见 / 个案报告

**定义**：权威人士的判断或单个案例的详细描述。

**可信度**：低。个人视角、样本为1、受个人偏见影响。

**职场判断**：顾问建议、单个成功案例。追问"这是一个人的经验还是系统性验证的？"

### Level 7：个人经验 / 轶事

**定义**：基于个人亲身经历的判断。

**可信度**：最低。受限于个人视野、记忆偏差、确认偏误。

**职场判断**："我之前做过，感觉..."。追问"你的经验能代表普遍情况吗？有没有反例？"

---

## 二、七大数据陷阱

### 陷阱1：基数谬误

**定义**：分子看似很大，但不告诉你基数更大（或基数很小导致百分比虚高）。

**典型表现**：
- "增长了200%！"——但基数只有3单，从3变成9
- "转化率50%"——但分母只有2个人
- "错误率下降80%"——从5次降到1次

**识别方法**：
1. 看到百分比先问"基数是什么？"
2. 绝对值 vs 相对值对比——两个都给才完整
3. 基数<30的百分比波动不具统计意义

**职场示例**：
- 新业务报喜："GMV环比增长300%"——上月基数10万，本月40万，放在百亿盘子里是四舍五入的误差
- 团队汇报："bug率下降50%"——上周4个这周2个，明天可能又回来4个

---

### 陷阱2：平均值 vs 中位数

**定义**：极端值拉动平均值，使其无法反映典型情况。

**典型表现**：
- "人均年薪百万"——但中位数可能是30万（少数高管拉高均值）
- "平均完成时间3天"——但大多数1天完成，少数拖了2周

**识别方法**：
1. 看到平均值追问"中位数是多少？"
2. 追问分布形状：正态分布用平均值OK，偏态分布必须看中位数
3. 最好同时给出P50、P90、P99

**职场示例**：
- 薪酬比较："我们平均薪酬高于市场"——但腰部员工可能低于市场，被高管薪酬拉高了
- 项目周期："平均上线周期2周"——但80%项目1周完成，20%拖了1个月

---

### 陷阱3：选择性时间窗口

**定义**：精心选择数据的起止时间点，让趋势看起来好看（或难看）。

**典型表现**：
- 从最低谷开始画线 → 增长曲线很陡
- 避开某个季度的数据 → 趋势更平滑
- "自XX以来增长了Y%"——为什么选这个起点？

**识别方法**：
1. 看到趋势图追问"为什么从这个时间点开始？"
2. 要求看更长时间维度：月度、季度、年度
3. 同时看同比和环比——只给一个的通常是因为另一个不好看

**职场示例**：
- 竞品分析："他们过去3个月下滑了"——但过去1年整体增长，3个月只是季节波动
- 业绩汇报："Q3环比增长20%"——但Q2是淡季自然低，同比可能是负的

---

### 陷阱4：幸存者偏差

**定义**：只看到"活下来"的样本，看不到那些失败/退出的样本。

**典型表现**：
- "成功企业都有X特征"——失败的企业有没有也有X特征？
- "坚持的人都成功了"——放弃的人也可能一部分在坚持中失败了
- "这个方法对老客户有效"——已经流失的客户用了这个方法吗？

**识别方法**：
1. 追问"那些失败/流失/退出的呢？他们什么情况？"
2. 看研究是否只分析了"成功组"而忽略了"失败组"
3. 警惕只展示案例的结论——案例是精心挑选的

**职场示例**：
- 培训效果评估："参加培训的人绩效更好"——本来就优秀的人更愿意参加培训，因果方向可能反了
- 招聘经验："985的人在我们这干得更好"——有没有非985干得好但没机会入职的？
- 业务方法论："按这个方法做的项目都成功了"——有没有也按这个方法做但失败了的？没人写复盘

---

### 陷阱5：辛普森悖论

**定义**：分组看是一个结论，合并看是相反结论。

**典型表现**：
- 部门A和B各自录取率女性高于男性，但全校合并后男性录取率更高
- 每个品类用户满意度都在提升，但总体满意度下降

**识别方法**：
1. 看到合并数据追问"分组看还是同样的结论吗？"
2. 看到分组数据追问"合并后呢？"
3. 找混淆变量——通常是组间比例不同导致的

**职场示例**：
- 绩效对比："A团队和B团队各自绩效都在提升"——但A团队（高绩效多）缩编了，B团队（低绩效多）扩编了，全部门平均绩效反而降了
- 转化率分析："每个渠道转化率都提升了"——但低转化渠道的占比增加了，总体转化率可能降了

---

### 陷阱6：缺失数据

**定义**：不报告对结论不利的指标或数据。

**典型表现**：
- 报营收不报利润
- 报DAU不报留存
- 报增长率不报绝对值
- 报好的指标沉默差的指标

**识别方法**：
1. 列出"完整评估需要哪些指标"→ 看缺了什么
2. 追问"有没有哪些指标在下降/不达标？"
3. 注意沉默本身就是信号——不提的通常是不好的

**职场示例**：
- 产品汇报：只说"新增用户30万"不说留存率——可能来了就走
- 项目复盘：只说"按时交付"不说质量——可能bug一堆
- 竞品分析：只列竞品弱点不列优势——一定有选择性偏见
- 财务报表：营收增长但净利下降——成本可能失控

---

### 陷阱7：相关当因果

**定义**：两个变量同时变化（相关）被当作一个导致另一个（因果）。

**典型表现**：
- "冰淇淋销量和溺水事故正相关"——不是冰淇淋导致溺水，是夏天同时导致两者
- "高学历和高收入相关"——学历导致高收入？还是家庭背景同时导致两者？

**识别方法**：
1. 追问因果方向："是A导致B，还是B导致A？还是C同时导致两者？"
2. 追问因果机制："A通过什么路径影响B？中间环节是什么？"
3. 有没有时间先后的证据？
4. 能不能找到反例？（有A无B，或有B无A）

**职场示例**：
- 人效分析："人均产出高的部门满意度也高"——是高产出导致高满意度（成就感）？还是高满意度导致高产出（积极性）？还是好leader同时导致两者？
- 用户行为："使用X功能的用户留存更高"——是功能好所以留存高？还是本来就忠诚的用户更愿意探索新功能？

---

## 三、数据解读通用框架

看到任何数据/图表/报告时，按以下框架提问：

### 来源审查
- 谁收集的？有没有利益动机？
- 怎么收集的？方法论是什么？
- 样本怎么选的？有没有系统性偏差？
- 回收率/覆盖率多少？缺失数据怎么处理的？

### 口径审查
- 指标怎么定义的？
- 分子分母分别是什么？
- 时间窗口怎么选的？
- 是否与对比对象使用相同口径？

### 呈现审查
- 数轴有没有截断？（从0开始 vs 从某个值开始）
- 时间窗口是否精心选择？
- 给了哪些指标，没给哪些？
- 绝对值和相对值是否都展示了？

### 结论审查
- 数据支持的结论是确定性的还是概率性的？
- 有没有替代解释？
- 结论的适用边界在哪？
- 如果加入缺失的数据，结论还成立吗？

---

## 四、职场数据场景速查

| 场景 | 必问问题 | 常见陷阱 |
|------|---------|---------|
| KPI报告 | 基数？口径变了吗？同比还是环比？ | 基数谬误、选择性时间窗口 |
| 调研报告 | 样本怎么选的？回收率？谁出资的？ | 幸存者偏差、缺失数据 |
| 竞品分析 | 数据来源？口径一致吗？省略了什么？ | 选择性呈现、缺失数据 |
| 人效分析 | 分母包含谁？统计口径变了吗？ | 辛普森悖论、相关当因果 |
| AB测试 | 分组随机吗？跑了多久？显著性？ | 样本不足、过早下结论 |
| 满意度调查 | 回收率？匿名吗？问卷措辞中性吗？ | 幸存者偏差、引导性提问 |
| 趋势预测 | 历史数据时间窗口？环境假设？ | 选择性时间窗口、稳定性假设 |
