幸存者偏差(什么是“幸存者偏差”)

作者｜汤姆·芝华士（Tom Chivers），科学作家，曾供职于《每日电讯报》、BuzzFeed等媒体，2018年起为自由职业者。2018年获英国皇家统计学会“新闻‘统计性’优异奖”。2017年获美国心理学会（APA）媒体奖，并列入英国科学作者奖、英国科学写作新闻奖短名单。

大卫·芝华士（David Chivers），英国杜伦大学商学院经济学副教授，曾任牛津大学讲师。在优秀学术期刊上多有发表。研究领域包括不平等、增长和发展等。

怎样写出一本畅销书似乎有一个公式，或者用一个算法，也可能是一个密码。有一篇文章（关于公式）列举了 J. K. 罗琳、E. L. 詹姆斯和艾莉克丝·玛伍德的成功，并表示使用男女皆宜的笔名会使女作家通向成功之路。另一篇（关于算法）用文本挖掘软件找到了畅销书的 2800 个共同特征，如“句子更短、主视角推进的叙事和较少使用文绉绉的词汇”，带有“一种情绪节奏……情绪高潮之后是低谷，再是另一个高潮、另一个低谷”。似乎作者从事过新闻行业也有助于写出畅销书，这对我们来说是个福音。

《数字一点不老实：看穿纷繁信息中的数据玄机》 [英] 汤姆·芝华士 大卫·芝华士 著 邓妍 译 九州出版社 2023年11月

如果你的算法仅靠一本书的文本就能够以 97% 的准确率预测它是否会畅销，你可能会想要尝试先用它帮你自己写几本畅销书，赚到盆满钵满，然后再告诉别人你是怎么做到的 ；但这个只是顺带一提。我们想问的问题是 ：这些关于如何写畅销书的自信说法有没有真实依据还是说我们又掉进了另一个统计错误的坑

剧透警告 ：这是一个统计错误。这个错误与得州神枪手错误非常相似，但有细微且关键的区别。要理解这个错误，我们来说说第二次世界大战的轰炸机，这个很有意思。

1944 年，美国海军耗费大量金钱、精力和生命轰炸日本飞机跑道。他们的轰炸机经常遭到敌方战斗机和地面火力的射击，许多轰炸机被摧毁。美军就想用装甲板加固飞机 ；但装甲板很重，若非必要，你不会把它加在飞机上，因为这会减慢飞机的速度，降低其机动性，减少它的航程和最大有效载荷。

因此，他们查看了返航飞机受损的部位，这很合理。他们注意到子弹和高射炮弹片的撞击主要出现在机翼和机身，而非发动机。他们决定应该用额外的装甲板来加强机翼和机身。

匈牙利统计学家沃德·亚伯拉罕（Wald Ábrahám）指出了这个问题。美国海军观察到的是这些飞机的某个子集，即那些已经返回航母的飞机。被大量火力击中机身和机翼的飞机通常成功返回了基地。然而，被击中引擎的飞机绝大多数掉进了海里，没有被纳入统计。

美国海军没有意识到，他们的决策一直基于有偏差的样本。这里的这种样本偏差叫“幸存者偏差”。它指的是你在观察一类事物时，只观察了你知道的那些个体。

SBD 无畏式俯冲轰炸机坠入太平洋，这样的例子极不寻常，但许多幸存者偏差的例子就发生在我们身边。最明显的可能就是商界领袖写的“我的成功秘诀”类书籍。你知道那种书，就比如《超级富人的 12 个习惯 ：我是如何通过很早起床、只喝鳄梨思慕雪和每两周随机解雇 10% 的员工而赚了几百万的》，作者德丢·傅仁。

我们都想知道怎么赚个几百万，所以这些书常常畅销。但通常来说，它们只不过列出了幸存者偏差的例子。

经济学家加里·史密斯（Gary Smith）在他的《简单统计学》（Standard Deviations）一书中提到了两本书，两书总共分析了 54 家经营良好的公司，并找出了这些公司的共同特征—他们的企业文化、着装要求等。[5] 史密斯指出，在那两本书成书之前，这些公司确实都跑赢了市场，但在这两本书出版后的几年里，其中近一半公司的表现开始逊于股市，即低于平均水平。这两本书吹捧着这些公司的优秀企业文化，其实只是在观察那些着陆的飞机，注意到弹片击中的位置，却没有思考所有未能返航的飞机都怎么了。

还有其他更日常的例子。美国数学家乔丹·埃伦伯格（Jordan Ellenberg）就讲过一个“巴尔的摩股票经纪人寓言”。一天早上，你收到一封来自一家投资基金的信，上写 ：“你应该在我们这投资，因为我们总是选中优质股票。但我们知道你不相信，所以免费送你一个投资提示：购买‘爱谁谁公司’。”转天，“爱谁谁公司”的股票上涨。

第二天，他们又寄给你一封信 ：“今天，你应该卖掉‘那啥啥控股’。”翌日，“那啥啥控股”的股票下跌。

他们连续寄信10 天，每次都说中了。第11 天，他们说：“现在相信我们了吗想投资吗”他们已经连续说中了10 个，所以你想 ：太好了！我不会亏的！然后把孩子们的大学基金投了进去。

但他们所做的是发出 10000 封信，对 5000 人说“买入爱谁谁公司”，对 5000 人说“卖出爱谁谁”。如果“爱谁谁”的股票上涨，那么第二天他们就给收到买入提示的人发信，对 2500 人说“买入那啥啥控股”，对 2500 人说“卖出那啥啥”。

然后，如果“那啥啥”下跌，他们会再给相应的那2500 人发信，以此类推。这样 10 轮之后，大概会有 10个人连续 10 次获得准确的提示。然后，他们把所有的钱都投资在这个奇迹般的选股者身上—他当然会卷款跑路。电视魔术师达伦·布朗（Derren Brown）正是用这种方法选出了五匹获胜的赛马，然后说服一位年轻的母亲将毕生积蓄投在第六匹上。

这些类型的欺诈可能不会发生—乔丹·埃伦伯格通过推特告诉我们，他没听说过任何真实的巴尔的摩股票经纪人案例—但这种事可能无意中发生。市场上有成千上万的投资基金。其中一些在一段时间内获得了难以置信的回报率，因此他们得到了关注和大量的投资。但那究竟是因为他们真的跑赢了市场，还是因为他们运气好，而你没有注意到所有其他悄然破产的共同基金

想象一下，让 1296 个人戴上不同颜色的帽子，让他们掷骰子，则其中约有 216 人会掷出 6 ；让这 216 人再掷一次，大概会有 36 人又掷出 6 ；让这 36 人再掷一次，大概会有 6 个人又掷出 6 ；再掷一次，大概会有 1 人掷出 6。这个人连续四次掷出 6，然后，你看着这个人的帽子说 ：“连掷四个 6 的秘诀是戴一顶橙黑条纹的帽子。”但回顾过去，寻找与成功有关的事情是很容易的 ；你需要的是找到预示未来成功的因素。没有理由认为戴橙黑条纹帽子的这个人会再次掷出 6。

幸存者偏差是“基于因变量选择”问题的一个例子，后者是一个更广泛的问题。这听起来很复杂，但意思很简单 ：你如果仅仅研究发生了 X 的例子，就无法弄清 X为什么会发生。在科学实验中，“自变量”是你要改变的东西（例如你给被试服药的剂量），“因变量”是你要测量并观察是否发生变化的东西（可能是患者的存活率）。

那么，假设你想知道喝水是否会导致关节炎（“患上关节炎”是你的因变量）。如果观察所有患关节炎的人，你很快就会发现他们都喝水。但是因为你没有观察所有没得关节炎的人，你不知道关节炎患者和我们其他人相比是否喝了更多的水。

这个问题好像明显得不值一提，但却无处不在。每当发生大规模枪击事件，媒体都会关注枪手，并发现他们玩暴力电子游戏。唐纳德·特朗普在 2019 年得州埃尔帕索和俄亥俄州代顿枪击事件后都说了这样的话。

但这分明就是一个基于因变量选择的例子，就像水与关节炎的例子一样。我们要问的不是“大规模枪击案枪手玩暴力电子游戏吗”，而是“这些枪手玩暴力电子游戏的时间是否比其他所有人都多”。（然后你还必须问因果方向 ：他们是因为玩游戏变暴力，还是因为喜欢暴力而玩游戏）

由于绝大多数年轻男性都玩暴力电子游戏，而几乎所有大规模枪击案的枪手都是年轻男性，因此任何枪手都极有可能在过去玩过《使命召唤》或其他第一人称射击游戏。说一个大规模枪击案枪手玩暴力电子游戏，令人惊诧的程度比说他们吃面条、穿 T 恤高不了多少。考虑到这一点，至少有一项研究发现，玩暴力电子游戏与凶杀率下降有关，这可能正是因为那些本可能外出行凶的年轻男性待在家里玩《侠盗猎车手 5》了。

我们一直在说媒体，但受幸存者偏差和因变量选择问题影响最大的可能是新闻的上游。媒体经常报道科学研究，但显然只报道发表了的研究。问题是，成功发表的，以及上了新闻的那些科学研究，并不是从航母上起飞的唯一一批飞机 ；它们只是成功返航的那部分。

成功发表的科学研究通常都发现了有趣的结果，我们在“追求新奇”中讨论了个中原因。

假设你正在测试一种抗抑郁药。它实际上不会起任何作用，但你还不知道。如果你进行 10 项研究，尤其是规模很小的研究，结果可能各有不同 ：其中 5 项可能没有发现效应 ；3 项可能发现这种药让病情变得更糟 ；2 项发现病情小有改善。实际上，这种药没有任何作用 ；但只是出于偶然，这些不同的研究得出了不同的结果。

但由于新颖有趣（且对制造商来说有利可图）的结果是“该药有效”，获得这样结果的研究更有可能发表在期刊上。因此，那8项发现没有效果或有负面效果的研究可能躺在某个科学家的文件柜里 ；其他人来综评证据时，可能发现，关于该抗抑郁药仅有2项研究发表，并称其有效。然后，医生可能会开这种完全无效的抗抑郁药，因为看起来它有科学证据的支持。

这样的事真的发生了，并导致了严重问题，真的有人因此而死。一项研究发现，已发表的抗抑郁药试验中，有 94% 发现了积极结果 ；但当他们找到未发表的文章并将它们纳入考虑后，这个数字降至了 51%。

这种偏差还有另一层影响 ：如果你在主流媒体上读到一项科学研究，那就意味着它已经被认为有趣到足可登报。《新研究发现烤焦的吐司其实并不致癌》或者《研究表明脸书其实不会腐蚀儿童的脑》大概不太会上新闻。如果你在报纸上看到一篇科学报道，请记住它相当于已经执行了两次战斗任务并飞回了基地。这并不是说它不是真的，但它确实让你有理由保持警觉 ：你不知道在同一课题下有多少其他研究被击落。

那么，你能用算法预测畅销书吗用男女通用的笔名有助于女性出书吗嗯，我们不知道，因为我们不知道有多少使用男女通用笔名的女作家没有成功出书。而算法能否以 97% 的准确率预测一份手稿是否会成为畅销书几乎肯定不能，除非它查看了所有未进入畅销书排行榜或根本未出版的书籍。你可以列出所有的大规模枪击案枪手，知道他们玩暴力电子游戏，但这并不能说明暴力电子游戏是否会导致枪击事件 ；同样，你会看到畅销书在措辞或剧情上有某些相似之处，但这并不能告诉你这些特征是否有助于这些书的销售。你只是在看已经返回基地的飞机，并指出它们机翼上的所有弹孔而已。

—End—

本文选编自《数字一点不老实：看穿纷繁信息中的数据玄机》，题目为编者所加。特别推荐阅读。

该文由出版机构提供，只做推荐作者相关研究的内容参考，不得用于商业用途，版权归原出版机构所有。任何商业运营如转载此篇，请务必向原出版机构申请许可！