最近终于读完了Nate Silver的The Signal and the Noise。Nate Silver声名鹊起，是因为他创办的538网站（http://www.fivethirtyeight.com/）在2012年总统大选中正确预测了49个州的选举结果。但在2016年的总统大选中，538网站预测希拉里大获全胜，误导了包括我在内的很多选民，声誉顿时一落千丈。因为这个原因，这本书被我置之高阁，几乎要永远打入冷宫，直到最近才生出悲天悯人之心，给了它第二次机会。
The Signal and the Noise是一本关于预测的书。生活中的种种事情，包括选举结果、体育比赛的输赢、天气的晴雨，都有人预测；很多活动，像打扑克、下象棋、投资股票，也都需要在采取行动时估计可能出现的各种结果的概率，说起来也是一种预测。Nate Silver选择了一些最有名的预测案例或领域，分析了它们或成功或失败的原因，对预测这门无处不在、无孔不入的学问提出了很多有趣的看法。以前只知道Silver是预测选举结果的名家，读了这本书才知道，他从来就是一个喜欢赌博这类投机活动的怪才。他是个颇有建树的扑克玩家，对研究棒球统计数据也很有心得，还开发过一套预测棒球运动员表现的软件系统。年轻的时候，坐在大公司的办公室中，做着朝九晚五的工作，他也困惑过自己在这个世界上的使命到底是什么。二十年后，回过头来，至少在读The Signal and the Noise这本书的我看来，他对什么最感兴趣是一目了然的。他能扫去落叶浮尘，找到那条原本就属于他的职业轨迹，虽然不算侥幸，也是一种幸运。
因为是关于概率论和统计学在日常生活中的应用的通俗读物，The Signal and the Noise让人想起前几年洛阳纸贵的关于生活中的经济学的超级畅销书Freakonomics。但The Signal and the Noise虽然也登上纽约时报和亚马逊的畅销榜，在知名度和影响力上却比Freakonomics略逊一筹。Freakonomics的文笔更花哨，The Signal and the Noise则比较平实。但该书每一章都内容翔实又简洁流畅、脉络分明，让人学到很多东西，回想起来反而比Freakonomics更有味道。
其中有一章，Less and Less and Less Wrong（“错得越来越少”），我觉得尤其有意思。说起来惭愧，我也是读过统计学博士课程的人，这么多年不碰那些高深的知识，现在居然连通俗读物中提到的最粗浅的入门概率知识都让我感到了小小的按捺不住的激动。我这里指的当然是这一章的中心话题，贝叶斯定理。如果你已经忘了的话，贝叶斯定理是关于条件概率的一个重要定理。假设A事件的发生有一定的概率。然后与A事件相关的B事件发生了。根据这个新信息，我们可以对A事件发生的概率做出修正，即B事件发生的条件下A事件发生的概率，贝叶斯定理则提供了计算这个修正的概率的公式。
但我的激动也不全是温故知新，记起了芳华岁月的陈年旧事，而是因为在这一章里，我第一次听人谈起了贝叶斯定理的哲学意义。我不记得以前的概率老师谈过哲学，即使他们谈过，可能我也听不懂或者不感兴趣吧，但今天的我偏偏对哲学比对数学感兴趣。这可能是中年危机的一个标志，不过这是题外话。如果暂时把数学公式放在一边，想象自己已经上升到哲学家的高度，贝叶斯定理背后一个不言而喻的假设，是我们对一个事件发生的概率是有看法的。要运用贝叶斯定理，不但要知道A事件发生的概率，还要知道B事件发生的概率，还要知道A事件发生的条件下B事件发生的概率。也就是说，贝叶斯定理假设观察者一开始是有知识的。这些知识不一定准确，甚至不一定正确，而贝叶斯定理的使命，就是让观察者在获取更多信息后，根据新近获取的信息修正已有的知识，让知识更准确完善。
有些统计学家不同意贝叶斯定理的这个基本假设。他们认为，人为的知识是主观的，以这种知识为基础建立起来的模型是岌岌可危的楼房，其客观性是不可信任的。他们主张从完全自然、客观的角度出发，直接为事件本身建立模型来获取知识。比方说，只有在观察到事件A在大量独立重复试验中发生的频率趋近于p之后，我们才能下结论说p是A事件发生的概率。因此如果想知道抛硬币时正面朝上的概率，我们就得不断地抛硬币。当抛掷次数趋向无穷时，正面朝上的频率即正面朝上的概率。这一派统计学家被称为频率学派。
在频率学派和贝叶斯学派的交锋中，频率学派占了上风。如今的主流统计学教材大都以频率学派的理论框架为主，贝叶斯理论则一笔带过。可能这也是为什么，我不记得以前听到过“频率学派”这个名词。统计学课本不必提这个名词，因为统计学就是频率学派。倒是贝叶斯定理，因为是旁枝末节，课本的作者反而会拎出来吆喝一声，贩卖一下。
但Nate Silver是贝叶斯学派的追随者。频率学派清雅高洁，不想受任何人为偏见污染，以做到绝对地客观公正，这个出发点虽然令人肃然起敬，却不一定能减少错误，导致更令人满意的结果。拒绝让数据之外的其他知识在预测中扮演任何角色，不过是想逃离现实世界的混乱，躲进象牙塔和世外桃源。可惜不管怎么躲，现实世界还是在象牙塔的窗外施施然地兀自伫立着，还是杂乱无章，充满了错误和偏见。
贝叶斯学派代表了一种更务实的态度。它从先验概率开始，一上来就承认人都是有观点的，即使这些观点可能是偏见，不一定正确。然后它用新的信息，来渐渐修正之前的观点，不求完美，但求“错得越来越少”。简单地说，频率学派是完美主义者，贝叶斯学派却是现实主义者。但世界上的事情很奇怪，“完美”的人未必比“不完美”的人高明，追求完美也不一定导致完美。完美主义者走偏锋和钻牛角尖的时候是很可怕的，比较起来现实主义者反而比较稳重可靠。
在大数据的时代，对频率学派和贝叶斯学派这两种不同的统计哲学的比较似乎又有了新的生命。前所未有的海量数据当然令人心潮澎湃，浮想联翩，但也不一定是好事情，因为它们完全有可能导致前所未有的海量的错误结论。脱离了上下文的数据本身是没什么用的，对大数据的使用不可能脱离对数据所在领域的深厚知识的引导，不然很可能闹出癞蛤蟆预测地震、超级杯预测股市的笑话。
但即使是贝叶斯定理最忠实的信徒，要想获得贝叶斯定理预料的修正效果，也有一个前提，就是对一个事件的先验概率的估计要有一定的弹性，拿现在时髦的话来讲，就是要be open minded。如果对A事件发生的概率的先验估计是100%，那么不管有多少新信息浮出水面，也不管这些新信息在一般情况下可以多么有效地降低人们对A事件发生的概率的估计，根据贝叶斯定理的公式（此处将数学公式省略，大家可以放心我绝对没有算错），对A事件发生的概率的估计都永远是100%。反之，如果最初不是那么信心爆满，板上钉钉，哪怕留有一丝余地，比如说对A事件发生的概率的先验估计是99%，那么在新的不利于A事件的信息一次又一次出现之后，这个概率也有希望得到订正。
而这正是对很多热门社会问题的讨论中可以观察到的现象。不管是对总统的评价也好，对枪支管制的看法也好，对全民健保的立场也好，如果对自己的观点有100%的把握，门关得紧紧的，一条细缝也不肯打开，那么不管有多少新证据冒出来，观点也是永远不会改变的。也就是说，当一个人确信自己掌握了绝对真理，他便已经完全封闭了头脑，彻底丧失了学习的能力。
就像罗素说的，“这个世界的问题就是愚人和狂热分子总是对自我如此肯定，而智者内心却充满疑虑。”
维立，毕业于清华大学，斯坦福大学博士。现居硅谷从事高科技工作。业余时间翻译写作，出版过六本作品/译作。
回复 'silverbug' 的评论 :
回复 '零不是数' 的评论 :
大选临近时希拉里的优势逐日递减，两个候选人在两个摇摆州的情况不相上下。选举史上“得佛罗里达者得天下”这一条的准确度是很高的。 大选前的三四天内，Silver的数据显示川普拿下佛罗里达的概率超过希拉里。 再以后的事就没有悬念了。
但必须承认，我也发表过连续生过两个男孩的妈妈的第三个孩子或许更可能是男孩的说法，被人鄙夷地说是不懂独立事件。但同一个妈妈的子宫，有没有可能不是独立事件呢？
回复 'cng' 的评论 :
博文：“...她有告诉我她已经有了两个儿子，这次怀孕纯属意外。其实她的婆婆和丈夫是舍不得让她打掉这个孩子的。说着说着她犹豫了起来。一会护士来了，我想护士转达了病人的犹豫之情。护士说要报告医生。
医生听说病人有犹豫，就很耐心地和病人将她可以有的选择。那时那位妇女怀孕8周左右。医生告诉她如果她改变主意她下次还能再来做手术，但是胎儿是健康的，如果她愿意，可以把孩子生下来，而且有50%的可能她会生个女孩。病人听到可能生女孩，很高兴，更加坚定地决定将孩子生下来。并且病人对医生也很满意，对医生说她打算请这位医生帮她做产前检查...”
评论：
“而且有50%的可能她会生个女孩。病人听到可能生女孩，很高兴，更加坚定地决定将孩子生下来。”?
---病人的智商有50%的可能性超过50
我的评论：
2017-11-28 15:59:24cng
回复 '周8皮' 的评论 : 事情未必这么简单。这个孕妇，也许有朴素的贝叶斯理论基础，通过过去连生俩男孩的经验，也许认为自己就是生男孩命，第三个还是男孩的先验概率已经大大超过了50%，才准备放弃。而医生拨乱反正，告诉她生女孩概率一点也没降低，让她回心转意
你看我这个贝叶斯学得怎么样？