读书笔记∣概率论沉思录 01

  概率的解释基础分为两种，一是物理世界本身存在的随机性（客观概率），二是是我们由于信息不足而对事件发生可能性的度量（主观概率）。基于此，形成了概率论的两大学派：频率论学派（传统数理统计学）和贝叶斯统计学。

　　频率论学派认为概率是物质属性，认为事件本身具有客观的随机性，试图从自然角度出发，直接为“事件”本身建模，即事件A在独立重复试验中发生的频率趋于极限p，这个极限就是该事件的概率。

　　贝叶斯学派认为概率是主观认识，认为同一事件对于知情者而言就是确定事件，对于不知情者而言就是随机事件，随机性并不源于事件本身是否发生，只是描述观察者对该事件的知识状态。

　　现有教材大多都围绕频率论，《概率论沉思录》（Probability Theory：The Logic of Science)((美)E.T.Jaynes）基于主观概率假设和几个其他的假设（人脑思考抽象而来），用严格的逻辑推理证明概率论的几大公理，证明了所有能用客观概率假设能解的题，用主观概率假设也都能解，且在给定充分信息情况下，主观概率都会逼近客观概率。它阐述了贝叶斯理论的丰富应用,弥补了其他概率和统计教材的不足。

1 合情推理 Plausiblereasoning

The actual science of logic is conversantat present only with things either certain, impossible, or entirely doubtful,none of which (fortunately) we have to reason on. Therefore the true logic forthis world is the calculus of Probabilities, which takes account of themagnitude of the probability which is, or ought to be, in a reasonable man’smind.

JamesClerk Maxwell (1850)

 

1.1 演绎推理与合情推理 Deductiveand plausible reasoning

该部分作者主要基于亚里士多德的《工具论》总结出五种三段论推理，并结合相关案例，以此来对比演绎推理和合情推理的不同。

（1）演绎推理：强三段论，证明式推理apodeixis

证明式推理是一种必然性推理，只要前提为真，其结论也就必然为真，书中总结了两种形式：

①

例如：

All men are rational（men(A) →rational(B)）

Bob is a man（men(A)）

Therefore, bob is rational（rational(B)）

②同理

例如：

All men are rational（men(A) →rational(B)）

Bob is not rational（rational(-B)）

Therefore, bob is not a man（men(-A)）

（2）合情推理：弱三段论

③

例如：

A ≡ itwill start to rain by 10 am at thelatest

B ≡ thesky will become cloudy before 10 am

这个例子表明，“如果A成立则B成立”表明B只是A的一个逻辑性后果；但在物理上这两者之间不一定存在因果关系，并不意味着A之后的一段时间B一定发生。早上10点钟的雨并不是9：45的乌云的物理原因。相反的，此处合适的逻辑关系不存在于不确定的因果方向（云→雨），而是（雨→云），这是确定的但并非存在因果关系。

④

在这种情况中，我们并不能说B是假的，但B的真实性由于A而降低了，因此我们对B为真的相信程度降低了。

⑤

　　These examples show that the brain, indoing plausible reasoning, not only decides whether something becomes moreplausible or less plausible, but that it evaluates the degree of plausibilityin some way. The plausibility for rain by 10 am depends very much on the darknessof those clouds at 9:45. And the brain also makes use of old information aswell as the specific new data of the problem; in deciding what to do we try torecall our past experience with clouds and rain, and what the weathermanpredicted last night.

　　大脑在作出合理推导的时候，并不仅仅决定某些事比较合理或者较不合理，而是用某些方法评估合理的程度。早上10开始下雨的合理性很大程度上依赖于9：45天黑的程度。大脑同样也使用过去的信息和当前信息的细节对比；我们一方面回忆过去乌云和下雨的关系，一方面回忆昨晚天气预报的情况，以作出判断。

　　为了说明大脑基于先前经验来评估推论合理的程度，我们举另一个例子：

　　一个珠宝店的窗户被砸碎了，同时，一个戴着面具的男子正从窗户里往外爬，携带的包裹里似乎装满了昂贵的珠宝，一般情况下，我们判断出这个男子是小偷。但这个男子可能是珠宝店的主人，他刚从一个假面舞会上回来，而且身上没有带着钥匙。当他刚刚经过自己的店面时，一辆经过的卡车上甩落的石头砸碎了窗户，而他只不过是在照看自己的私人财产而已。假如每个警察每天晚上都要遇到好几次这种情况，每次遇到的男子都是无辜的，那么警察们就会把这类情况当成无关紧要的小事了。这说明：

　　In our reasoning we depend very much onprior information to help us in evaluating the degree of plausibility in a newproblem. This reasoning process goes on unconsciously, almost instantaneously,and we conceal how complicated it really is by calling it common sense.

总结：

　　The deductive reasoning described above hasthe property that we can go through long chains of reasoning of the type ①and ②and the conclusions have just as much certainty as the premises.With the other kinds of reasoning, ③–⑤, the reliability of the conclusion changes as we go through severalstages. But in their quantitative form we shall find that in many cases ourconclusions can still approach the certainty of deductive reasoning. Even apure mathematician actually uses these weaker forms of reasoning most of thetime. Of course, on publishing a new theorem, the mathematician will try veryhard to invent an argument which uses only the first kind; but the reasoning processwhich led to the theorem in the first place almost always involves one of theweaker forms.

1.2 和物理理论的类比Analogies with physical theories

             本部分转载自豆瓣《概率论沉思录02》 https://www.douban.com/note/101705248/

   物理学中，我们知道世界如此复杂，以致不能一次性全部分析。只有把问题分解成小份，并单独研究，才可能取得进展。有时，我们能设计数学模型，体现出一个小问题的部分特性——我们把这种也称之为进展。这些就是物理理论。随着知识累积，我们建立的模型也越来越好，并能体现越来越多、越来越精确的真实世界的特性。没人知道这个过程什么时候结束，抑或会无穷地发展下去。
   在理解常识时，我们也采取相同步骤。我们并不一次性全部理解，但如果我们能建立理想化的数学模型，并体现部分特性，我们就认为有了进展。我们期待，我们所建立的任何模型，都会在未来被更复杂的模型所取代，而且我们也不知道这种过程何时会自然结束。
   这种和物理理论的对应，比单纯的方法论的类比更为深刻。通常，对于我们最熟悉的事物也是最难理解的事物。有些现象，大多数人并不知道它们的存在（比如铁和镍的紫外线光谱区别），可以用大量的数学技巧来解释——但是一片草叶是如何长出来的，这种最常见的现象并不能为现代科学所解释。相应的，我们并不能对我们的模型作过多期望；我们必须理解，要对精神活动中最常见的特点进行建模，很可能是最困难的。
   还有更多的相似性。物理中，我们看见有些领域，任何知识的进展都可以带来一系列大量的实际价值，但其本质是不可预料的。伦琴发现的X光带给医学诊断新的可能性；麦克斯韦方程式的发现，则带来全球即时通信的变革。 
我们  关于常识所建立的数学模型，也体现了实用的特性。任何成功的模型，即使只能体现少量的常识特性，也会在某些应用领域体现出其强大威力。在该领域中，问题推理涉及到如此繁琐的细节，以至于（除了我们的模型以外）别无他法可以解决。

总结：在本书中，作者尝试建立数学模型来进行问题推理