一、从彩灯谈起
我们知道彩灯是由好几个灯泡串起来的。要是其中有一个灯泡是坏的，则整串的灯泡就都不会亮了。如果手边的这串彩灯不亮了，我们该怎么样才能尽快的找出坏的来呢?为了简化讨论，我们假定彩灯里一共有m个灯泡，而其中只有一个是坏的。通常的检验办法是把测仪的两根引线接到彩灯线路中的两点，以断定坏灯是不是在这两点之间。在这样的做法下，读者不难看出，用测仪检验m次便足以找出坏灯。（依次的把测仪接在每一盏灯的两边）。很自然的，我们要问，至少要检测几次才能保证找到坏灯。
如果m =2 k，k为一非负的整数，则我们可以证明：至少需要测k次，而且有方法在k次内找出坏灯。（只要想一下k =0, 1的情况，然后用归纳法处理一下即可。即使一时想不出来，请不要流连其中！）
如果我们认为这个结果不错，而自觉满意的话，容我们提醒自己：在文明的进展中，重要的突破常常是归功于那些能从简单的事理中跨出一步的人；而这正是一般人懒得举足的一步。
让我们看看，我们所得到的简单结论，到底说明了什么。k =0时，只有一个灯，这时无需测，坏的就是这一个；这是确定的情况。k =1时，只需测其中一个灯的两端，就知道坏的是哪一个；在未测之前，每个灯都有坏的可能性，机率各为
。当k增大时，在未测之前，每个灯坏的可能性变小，要找出坏灯就变难了。用机率论的术语来说则是：当k增大时，坏灯所在的位置的随机性也随着增大。
各位不觉得上文中的“随 ??机性”使用得太含糊了吗？戴着瓜皮帽的秀才爷爷会说，“含糊不要紧，能会意就行，就行。”但是，有点数学训练的人就会追问：随机性能不能量？
至少，在上面的例子中，随机性是可以量的。我们知道，当m =2 k时，找出坏灯至少需要检测k次才行；因此用k来表示，坏灯所在位置的随机性是极为自然的：把每次的检测想成是我们所得到的一个讯息，（或“一拍”讯息，更为传神！），则总共需要k拍讯息才能定出坏灯的位置。
把这种论法推广到比较一般的随机性问题，就是讯息理论的内容。它是美国数学家兼工程师显农氏(Claude Shannon)在1947～1948年间提出的。显农氏提出讯息理论的目的是解决讯号传递问题上的一些困难；近年来讯息论已成功地应用到许多科学的分枝；特别是它的主要概念──试验的熵数(Entropy of Experiements) ──经苏联数学家AN Kolmogoroff的修订之后在数学上有了极为突出的贡献。
本文的目的有二：一来浅介讯息理论，二来借讯息理论之介绍说明机率论的方法。
首先，我们回忆一下机率的基本概念。
二、机率论的基本概念
我们假定读者具有最基本的机率论的常识。本节的目的是利用简化的一般性讨论来得到我们所需要的简单模型──有限机率空间。机率空间与实际问题之间的关系是初学者最感迷惑的东西;初学者常常问：为什么需要机率空间？的确，在通常的实际问题中，事件的机率都非常显明易见，我们只不过是采用一些计算机率的“规则”，以某些已知事件的机率来求出另外一些事件的机率。界定机率空间似乎是小题大作，多此一举，徒然扰乱方寸（心）！关于这个问题，我们要从两个层面来做总结的说明。第一个层面是计算机率时所采用的“规则”的合法性。这些规则所依靠的一些概念（例如随机独立性）常依各人的诠释而异，因而产生了许多诡论。（请参阅熊昭教授文：〈 〉──原《数播》编者）机率空间的提出就在建造一个适当的体系，使得相关的主要概念都能具有明确的意义，并且把大家默许的，不经意所采用的计算规则做一个清楚的说明，以确定它的角色与地位。第二个层面是我们所建造的机率空间到底跟原先所出发的实际问题有什么关系，是不是充分的描述了原先的问题。这是一个哲学性的问题；对于科学工作者而言，这个问题的掌握便是实践。其实，每一门数学都有这两个层面；机率论的这两个层面较难领会，一来机率论的年龄尚轻，我们的实践还不充分，二来机率论的经验基础和其它数学比较起来，是在人类生活体验中属于较高层面的。这些问题的讨论不是本文的目的。我们的重点是在传达给读者一个简单而有用的观点：在观察随机现象时，我们得到了许多资料，将这些资料去芜存菁，最后所列出来的简明“图表”就是机率空间。换句话说，一个机率空间就是观察某个随机现象的实验总结。
在下面的讨论中，例子很少。我们相信由读者自己提供例子，更易达到本节的目的。
在电阻为一欧姆的电阻器的两端施以一伏特的电压，然后量一量通过的电流强度，即得一安培；如果施以二伏特之电压，量得的电流强度则为二安培。在这个实验中，决定电流强度的要件是电阻器两端的电位差；由于电位差是我们能控制的，所以电流强度也是我们所能控制的。但是有的实验却不这样，它的结果依着一些我们不知道的，或者我们无法控制的因素而变化；我们无法预知结果。例如随手丢掷一枚硬币时，我们无法预知最后出现的是正面还是反面，因为它是由硬币丢出瞬间的状态、所落地面以及硬币的各种物理性质决定；而这些因素，对随手丢出硬币者来讲，是未知的或无法控制的因素。另外，观察孕妇生男生女，观察丢掷骰子出现的点数，也就是属于这类性质的实验。我们把这类实验称为随机实验，或简称试验。
我们可以把试验看成是对其一随机现象的片面观察，例如在丢掷两颗骰子时，观察它们出现点数之和，或观察点数和为奇或为偶数，都是对“丢掷两颗骰子”这个随机现象的片面观察。科学上只考虑能够一再地予以独立观察的现象，因为只有这种现象才有可能做科学分析。我们所考虑的随机现象也必须如此。譬如说，丢掷铜板便是一个可以重覆独立观察的现象，不同的人可以各自独立地丢掷铜板，观察铜板最后出现的面，或者同一个人也可以一再丢掷同一铜板，这些都不会影响现象本身的状况。我们在这儿介绍的是机率论的简单部份，因此此段假定试验的可能结果只有有限多个。我们知道试验的目的是在了解现象，如果我们无法从试验的各个结果找出任何规律，那么就不可能对相关的现象提出科学性的结论，这种现象对人们而便是迷惑的现象，须要做进一步的观察才行。在这里，我们只考虑具有下述规律的试验（以后称之为随机规律性）：
假设A 1 , A 2 ,…, A n为某一试验的所有可能结果。如果在多次独立地观察这个试验的结果时，各个结果A i出现的次数与试验次数之比围绕在某个固定数p i的附近，则我们说这个试验具有随机规律性。p 1 , p 2 ,…, p n这些数表现了A 1 , A 2 ,…, A n这些结果出现的规律性。当然，
，
。p i称为A i出现的机率，或简称为A i的机率。A 1 , A 2 ,…, A n及p 1 , p 2 ,…, p n是多次独立地观察试验所得资料的总结，因此我们用
表示这个试验，或简记为之
为了简单起见，我们只考虑某个随机现象的有限多个试验。在下面的讨论中，我们先固定一个随机现象；假设
,…,
，代表m个该随机现象的试验。我们用符号把
写成
=
这个试验里，一共有ni种可能的结果，我们分别把它们用 A 1 ( i ) , A 2 ( i ) ,…, A n ( i )表示出来。另一方面，我们可以把这m个试验合在一起，看成是一个新的试验。在新的试验里，观察的结果将如下表示： ( A J 1 (1) , A J 2 (2) ,…, A J m ( m ) )，其中
。也就是说，在我们用这m个试验来观察同一随机现象时，如果依次观察到结果分别是 AJ 1 (1) , A J 2 (2) ,…, A J m ( m )，则把它们集在一块，看成是一个新的试验的结果。我们用
来表示以所有的( A J 1 (1) , A J 2 (2) ,…, A J m ( m ) )为可能结果的这个新的试验。
举个例吧！在随手丢掷两颗可分辨的骰子时，我们用
及
分别表示观察第一颗及第二颗骰子出现的点数。即
其中A i (1)、A i (2)分别表示第一颗与第二颗骰子出现之点的情形。这时，
平常我们是把 < A i (1) , A j (2) >写成( i , j )，把
写成
,…,
想成是观察同一随机现象的m个仪器的记录，那么
，就是这m个仪器的综合记录。以后我们将
的每个可能结果称为基本事件。当然，在观察
时，有一个而且仅有一个基本事件出现。为了方便起见，我们将每个基本事件视为一点，而将所有这些点合拢起来记作{
,
,…}，这是个具有
个点的集合，记之为Ω。Ω的任一子集A可用来表示落于A的那些基本事件的联合事件，联合事件A发生的意思是指A中的某个基本事件发生了。在上面随手丢掷两颗骰子的例子中，{(1,1),(1,2),(1,3),(1,4),(1,5),(1,6)}即表示第一颗骰子出现1点的事件。从现在起就称Ω的子集为事件，Ω的空子集
为不可能事件，Ω本身为必然事件，而{
}为基本事件。为了符号上的方便，我们常常不分辨{
}和
。如果A , B为两个事件，则
称为A、B的联合事件，
称为A、B的共同事件；
时，称A、B为互斥事件。
我们强调过，我们只考虑具有随机规律性的试验，因此，我们要求Ω的每个点
具有机率p i，当然，如
,
。如果
，令
，这儿
是指所有落于A的基本事件的机率的和；P ( A )称为事件A的机率。根据前面所说的p i的意义，就知道在多次独立观察试验
时，事件A出现的频率将会围绕于P ( A )的附近。
机率论的目的是在研究随机现象里经验规律的数学关系及其应用。由于上述的集合Ω与基本事件的机率综合地表达了多次独立观察
,…,
所得到的经验规律，原先随机现象的规律变成了事件的机率，因此，机率论的目的也就是在研究机率所满足的数学关系及其应用；就好像三角学研究的是三角函数间的关系及其应用一样。
从数学的观点来看，我们的起点是一个有限集合Ω，而对Ω的每一子集A，我们都附上了一个数P ( A )，这些满足下述的关系：
(1)
,
,
(2)如果A、B为Ω之子集，且
，则
换句话说，有限集合Ω及满足(1) ??和(2)的函数P就是数学的起点。Ω和P合起来称为机率空间，简记作(
)。这时的机率空间(
)可以不具有任何实际意义，它仅仅是个数学系统；虽然如此，我们仍将(
)解释为对某个随机现象作有限多个试验所观察到的经验规律的总结，因此Ω的点仍然称为基本事件，Ω的子集称为事件，P ( A )称为A的机率，……。我们在机率空间里新得到的结论，在经过这样的解释（翻译）之后，就可以用来描述和预测某些随机现象，这点非常重要，否则机率空间的研究就像是下棋，玩牌了，无法在人类文明的发展中产生积极的作用。我们抽象地研究机率空间，是希望能够一目了然地看出机率与其相关概念间的关系；免得被形形色色的个别例子掩盖了要点。我们须要适当的解释机率空间，才能走向正确的方向（了解随机现象），使得我们的心智活动不至于沦为单纯的数学游戏。这一点，各门数学都一样，我们不想多言。
以下我们形式地定义一些最有用的概念，而将唇齿相关的直觉意义，留给读者自己去补上。（同时请参阅杨维哲先生撰：〈〉──原《数播》编者。）
[定义]
(1)如果
；则我们说事件A与B互为随机独立。（或简称独立）。
(2)如果
，则
称为A在已知B时的条件机率，记作P ( A|B)；
(3)如果A 1 ,…, A n为n个互斥的事件，而且
= Ω。则称A 1 ,…,A n组成Ω的一个分割，并记之为〈A 1 ,…, A n〉。分割又称试验，这时为了明白表示每个事件A i的机率，我们常把试验记作
(4)设
为两个试验，则
称为α和β的合成试验，记作
如果任何A i和任何B j都是随机独立的，即
, i =1 ,…, n ; j =1,…, m。则称α和β互为随机独立（或简称独立）。
(5)我们把定义在Ω上的任一实数值函数叫做随机变数。通常用x , y , z等小写字母来表示随机变数。假设x是随机变数，则
称为x的期望值，记作Ex；如果r是个实数，则用{ x = r }来表示{
}以节省笔墨，{ x = r }是x取值为r的事件。假设r 1 ,…, r n为x所可能取的值，则< {x= r 1 } ,…, { x = r n }>称为由x所决定之试验。如果x所决定的试验与y所决定的试验是独立的话，则称x与y互为独立的随机变数（或简称x与y为独立变数）。
(6)为了方便起见，如果
是个事件，则如下定义的函数X B称为B的指示函数：
，如果
；否则
。如果x是个随机变数，<{x = r 1 } ,…, { x = r n } >是x所决定的试验，则x可表成
而
三、试验的熵数
现在我们要简单地讨论讯息论里最根本最重要的概念──试验的熵数。至于它的应用，则要到下一节再讨论。
假定我们现在用某个试验来观察一个特定的随机现象，我们自然会问自己：能不能找到一个适当的量来度量该试验所能提供的讯息(Information)？换一个角度来看，在试验之前，我们无法预知会出现什么结果，因此我们说试验具有随机性；试验之后我们知道结果了，随机性就消失了，消失了的随机性可以看成是我们所获得的讯息。所以，事实上，我们等于在问：能不能找到一个适当的量来度量该试验的随机性？
假定A 1 , A 2 ,…, A n是某个试验的所有可能结果。如果 P ( A i ) > P ( A j )，则“A j出现”比“A i出现”要使我们惊奇，就如像稀有的社会事件具有非常的新闻价值一样。也就是说，机率不同的结果会提供不同的讯息。因此，用来量度该试验所能提供的讯息（或试验的随机性）的那个量，必须是各个结果所提供的讯息的某种平均值。首先，我们来看看如何度量个别事件所能提供的讯息。我们假定有一个这样的量，而用I ( A )来代表事件A所能提供的讯息，则I ( A )应当满足：
(1)
；
(2) I ( A )完全由A的机率决定，换句话说，
，
是个定义在0到1之间的函数；
(3)如果
，则
。
条件(1)仅仅表示取定一个适当的准点；条件(2)是强调机率的特点，我们说过事件的随机规律性是由它的机率来代表的，因此和事件有关的重要数量也该是完全由事件的机率来决定。现在我们进一步考虑两个独立事件A和B。
可以解释为在A出现的情况下，B又出现的事件，但是A和B是独立的，由A出现所得到的讯息，应该无法帮助我们预测B出现的可能性，因此已知A出现后，又知道B出现所提供的讯息，应当为A , B各别出现所得讯息之和，亦即
。相应地，我们要求
满足：
(4)
,
将(1)、(2)、(3)，和(4)综合起来，就是一个定义[0,1]在上、满足(4)的递减函数
。这种函数很多，譬如说，
，
，a为某个正实数。这儿取不同的a仅仅表示选取不同的单位长度。在下面，我们取
，也就是令
。
在进一步讨论试验的讯息之前，我们回头看看1.的例子。我们有2 k个灯泡，其中一个坏了；在检测之前，我们认为每个灯坏的机率都是一样的，都是2 - k。令A n为第n个灯泡坏了的事件，则
。这时，测出任何一个坏灯所能提供的讯息皆为k，因此k度量着测出坏灯位置所获得之讯息，也就是坏灯位置的随机性。一般来说，如果试验中的每个结果具有同样的可能性（出现的机率一样），则
代表着该试验所提供的讯息，其中n是所有可能结果的个数。譬如说，丢掷一枚非偏倚铜板，观察正面成反面出现所得的讯息为
。历史上，第一个考虑试验熵数的人是美国电讯工程师Hartley（1928年），他把试验熵数定义为
。他只考虑到试验中可能出现的结果的个数，却忽略了每个结果出现的机率。这个概念在1947～1948年间由显农氏予以修正，而成了目前数学家和工程师所采用的形式。
假定A 1 , A 2 ,…, A n是某个试验的所有可能结果。我们知道事件A i所能提供的讯息是
。因此，观察一次试验所得到的讯息是个随机变数。这个随机变数的期望值就是多次独立观察该试验所得的讯息的平均值。显农氏把这平均值叫做试验的熵数。形式上说，如果
是机率空间
的一个试验，则α的熵数
是定义为
如果我们用X B表示Ω中事件B的指示函数，则
，其中
。要是在
的定义中，某个事件A i的机率P ( A i)=0，则令
。这是有道理的，因为
，另外，如果我们令
可以简单的写成
好了，在这些紧凑的抽象讨论后，我们来回头看看那串彩灯吧！依照上述的符号，我们要问的是试验
的熵数
。根据刚才的定义。
这正是我们最初的意思。
试验的熵数具有下述性质：假设
的两个试验，则
(i)
;
的充要条件是某个A i为必然事件，而其余的均为不可能事件。
(ii)
;
的充要条件是
。
(iii) 如果α 和β 是独立的，则
(i)的证明很简单，(ii)的证明与机率无关，因此，我们略掉它们，而来证明(iii)。根据定义， 。由于α与β是独立的，
因此
性质(i)可解释为：如果在某试验中，会有一个必然事件产生，则观察这个试验是不会提供任何讯息的，也就是说，这个讯息没有随机性。当着试验中的各个事件具有同样的机率时，我们把它叫做非偏倚试验。性质(ii)告诉我们，在具有n个事件的试验中，非偏倚试验的随机性最大，其熵数为
。这是合乎直觉要求的；因为，在观察偏倚试验时，我们是预先就知道了某些事件比较容易发生，而另一些事件是比较不容易发生；这种含糊的预知就说明了偏倚试验的随机性比较小。其实，如果偏倚到 ??了极点，就没有随机性了，而这正是性质(i)所要描述的。依照前而的说法，
指的是同时观察α和β两个试验，依此，性质(iii)可以如下叙述：如果α和β是独立的试验，则同时观察α和β所得的讯息为分别观察α和β所得讯息的和。总结起来，我们所定义的试验的熵数的确是描述了我们所预期的各项简单性质，这些就注定着它会是一个重要而有用的概念。
在介绍熵数的其他性质之前，我们先谈谈条件熵数。假设
也可以看成一个试验。这个试验是在B已经发生的情况下来观察α的试验。我们把这个试验记为
。试验
的熵数
表示看在事件B已经发生的情况下，试验α所留存的随机性。例如B = A i，则在A i出现的情况下，α已不具有任何随机性，因此
。（这点可以很容易的从性质(i)导出。）
称为试验。相对于事件B的条件熵数。假设
B j发生时，x就是
。我们把x的期望值记为
。
量度的是在观察了试验β之后，α所留存下来的随机性。我们把
叫做α相对于β的条件熵数。显然的，
，熵数的另外两个重要性质是：假设α,β是两个试验，则
(iv)
(v)
性质(iii)是性质(iv)的特例，而性质(iv)的证明又跟性质(iii)的完全一样，只要把
换成
就行了。性质(v)的证明与机率概念无关，所以省略。不过，我们要提醒读者一点：在直觉上，性质(v)是极为显然的，因为在观察β之后，我们多多少少会得到些讯息，这些讯息只可能减少α的随机性。另外，从(iii)和(iv)可以看出，如果α和β是独立的，则
。
从上段的讨论可以看出
量度的是试验β在观察了试验α之后所减少的随机性。因此，我们可以把
看成是α提供给β的讯息。我们把
记为
。有时候
叫做β存于α中的讯息。由于 ，我得到下面的关系式：
在应用的时候，β 是我们要研究的对象，α 是为了消除β 的随机性而考虑的辅助试验。这些都将在下面详细讨论。
四、应用
(一)我们要利用第三节的概念来回答第一节的彩灯问题。如上所述，m代表彩灯中灯泡的个数。如果我们用γ来表示描述坏灯位置的试验，则
。在第一节中，我们是把测仪的两根引线接到线路中的两点以断定两点之间有没有坏灯，这个做法其实也是一个试验，它的可能结果是坏灯在两点之间与坏灯在两点之外。我们来算算至少要检测几次才能保证找到坏灯。先假设k次可以保证找到。把这k次的试验分别用
,…,
表示。由于
只有两个可能结果，所以
(第三节之(ii))。k次就能保证找到坏灯的意思是
由于
所以
。要使得k愈小愈好，就得要求
愈大愈好；用俗话说，就是要使得
能够对γ提供愈多的讯息愈好。假设在
中，两根引线之中有n个点，则
其中A是指坏灯在两根引线之内，B是指在引线之外。因此，
所以我们得到
(1)
(1)式的右边刚好是一个含有两个试验结果的试验的熵数，因此，
的极大是发生在
的时候。根据这些，我们知道要使
发生最大的功用就该使
尽量的接近
。譬如说，把
的两根引线分接在线路的一个端点与线路的中点（或近似中点）便合乎上面的要求了。这样做还有一个优点：可以使得
的情况与
类似。继续这样的测下去，只要测
次就能找到坏灯；其中[
]是大于或等于
的最小的整数。当m =2 k时，
，和我们起初的结论一样。
(二)某地有甲??、乙两村，甲村的人只说真话，乙村的人只说假话。两村村民，你来我往，十分平常。如果你走到了这个地方，却不知是到了那一个村子，那么你该怎么样的向村民请问，以便尽早知道到底是到了甲村还是乙村？（我们假定你只向第一个碰到的人请教，并假定这人只说“是”与“否”。）你有没有办法同时问出这人是甲村的还是乙村的。
首先，我们看看至少要问几个问题才能确定是到了那一个村子。我们分别用A、B表示“到了甲村”和“到了乙村”这两个事件。因为事先毫无风声，所以
。令
假定我们问了某个问句。我们知道村民回答时只可能说“是”与“否”，而且说“是”与“否”的可能性一样大。令C表示“是”，D表示“否”，
。
依照上面的解释，我们的目的便是要找一个好的α，以使得
的值尽量的大。要是能使得
，那就太好了，那就表示α能够消除β的随机性，α能够告诉我们是在那个村子。
我们先看看能不能找到这样的α。由于
及
的一个充要条件是
及
。由于第三节之(i)，
只发生在
或
的时候。同时的，
只发生在
或
的时候。因此，我们得到两个
的充分条件：
(1)的意思是说所问的问句必须具有下面两个性质：
(a)如果是在甲村的话，问句的答案必须是“是”。
(b)如果是在乙村的话，问句的答案必须是“否”。
在这样的指引下，读者不难看出，“你住在这个村子吗？”便是一个好问句。只要这么问一下，便可以知道是在甲村或乙村了。此外，我们只要问一下“一加一是四吗?”就可知道所请教的人是甲村的还是乙村的。
从上面的讨论我们知道两个问句是够了，但是，是不是一定要两个问句呢？
我们起初的问题是要用一些问句来判断下面四个情况中那一个是对的：“在甲村，问甲村人”，“在甲村，问乙村人”，“在乙村，问甲村人” ，“在乙村，问乙村人”。在问句提出之前，四个情况都是可能的。我们把这个试验用γ来表示。因此
。假设k个问句
,…,
，可以找出答案，则
所以至少需要两个问句。这样就完全解决了这个问题。
(三)现有九枚外表一模一样的铜币。其中一枚是假的。如果我们想要用天平把它找出来，并且确定它是较重或较轻，请问至少要量几次才办得到？
所谓用天平来找就是把相同数目的铜币分别放在天平左右的秤盘上，观察天平的状态，是平衡，右倾还是左倾，然后再下判断。这是一个试验，它的熵数不会比
大。
我们把找出假币，并确定它是较重或较轻的试验用γ来代表，因为每一枚铜币都可能是假的，也都可能较重或较轻，而这些可能性又都一样大，所以
。假设用天平秤k次便可找出假币。我们把这k次的试验分别用
,…,
来表示。则
但是
所以
也就是说，至少要秤3 次才行。我们来看看3 次是不是真的够了。
首先，我们希望
能够尽量的大。我们把
写成
，所以
，
。而
的极大是发生在
的时候，也就是i =3时。因此，第一次的秤法是在秤盘上各放3个铜币，然后分别考虑：
(a) B发生。这时候假币不在秤盘上，读者不难看出再量两次就能找出假币。
(b) R发生。这时候假币在秤盘上。请注意，我们不能丢掉天平右倾这个资料。因为如果丢掉了它，我们从
得到的就只剩下假币是在天平上这个事实。这件事发生的机率是
，因此它所提供的讯息是
，比
所提供的少了一拍。
现在我们要在R为已知的条件下，尽量的把γ的随机性除掉（这时γ是六枚铜币中的试验）。我们用
表示第二次的量法。跟以前一样，我们希望
尽量的大；也就是说，在R的条件下要求
能够提供最多的讯息。因此，在R的条件下，
为平衡，右倾及左倾的机率要各为
。
为了清楚起见，我们把左边的三枚分别叫做
、
和
，右边的三枚分别叫做
、
和
，要使得在R的条件下，
为平衡，右倾及左倾的机率一样，我们可以如下安排：拿掉
和
；把
和
相互交换；保持
，
不动。在这样的量法之下，如果天平是平衡的，则假币便在
与
之中；如果天平仍旧右倾，则在
与
之中；如果天平变为左倾，则在
与
之中；而且，如果假币在
、
、
之中，则假币比真币轻，否则比真币重。根据这些，再量一次便可完全解答原来的问题。
(c) L发生。论法与(b)相同。
因此，量三次便可完成鉴定工作。
本节所讨论的例子虽然都是趣味性的问题；但是已经表现出了讯息论的一般用法。较严肃的应用问题（如讯息传递的工程问题），常常可以仿照第三节来处理，只是可能比较复杂，须要更精细的分析。以后有机会时，我们再介绍一些讯息论在讯息传递问题上的简单应用。
