消息分为两大类：离散消息和连续消息。产生离散消息的信源为离散信源，产生连续消息的信源为连续信源。 计算机把连续的消息转换成离散的消息来处理 由于计算机或者人处理能力的限制，现实中处理的都是离散消息 卫星电视安装可以用连续函数给离散消息建立概率模型 离散信源只能产生有限种符号，离散消息可以看成一种有限个状态的随机序列，用随机过程的统计特性如相关函数、期望、方差表示 直观经验告诉我们，消息出现的可能性越小，则此消息携带的信息越多 Hartley首先提出采用消息出现概率的对数测度作为离散消息的度量单位 I(xi)=-log(1/P(xi)) (2-3) 当对数以2为底，信息量单位为bit，对数以e为底，信息量单位为奈特nit