In the information theory community, the following “historical” statements are generally well accepted: (1) Hartley did put forth his rule twenty years before Shannon; (2) Shannon’s formula as a fundamental tradeoff between transmission rate, bandwidth, and signal-to-noise ratio came out unexpected in 1948; (3) Hartley’s rule is inexact while Shannon’s formula is characteristic of the additive white Gaussian noise channel; (4) Hartley’s rule is an imprecise relation that is not an appropriate formula for the capacity of a communication channel. We show that all these four statements are somewhat wrong. In fact, a careful calculation shows that “Hartley’s rule” in fact coincides with Shannon’s formula. We explain this mathematical coincidence by deriving the necessary and sufficient conditions on an additive noise channel such that its capacity is given by Shannon’s formula and construct a sequence of such channels that makes the link between the uniform (Hartley) and Gaussian (Shannon) channels.
Logo após Claude E. Shannon, em 1948, ter publicado o artigo A Mathematical Theory of Communication, diversas áreas se valeram de seus escritos, principalmente por ele ter desenvolvido uma fórmula para “medir informação” em seu modelo matemático de comunicação, denominando-a entropia. Shannon optou pela justificativa operacional da existência de sua fórmula de entropia. Por conseguinte, houve uma expansão das áreas de investigações matemáticas sobre as possíveis caracterizações de medidas de informação. Neste texto o objetivo é focar nas estruturas matemáticas que fundamentam o conceito de medidas de informação. Estima-se com isso, no sentido didático, que haja esclarecimentos com relação às múltiplas leituras do conceito de entropia.
1 January 2019 in Revista Professor de Matemática On line