信息論是運用概率論與數(shù)理統(tǒng)計的方法研究信息、信息熵、通信系統(tǒng)、數(shù)據(jù)傳輸、密碼學(xué)、數(shù)據(jù)壓縮等問題的應(yīng)用數(shù)學(xué)學(xué)科。
信息論將信息的傳遞作為一種統(tǒng)計現(xiàn)象來考慮,給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領(lǐng)域。這兩個方面又由信息傳輸定理、信源-信道隔離定理相互聯(lián)系。
香農(nóng)被稱為是“信息論之父”。人們通常將香農(nóng)于1948年10月發(fā)表于《貝爾系統(tǒng)技術(shù)學(xué)報》上的論文《A Mathematical Theory of Communication》(通信的數(shù)學(xué)理論)作為現(xiàn)代信息論研究的開端。
信息論與編碼理論系統(tǒng)地討論了香農(nóng)信息理論中的基本概念和相關(guān)問題,介紹了信源、信道、信源編碼、信道編碼的一般原理和基本方法。本套信息論與編碼視頻教程包括緒論、信息的統(tǒng)計度量、離散信源、離散信道、連續(xù)信源和連續(xù)信道、無失真信源編碼、限失真信源編碼、信道編碼。