Teoria informacji
Teoria informacji – dyscyplina zajmująca się problematyką informacji oraz metodami przetwarzania informacji, np. w celu transmisji lub kompresji. Teoria informacji jest blisko powiązana z matematyką, telekomunikacją, informatyką i elektrotechniką.
Historia i charakterystyka teorii informacji
edytujZa ojca teorii informacji uważa się Claude’a E. Shannona, który prawdopodobnie po raz pierwszy użył tego terminu w 1945 roku w swojej pracy zatytułowanej A Mathematical Theory of Cryptography. Natomiast w 1948 roku w kolejnej pracy pt. A Mathematical Theory of Communication przedstawił najważniejsze zagadnienia związane z tą dziedziną nauki. Shannon stworzył podstawy ilościowej teorii informacji, dlatego późniejsi autorzy próbowali stworzyć teorie wyjaśniające wartość (cenność) informacji. W Polsce Marian Mazur stworzył oryginalną teorię opisującą zarówno ilość, jak i jakość informacji. Opisał ją m.in. w wydanej w 1970 roku pracy Jakościowa teoria informacji. Wprowadził w niej rozróżnienie między informacjami opisującymi a informacjami identyfikującymi i wykazał, że tylko liczba informacji identyfikujących jest tym samym co ilość informacji wyrażona wzorem Claude E. Shannona – wbrew panującemu dotychczas przeświadczeniu, że odnosi się on do wszelkich informacji.
Ważne pojęcia teorii informacji:
- Bit: najmniejsza jednostka informacji potrzebna do zakodowania, które z dwóch możliwych zdarzeń zaszło (zob. wyższe jednostki informacji).
- Entropia: najmniejsza średnia ilość informacji potrzebna do zakodowania faktu zajścia zdarzenia ze zbioru zdarzeń o danych prawdopodobieństwach. Wzór na entropię to:
gdzie to prawdopodobieństwo zajścia zdarzenia a to wartościowanie kodu.
Pojęcie entropii w termodynamice jest do pewnego stopnia związane z pojęciem entropii w teorii informacji.
Model statystyczny rzędu N
edytujJest to model rozkładu prawdopodobieństwa, w którym pod uwagę bierze się N poprzednich znaków:
- model rzędu 0 oznacza, że nie bierze się pod uwagę poprzednich znaków;
- model rzędu 1 oznacza, że bierze się pod uwagę jeden poprzedni znak;
- model rzędu 2 oznacza, że bierze się pod uwagę dwa poprzednie znaki;
- model nieskończonego rzędu oznacza, że bierze się pod uwagę wszystkie poprzednie znaki.
Zobacz też
edytujBibliografia
edytuj- Thomas M. Cover, Joy A. Thomas, Elements of Information Theory. Wiley Series in Telecommunications, 1991.
- Gareth A. Jones, Mary J. Jones, Information and Coding Theory. Springer, 2000.
- David J.C. MacKay, Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Ming Li, Paul Vitanyi, An Introduction to Kolmogorov Complexity and Its Applications. Springer, 1997.
- Marian Mazur, Jakościowa teoria informacji. WNT, Warszawa 1970, s. 223.
Linki zewnętrzne
edytuj- Teoria informacji (materiały dydaktyczne MIMUW na studia informatyczne II stopnia)
- Paweł Przybyłowicz: Wstęp do teorii Informacji i kodowania. [dostęp 2008-06-12]. [zarchiwizowane z tego adresu (2009-10-07)].
- Information theory (ang.), Encyclopedia of Mathematics, encyclopediaofmath.org, [dostęp 2023-06-18].
- Information theory (ang.), Routledge Encyclopedia of Philosophy, rep.routledge.com [dostęp 2023-05-12].