Теория информации - устанавливает основные границы возможностей систем передачи информации, задает исходные принципы их разработки и практического воплощения.
Теория информации - это раздел математики, исследующий процессы хранения, преобразования и передачи информации. В основе его лежит определенный способ измерения количества информации. Основные свойства информации описывает математическая модель, содержащая многие характерные особенности информационной меры. Физически передачу информации можно представить как индуцирование в приемном устройстве требуемого физического состояния. Суть передачи заключается в воспроизведении на выходе канала связи переданного сообщения. Способность канала связи передавать информацию характеризуется некоторым числом – пропускной способностью (емкостью), равной логарифму эффективного числа сообщений, различимых на его выходе.
Процесс передачи информации можно считать надежным, если скорость передачи сообщений меньше пропускной способности канала. В противном случае надежная передача информации невозможна. Основной результат теории информации состоит в утверждении: если энтропия источника меньше пропускной способности канала, то на его выходе исходное сообщение может быть воспроизведено со сколь угодно малой ошибкой; если же энтропия источника превышает его пропускную способность, то ошибку сделать малой невозможно.
