Акулиничев Ю.П., Дроздова В.И. Теория информации

Учебное пособие. — Томск: Томский межвузовский центр дистанционного образования, 2005. — 108 с.Активное изучение любой математической дисциплины невозможно без решения задач, и теория информации не является
исключением. Данная книга охватывает важнейшие направления статистической теории информации, но основное содержание составляет материал, иллюстрирующий методы классической теории информации К. Шеннона. Кроме этого, в разделе 5 приводится ряд задач на применение мер информации по Р. Фишеру и С. Кульбак.Введение.
Сигналы и помехи в системах передачи информации.
Дискретные каналы.
Средняя собственная информация (энтропия).
Средняя взаимная информация.
Информационные характеристики случайных последовательностей.
Непрерывные каналы.
Относительная (дифференциальная) энтропия.
Информационные характеристики непрерывных случайных функций.
Кодирование. Пропускная способность канала.
Основные определения. Пропускная способность канала.
Кодирование в дискретных каналах без шума.
Кодирование в дискретном канале с шумом.
Другие меры информации.
Информация по Кульбаку.
Информация по Фишеру.
Заключение.
Список рекомендуемой литературы.
Приложения.