Блинова И.В., Попов И.Ю. Теория информации

Учебно-методическое пособие. — СПб: Университет ИТМО, 2018. — 84 с.Предлагаемое пособие предназначено для студентов академического бакалавриата. В пособии разобраны следующие вопросы: энтропия как мера степени неопределенности, измерение информации, энтропия и информация для непрерывных систем, приложение теории информации к задачам передачи сообщений, передача сообщений при наличии помех, коды, обнаруживающие и исправляющие ошибки, семантическая информация.
Рекомендовано к использованию в Университете ИТМО по направлению подготовки 01.03.02 в качестве учебно-методического пособия для реализации основных профессиональных образовательных программ высшего образования бакалавриата.Содержание
Предмет теории информации
Энтропия как мера степени неопределенности
Определение энтропии
Свойства энтропии
Энтропия сложной системы
Условная энтропия
Объединение зависимых систем
Измерение информации
Определение информации
Свойства информации
Информация об одной системе, содержащаяся в другой системе
Частная информация о системе
Энтропия и информация для непрерывных систем
Энтропия для непрерывных систем
Условная энтропия для непрерывных систем
Энтропия объединенной непрерывной системы
Информация для непрерывных систем
Приложение теории информации к задачам передачи сообщений
Виды информации
Основные определения
Экономность кода. Наилучший равномерный код
Коды Шеннона-Фано и Хафмена
Блоковые коды
Обобщение для k-ичных кодов
Словарно-ориентированные методы кодирования. Метод Лемпелла-Зива
Сжатие информации с потерями
Общая схема передачи сообщений по линии связи. Пропускная способность линии связи
Передача сообщений при наличии помех
Математическое описание линии связи с помехами
Пропускная способность канала с помехами
Коды, обнаруживающие и исправляющие ошибки
Избыточность кодовых обозначений
Прием проверки на четность для обнаружения одиночной ошибки
Прием проверки на четность для обнаружения одной или двух ошибок
Матричное кодирование
Алгебраическое кодирование
Циклические коды
Приложения:
Таблица величин η(p)=-p log p
Семантическая информация
Список литературы