Семахин А.М. Теория информации

Учебное пособие. — Курган: Курганский государственный университет, 2023. — 165 с. — ISBN 978-5-4217-0643-4.В учебном пособии рассматриваются кодирование дискретных источников, преобразование сигналов, эффективное кодирование, помехоустойчивое кодирование. Для закрепления теоретических знаний и приобретения практических навыков в решении задач в учебном пособии приводятся контрольные вопросы и варианты заданий для выполнения самостоятельной и контрольной работы.
Учебное пособие рекомендуется для проведения занятий по дисциплине «Теория информации» в учебном процессе со студентами, обучающимися по направлению подготовки «Информатика и вычислительная техника», и может быть использовано специалистами, занимающимися разработкой и исследованием методов кодирования, передачи по каналам связи и восстановления сообщений.Введение.
Количество информации.
Основные понятия и определения.
Пример выполнения варианта задания на ПЭВМ.
Контрольные вопросы.
Варианты заданий.
Информация и сигналы.
Классификация сигналов.
Модель системы связи.
Виды информации для дискретных случайных величин.
Виды информации для непрерывных случайных величин.
Контрольные вопросы.
Варианты заданий.
Энтропия. Кодирование дискретных источников.
Дискретные источники сообщений.
Собственная информация.
Дискретные вероятностные ансамбли.
Случайные величины. Закон больших чисел.
Количество информации в сообщении.
Аксиомы Хинчина и Фаддеева.
Условная информация. Условная энтропия.
Взаимная информация.
Виды энтропии для дискретных случайных величин.
Виды энтропии для непрерывных случайных величин.
Выпуклая функция многих переменных.
Пример выполнения варианта задания на ПЭВМ.
Контрольные вопросы.
Варианты заданий.
Информационные характеристики систем.
Основные сведения.
Пример выполнения варианта задания на ПЭВМ.
Контрольные вопросы.
Варианты заданий.
Преобразование сигналов.
Теорема Котельникова.
Применение теоремы Котельникова.
Дискретизация по критерию наибольшего отклонения.
Дискретизация с использованием интерполирующих многочленов Лагранжа.
Дискретизация с использованием экстраполирующих многочленов Тейлора.
Адаптивная дискретизация.
Квантование сигналов.
Квантование сигналов при наличии помех.
Геометрическая форма представления сигналов.
Контрольные вопросы.
Варианты заданий.
Эффективное кодирование.
Теорема Шеннона о кодировании для канала без помех.
Требование префиксности эффективных кодов.
Методы построения префиксных кодов.
Метод Фано.
Метод Шеннона.
Метод Хаффмана.
Метод Шеннона – Фано.
Методы эффективного кодирования последовательности знаков.
Недостатки эффективного кодирования.
Технические средства кодирования и декодирования эффективных кодов.
Теоремы кодирования источников сообщений.
Контрольные вопросы.
Варианты заданий.
Универсальное кодирование источников.
Постановка задачи универсального кодирования.
Контрольные вопросы.
Варианты заданий.
Алгориитмы кодирования источников, применяемых в архиваторах.
Метод Лемпела – Зива.
Метод Лемпела – Зива – Велча.
Контрольные вопросы.
Варианты заданий.
Кодирование информации при передаче по дискретному каналу с помехами.
Основные понятия и определения.
Постановка задачи помехоустойчивого кодирования.
Модели каналов связи.
Классификация методов помехоустойчивого кодирования.
Корректирующие коды.
Линейные блочные коды.
Код Хэмминга.
Код Рида – Малера.
Код Боуза – Чоудхури – Хоквингема.
Циклические коды.
Свёрточные коды.
Пример выполнения варианта задания на ПЭВМ.
Контрольные вопросы.
Варианты заданий.
Контрольная работа.
Назначение, цели и задачи контрольной работы.
Требования к контрольной работе.
Порядок выполнения контрольной работы.
Требования к отчёту по контрольной работе.
Контрольные вопросы.
Варианты заданий.
Заключение.
Библиографический список.
Приложения.