Файл: infoteh3part.docx

ИНФОРМАЦИОННАЯ ТЕХНИКА. ЧАСТЬ 3.

Королев С.А.

каф. 2

Литература:

Темников Ф.Е. и другие «Теоретические основы информационной техники» М. «Энергия», 1979г.

Филипчук Е.В., Пахомов С.В. «Теория информации и помехоустойчивое кодирование» М. МИФИ, 1989г.

Филипчук Е.В., Королев С.А. «Оценки эффективности алгоритмов обработки информации» М. МИФИ, 1985г.

Филипчук Е.В., Королев С.А. «статфильтрации в ИИС» М. МИФИ, 1987г.

Куликовский Л.Ф., Мотов В.В. «Теоретические основы информационных процессов» М. «Высшая школа», 1982г.

Сергиенко А.Б. «Цифровая обработка сигналов» СПб. «Питер», 2007(8)г.

Информационная теория сигналов и систем Информационные характеристики сигналов, каналов связи и систем контроля

Обобщенная структура ИИС

Существуют два подхода к оценке неоднозначностей преобразователей:

1. Оценка погрешности преобразований

2. Оценка информационных характеристик сигналов и преобразователей

1. Оценка погрешности (предмет метрологии)

Для непрерывных сигналов можно использовать условные плотности вероятности и далее оценить погрешность:

Для заданного значения :

Или в среднем по множеству значений :

2. Оценка информационных характеристик сигналов и преобразователей

В ИИС, а также в системах хранения и обработки информации используют различные меры оценки информационных характеристик.

Информационные меры соответствуют трем основным направлениям в теории информации:

1. Структурная теория информации рассматривает дискретное строение массивов информации и их измерение методом подсчета информационных элементов-квантов (дискретные модели информационных комплексов, а также элементы алфавитов в числовых системах)

• геометрические меры

• комбинаторные меры

• аддитивные меры (Хартли)

- число квантов

2. Статистическая теория информации оперирует мерами неопределенности сигналов, систем и их изменений в процессе оптиапреобразований.

3. Семантическая теория учитывает ценность или существенность информации.

---

Статистическая теория информации

Статистическая теория информации рассматривает пространство дискретных сигналов с конечным множеством состояний.

Пусть имеем преобразователь или канал связи.

Графическая модель:

В общем случае ,

но мы будем считать,

что

Для однозначного преобразования:

При наличии шумов возможны искажения сигналов, порождающие условные вероятности

или

Математической моделью преобразователя/канала может быть матрица:

Для полного описания необходимо знать вероятность .

Для однозначного преобразования:

Для оценки взаимосвязи статистических ансамблей и вводится мера количество информации

Шеннон предположил меру количества информации в паре ( ) частное количество информации:

с точностью до множителя

Логарифмическая мера выбрана в связи с тем, что позволяет реализовать предположение, что количество информации от нескольких источников (независимых) обладает свойством аддитивности (например, 2 символа в сигнале).

Для однозначных преобразований:

Для независимых и :

Вывод, вытекающий из концепции определения количества информации: если полученное значение сигнала не зависит от значения входного сигнала, то

Среднее количество информации

– вероятность появления

– количество информации

Случай однозначного преобразования :

Замечания:

может иметь любой знак.

. Докажем это.

Учтем свойство:

Тогда:

Равенство при т.е. при отсутствии связи, что понятно. Что требовалось доказать.

Информационная энтропия

Информационная энтропия – это мера разнообразия сигналов или состояния системы (разнообразие неопределенность).

Концепция определения информационной энтропии:

• главная особенность (природа) случайных событий заключается в отсутствии уверенности в их наступлении,

• любое сообщение имеет смысл, если мы заранее не знаем состояние системы,

• сведения о системе, получаемые в результате приема-передачи сообщения, будут тем больше, чем больше была неопределенность состояния системы.

---

Аналогия с термодинамической энтропией: согласно второму закону термодинамики, энтропия замкнутой системы (Больцман):

Где - общее число молекул,

- число молекул со скоростями

Частота событий:

Тогда:

Учитывая переход :

Возвращаемся к энтропии ансамбля значений сигнала, принимаем:

• совпадает со средним количеством информации при однозначном преобразовании сигнала.

Теорема: имеет вид:

Если требуется выполнение следующих условий:

• Энтропия максимальна, если все состояния системы равновероятны.

• Энтропия объединения стат. зависимых событий определяется суммой энтропий, где энтропия каждой последовательной системы определяется как:

• Добавление к множеству состояний системы любого количества невозможных состояний не изменяет энтропию системы.

Энтропия равномерно распределенного сигнала

Энтропия ансамбля значений сигнала не превышает энтропию равномерно распределенного сигнала. Для доказательства воспользуемся свойством:

Следовательно, имеем:

Что требовалось доказать.

Вывод: для того, чтобы иметь возможность передать тем же набором сигналов максимально возможную информацию, надо стремиться, чтобы значения сигналов были равновероятны.

Основные свойства энтропии

1. Энтропия есть величина вещественная, ограниченная и неотрицательная

2. Энтропия равна нулю тогда и только тогда, когда все вероятности состояний, кроме одной, равны нулю, а эта единственная, соответственно, равна единице.

3. Энтропия максимальна, если все состояния системы или элементов сообщения равновероятны:

4. Энтропия объединения статистически независимых сообщений определяется суммой энтропий каждого сообщения (теорема сложения энтропий)

Или в общем виде:

Условная энтропия

Условная энтропия по определению есть энтропия, определенная при условии, что стали известны исходы (состояния) , усредненные по этим исходам:

---

Для фиксированного значения условная энтропия:

- это есть случайная величина, усредним ее по величине с вероятностями

т.к. , то

Смысл условной энтропии состоит в том, какую энтропию имеют (дают) сообщения , когда уже известна энтропия .

Свойства условной энтропии

1. Если и статически независимы, то

2. Если и статистически четко связаны (функциональная связь), то

0

Это обозначает, что сообщение не несет никакой новой информации, кроме той, что содержится в сообщениях .

3. Энтропия системы (сообщений) никогда не возрастает вследствие получения знаний состояния системы , т.е.:

При этом смотрите свойство 1: для статистически независимых ансамблей.

Энтропия непрерывных сообщений

Для сообщений с дискретным множеством состояний мы определили энтропию в виде суммы. Обобщим выражение энтропии для непрерывных сигналов.

– для дискретных сигналов.

Если – непрерывный сигнал, то

Т.е. если непрерывный сигнал представить дискретным с шагом , то

Запишем энтропию непрерывного сигнала:

При :

Т.к.

Дифференциальная энтропия или ядро энтропии :

Рассмотрим сигнал, равномерно распределенный на интервале .

Для него энтропия:

Таким образом, дифференциальная энтропия может быть определена, как разность энтропий сигнала с распределением и сигнала с равномерным распределением на интервале , т.е.

Иногда дифференциальную энтропию называют

• Относительной энтропией

• Предельной энтропией

По аналогии с дискретными ансамблями, вводится условная энтропия непрерывных сигналов (имеется в виду дифференциация энтропии). При этом, как и для дискретного случая:

Принцип экстремума энтропии

---

Определим виды функций плотности распределения вероятности , обеспечивающие max при определенных ограничениях. Это имеет важное значение для оценки max скорости передачи информации при наличии помех.

1. Область изменения неограниченна, а дисперсия задана, т.е.:

(задана)

Это случай ограничения мощности сигнала.

Вариационная задача с ограничениями

Решение дает нормальный закон распределения.

Найдем энтропию сигнала. Учитываем, что:

2. Область возможных значений ограничена интервалом , а дисперсия произвольна.

Решение – равномерное распределение на . Т.е.:

Напомним, что дисперсия равномерно распределенного сигнала:

Если сравним два сигнала – нормальный и равномерно-распределенный – с одинаковыми энтропиями, то из

или

Т.е. при одинаковой информативности сообщений средняя мощность сигнала при равномерном распределении амплитуд должна быть на 42% больше мощности сигнала при нормальном распределении амплитуд (например, при сообщениях с амплитудной модуляцией).

 - энтропия непрерывного сигнала

Задача: Найти минимальное количество информации, необходимой для воспроизведения сигнала с СКО, не привышающей .

Имеем

Пусть - нормально распределен.

Задача сводится к максимизации . Решение вариационной задачи дает нормальное распределение ; т.к. - нормальное, то

.

Тогда . Следовательно, – энтропия:

Примечание: Вместо можно использовать полные энтропии.

Энтропия квантованного сигнала

При равномерном квантовании . На практике, в виду малости , можно считать распределение внутри равномерным.

Предположим нормальность распределения .

Имеет смысл, когда шаг квантования существенен и привышает ошибки измерения, в противном случае квантованием можно принебречь и следует использовать - энтропию .

Количество информации, как мера снятой неопределенности

---