Файл: Петров И.К. Технологические измерения и приборы в пищевой промышленности учебник.pdf
ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 10.04.2024
Просмотров: 216
Скачиваний: 1
ми, энтропия системы, состояние которой точно известно, обра щается в нуль. При заданном числе состояний, когда эти состоя ния равновероятны, она сводится к минимуму, а при увеличении числа этих состояний увеличивается.
Энтропия сложной системы, состоящей из нескольких простых систем, получается при их объединении. При этом энтропия сложной системы равна сумме произведений вероятностей всех возможных ее состояний на логарифмы, взятой с обратным зна ком, т. е.
|
|
п |
т |
|
|
|
H(X,Y) |
= - |
S |
Е |
Pi}\ogPti |
(75) |
. |
|
|
1=1 / = |
1 |
|
|
|
или
|
п |
т |
|
H[X,Y)= |
Е |
S ц(Рц). |
(76) |
Если объединяемые системы независимы, их энтропии скла дываются:
H(X,Y) |
= H(X) |
+ H(Y). |
(77) |
Если система составляется из зависимых друг от друга си стем, для их объединения вводится понятие условной энтропии, которая записывается в виде:
п |
т |
|
Н (X/Y) = - П |
РЦ log Р Qfj/xt) |
(78) |
i=i |
,=l |
|
Величина условной энтропии Н(X/Y) характеризует степень неопределенности системы У, остающейся после того, как состо яние системы X полностью определилось.
В случае, если две системы X и У объединяются в одну, энтро пия объединенной системы равна энтропии одной из ее частей плюс условная энтропия второй части относительно первой:
H(X,Y)=H(X) + H(YJX). (79)
При объединении любого количества систем формула сложе ния их энтропии будет иметь следующий вид:
H(XltX2 |
Xt) = |
H(Xl) + H(Xt/X1) |
+ |
H(X,/X1,XJ+...+ |
|
+ |
H{X,/X1,Xt |
Хз-і). |
(80) |
Из сказанного видно, что в результате |
получения информа |
|||
ции неопределенность |
системы уменьшается. Чем больше объем |
|||
и содержательность информации, тем менее неопределенным бу дет состояние системы. Таким образом, очевидна целесообраз ность оценки количества информации измерением энтропии си стемы, состояние которой оценивается.
Количество информации, которая приобретается при полном выяснении состояния некоторой системы X, равно энтропии этой системы:
|
|
|
IX |
= |
H{X) |
|
(81) |
ИЛИ |
|
|
|
|
|
|
|
|
|
|
|
|
л |
|
|
|
|
/ х |
= |
— 2 |
Pi log Рь |
" |
(82) |
ГАЄ pi=P(X |
~ xt). |
|
|
|
|
|
|
При |
необходимости получения информации о |
системе X пу |
|||||
тем наблюдения |
за некоторой |
другой |
системой |
У, связанной |
|||
с нею, количество |
полной |
взаимной информации, |
содержащейся |
||||
в обеих системах, равно сумме энтропии составляющих систем
минус энтропия объединенной системы: |
( |
||
IY^^X |
= H(X) |
+ H(Y)-H(X,Y) |
(83) |
или |
|
|
|
|
п |
т |
|
^ ~ * = £ 1 > < / 1 < * — . |
(84) |
||
где Р(/ = Р { ( Х ~ * / ) ( К ~ у / ) } ; |
|
: |
|
Pl=P(X~Xt); |
|
|
|
г,=Р(У~у,). |
|
|
|
Приведенные соотношения справедливы для дискретных слу чайных величин. Дл я физических систем, аналогичных непрерыв ным случайным величинам, энтропия имеет вид:
HAxW |
= - J" f (х) log f(x)dx |
—log Ах, |
(85) |
|
CO |
|
|
где Ax — степень точности определения состояния |
системы. |
|
|
Из рассмотрения последнего выражения видно, что от Ах зависит только второй его член (—logAjc), который при Ах -» О стремится к бесконечности, т. е. чем точнее необходимо знать состояние системы X, тем большая степень неопределенности должна быть устранена. Таким образом, задаваясь зоной нечув ствительности Ад: измерительных приборов, с помощью которых производятся измерения для определения состояния системы X, можно найти энтропию этой системы.
Для получения |
выражения |
условной энтропии |
запишем ее |
в виде математического ожидания функции: |
|
||
|
-J-oo |
|
|
HAxW |
= - I |
f(x)log{f(x)Ax)dx. |
(86) |
|
•—'ОО |
|
|
Д ля двух взаимозависимых непрерывных систем X и У пол ная (средняя) условная энтропия будет иметь вид:
+°°
Н ^ У {Уїх) = - Я / (*•») 1 о § f (»/*)dx |
dy - 1 о § АУ- |
(87> |
При объединении |
в одну |
систему двух зависимых систем X |
||||
и У энтропия |
этой |
системы |
|
|
|
|
HbcbylX.Y) |
= НАх |
(X) + |
Н А у / А х (Y/X). |
(88) |
||
При объединении |
двух независимых систем энтропия |
|||||
|
Hlxby |
(X,Y) |
~ # Д* (X) +HAy(Y). |
(89) |
||
Выражение |
полной |
взаимной |
информации, |
содержащейся |
||
в непрерывных системах X и У, имеет вид, аналогичный виду для дискретных систем. В этом случае вероятности заменяются за конами распределения, а суммы — интегралами:
-J-oo
' |
у - Н |
^ ^ ^ І ^ ш ^ - |
(90) |
|
— о о |
|
|
Отсюда следует, что полная взаимная информация |
обраща |
||
ется в нуль, если |
системы |
X и У независимы. |
|
С помощью полной (средней) условной энтропии может про изводиться оценка количества информации при воздействии по мех. Условная энтропия равна в этом случае количеству потери информации вследствие помех.
Использование информационных критериев дает возможность анализировать и оценивать вероятностными методами погреш ности измерений в статических и динамических режимах, каче- - ство многоканальных измерительных систем, надежность изме
рительных устройств, решать задачи |
по поиску |
неисправности |
в них, а также ряд других вопросов, |
связанных |
с восприятием, |
преобразованием и выдачей измерительной информации приме нительно к измерительному устройству или системе любого вида.
Благодаря разработке основных положений теории информа ции стало возможным определение ряда характеристик, которые ранее не могли быть найдены.
1. Например, получила решение такая задача, как определе
ние количества |
информации, содержащейся |
в величине У о ве |
||||||||
личине X. |
|
|
|
|
|
|
|
|
|
|
Величина X, |
измеряемая |
с ошибкой Z, распределяется по нор |
||||||||
мальному закону с параметрами |
тх =0 , ох . Ошибка Z |
также |
||||||||
распределяется |
по нормальному |
закону с |
параметрами |
тг = |
||||||
= О , 0 г . Ошибка |
Z не зависит от измеряемой |
величины X, |
а ре |
|||||||
зультат |
измерения |
характеризуется |
случайной |
величиной |
вида |
|||||
|
|
|
|
Y = |
X |
+ |
Z. |
|
|
(91) |
На |
основании |
формулы |
(90) |
информация |
характеризуется |
|||||
как математическое ожидание случайной величины: |
|
|||||||||
|
|
|
/ - l o g |
|
П Х ' |
У ) . |
|
|
(92) |
|
|
|
|
|
8 |
h(X)ft(Y) |
|
|
К |
||
Д л я определения этой информации произведем некоторые преобразования:
|
|
log |
'<*•"> |
- . l o g M ' H W O |
|
= 1 о § |
Ш £ ) |
193) |
||||
|
|
|
|
M * ) M < / ) |
|
fi(x)f2(y) |
|
|
Ш |
|||
|
|
|
|
|
|
|
|
|||||
В нашем случае |
|
|
|
|
|
|
|
|
||||
|
|
|
|
/ . (У) < |
|
|
|
|
|
|
|
(94) |
|
|
|
|
|
|
1 |
|
20» |
|
|
(95) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Тогда из уравнения |
(92) |
следует, что |
|
|
|
|
||||||
|
, |
|
/ |
.2 |
, J |
(Г- - X)2 |
|
|
уг |
|
||
г |
|
°* + g * |
|
|
|
|||||||
/ = log |
|
|
+ |
|
|
|
|
4°l + t) |
|
|||
|
|
|
|
|
•In 2 |
2аі |
|
|
||||
|
|
|
|
|
|
|
|
|
||||
|
= |
|
log |
|
+ |
|
|
Z2 |
|
Y2 |
|
(96) |
|
|
|
In 2 |
[ |
4 |
|
|
|
||||
Откуда полная взаимная информация о величине X, содер |
||||||||||||
жащаяся в величине У, |
|
|
|
|
|
|
|
|
||||
/ у _ х = |
МЩ |
|
= |
V °1+<% |
|
і |
М |
[Z2] |
|
М [К« |
(97) |
|
|
log |
|
+ |
п 2 |
2о\ |
|
2(о2х+о\ |
|||||
|
|
|
|
|||||||||
Но так как т, =ти |
= 0, |
|
|
|
|
|
|
|
||||
|
|
|
|
|
М [Z2] |
= D [Z] |
= |
|
|
|
(98) |
|
|
|
|
|
М[К2 ] = |
D [К] = |
+ |
о-2 |
|
|
(99) |
||
Подставляя |
выражения |
(98) |
и |
(99) |
в формулу (97), получа |
|||||||
ем окончательную формулу для определения полной взаимной информации при наличипюшибки:
/ у ^ х =log |
(100) |
Например, при |
ох |
= |
аг |
информация Iy«-^x |
= l o g ] / 2 |
= |
= 0,5 дв. ед.; при |
ох |
=4, |
а |
ог=3 информация |
1у*--+х = l o g |
— л ; |
|
|
|
|
|
|
3 |
«0 , 7 7 д в . ед.
Втеории информации в качестве единицы измерения энтропии принята двоичная единица (дв. ед. или бит, от англ. bit — binary digit), получаемая при. основании логарифма в формуле (74), равном 2.
