Вероятность и информация
При вероятностном подходе информация рассматривается как сообщение об исходе случайных событий, реализации случайных величин и функций, а количество информации ставится в зависимость от априорных вероятностей этих событий, величин, функций.
Когда получается сообщение о часто встречающихся событиях, вероятность появления которых стремиться к единице, т.е. к показателю полной достоверности, то такое сообщение мало информативно. Столь же мало информативны сообщения о противоположных событиях (антисобытиях), вероятности которых стремятся к нулю и которые, следовательно, почти невозможны. Например, событие «часы идут» имеет вероятность p=1, тогда как антисобытие «часы не идут» имеет вероятность q=1-p=0.
Событие и антисобытие составляют одно двоичное однопредметное событие. Может быть также двоичное двухпредметное событие, заключающееся в выборе одного из двух возможных предметов, например черного или белого шара из урны, герба или решки на монете.
Большинство видов информации можно свести к двоичным явлениям «да-нет» и к паре: «событие-антисобытие». Именно эта пара явлений является простейшим и неделимым элементом (квантом) информации.
Двоичные однопредметные события
Событие |
Антисобытие |
Дождь идет | Дождь не идет |
Снег идет | Снег не идет |
Машина работает | Машина стоит |
Лампа горит | Лампа погашена |
Уровень достигнут | Уровень не достигнут |
Другой вид сообщений составляют двухпредметные двоичные явления, которые распадаются на четыре элементарных акта. Например: 1) вынут белый шар; 2) не вынут белый шар; 3) не вынут черный шар; 4) вынут черный шар.
Двоичные двухпредметные события
Явление 1 |
Явление 2 |
||
Дождь (то ли дождик) |
Снег (то ли снег) |
||
Идет (то ли будет) |
не идет (то ли нет) | не идет (то ли нет) |
Идет (то ли будет) |
Белый шар |
Черный шар |
||
вынут | не вынут | не вынут |
вынут |
Могут быть также исключающие друг друга события. Например, если выпал герб, то не может одновременно выпасть решка. Если в цепи установилось напряжение 100 в, то не может в той же цепи одновременно существовать напряжение 12 в.
Будем под событием далее понимать элементарное однопредметное явление, которое может быть с вероятностью от p=0 до p=1 или не быть с вероятностью от q=1-p=1 до q=1-p=0.
Когда p=0.5 и q=0.5, то будет иметь место наибольшая неопределенность в ситуации.
@ Теоретические основы информационной техники, Ф.Е. Темников, В.А.Афонин, В.И. Дмитриев.