Статистическое кодирование

Строгие методы количественного определения информации были предложены К. Шенноном в 1948 г. и привели к построению теории информации, являющейся основой теории связи, кибернетики и ряда смежных наук.

Пусть некоторый источник дискретных сообщений посылает одно конкретное сообщение из некоторого множества А. Для определения количества информации в сообщении необходимо основываться только на таком параметре, который характеризует в общем виде сообщение . Таким параметром является - вероятность того, что источник посылает данное сообщение. Количество информации определяется по следующей формуле:

(6.1)

Основание логарифма обычно выбирают равным двум. Полученная при этом единица информации носит название бит. Она равна количеству информации в сообщении о событии, происходящем с вероятностью 0,5, т.е. таком, которое может с равной вероятностью произойти или не произойти. Такая единица на практике наиболее удобна вследствие широкого использования двоичных кодов в вычислительной технике и связи. Количество информации в сообщении тем больше, чем оно менее вероятно или, другими словами, чем оно более неожиданно. Количество информации является случайной величиной, так как сами сообщения случайные.

Для характеристики всего множества (или источника) сообщения используют математическое ожидание количества информации, называемое энтропией. Чем больше энтропия источника, тем больше степень неожиданности передаваемых им сообщений в среднем, т.е. тем более неопределённым является ожидаемое сообщение. Поэтому энтропию часто называют мерой неопределённости сообщений:

(6.2)

Некоторые источники передают сообщения с фиксированной скоростью, затрачивая в среднем время Т на каждое сообщение. Производительностью (в битах на секунду) такого источника называют суммарную энтропию сообщений, переданных за единицу времени:

(6.3)

При передаче знаки сообщений источника преобразуются в последовательность двоичных сигналов. Учитывая статистические источника сообщений, можно минимизировать среднее число символов, требующихся для выражения одного знака сообщения, что при отсутствии шума позволяет уменьшить время передачи или объём запоминающего устройства. Одной из характеристик сообщений является избыточность. Коэффициент избыточности определяется как:

(6.4)

где - максимальная энтропия: (6.5)

Уменьшение энтропии источника с увеличением статистической взаимосвязи можно рассматривать как движение информационной емкости сообщений. Одно и то же сообщение при наличии взаимосвязи содержит в среднем меньше информации, чем при ее отсутствии. Иначе говоря, если источник создает последовательность сообщений, обладающих статистической связью, и характер этой связи известен, то часть сообщений, выдаваемая источником, является избыточной, так как она может быть восстановлена по известным статистическим связям. Появляется возможность передавать сообщения в сокращенном виде без потери информации, содержащейся в них. Например, при передаче телеграммы мы исключаем из текста союзы, предлоги, знаки препинания, так как они легко восстанавливаются при чтении телеграммы на основании известных правил построения фраз и слов. Для передачи одного и того же количества информации источник с избыточностью должен использовать большее количество сообщений. Источник, обладающий избыточностью, передает излишнее количество сообщений. Это увеличивает продолжительность передачи и снижает эффективность использования канала связи. Сжатие сообщений можно осуществить посредством соответствующего кодирования. Информацию необходимо передавать такими сообщениями, информационная емкость которых используется наиболее полно. Этому условию удовлетворяют равновероятные и независимые сообщения.

Перейти на страницу: 1 2 3 4 5

Другие стьтьи в тему

Разработка комплекта конструкторских документов на стабилизатор напряжения
При проектировании, ремонте, производстве, эксплуатации, испытаниях электронных и электротехнических узлов электротехнического оборудования используется техническая документация, которая называется конструкторской. Для облегчения проектирования и разработки конструкторской документаци ...

Расчет собственных частот ионосферно-магнитосферного альвеновского резонатора (ИМАР) методами теории возмущений
Важным инструментом в индикации ЧС различного типа, таких как извержения вулканов, землетрясения, промышленные взрывы; космические, наземные и подземные ядерные взрывы, сигналы от стартов ракет и возникающие при полете ракет с включенными двигателями является ионосферно-магнитосферный ...

Разделы

Радиоэлектроника и телекоммуникации © 2019 : www.techelements.ru