Статистическое кодирование

Строгие методы количественного определения информации были предложены К. Шенноном в 1948 г. и привели к построению теории информации, являющейся основой теории связи, кибернетики и ряда смежных наук.

Пусть некоторый источник дискретных сообщений посылает одно конкретное сообщение из некоторого множества А. Для определения количества информации в сообщении необходимо основываться только на таком параметре, который характеризует в общем виде сообщение . Таким параметром является - вероятность того, что источник посылает данное сообщение. Количество информации определяется по следующей формуле:

(6.1)

Основание логарифма обычно выбирают равным двум. Полученная при этом единица информации носит название бит. Она равна количеству информации в сообщении о событии, происходящем с вероятностью 0,5, т.е. таком, которое может с равной вероятностью произойти или не произойти. Такая единица на практике наиболее удобна вследствие широкого использования двоичных кодов в вычислительной технике и связи. Количество информации в сообщении тем больше, чем оно менее вероятно или, другими словами, чем оно более неожиданно. Количество информации является случайной величиной, так как сами сообщения случайные.

Для характеристики всего множества (или источника) сообщения используют математическое ожидание количества информации, называемое энтропией. Чем больше энтропия источника, тем больше степень неожиданности передаваемых им сообщений в среднем, т.е. тем более неопределённым является ожидаемое сообщение. Поэтому энтропию часто называют мерой неопределённости сообщений:

(6.2)

Некоторые источники передают сообщения с фиксированной скоростью, затрачивая в среднем время Т на каждое сообщение. Производительностью (в битах на секунду) такого источника называют суммарную энтропию сообщений, переданных за единицу времени:

(6.3)

При передаче знаки сообщений источника преобразуются в последовательность двоичных сигналов. Учитывая статистические источника сообщений, можно минимизировать среднее число символов, требующихся для выражения одного знака сообщения, что при отсутствии шума позволяет уменьшить время передачи или объём запоминающего устройства. Одной из характеристик сообщений является избыточность. Коэффициент избыточности определяется как:

(6.4)

где - максимальная энтропия: (6.5)

Уменьшение энтропии источника с увеличением статистической взаимосвязи можно рассматривать как движение информационной емкости сообщений. Одно и то же сообщение при наличии взаимосвязи содержит в среднем меньше информации, чем при ее отсутствии. Иначе говоря, если источник создает последовательность сообщений, обладающих статистической связью, и характер этой связи известен, то часть сообщений, выдаваемая источником, является избыточной, так как она может быть восстановлена по известным статистическим связям. Появляется возможность передавать сообщения в сокращенном виде без потери информации, содержащейся в них. Например, при передаче телеграммы мы исключаем из текста союзы, предлоги, знаки препинания, так как они легко восстанавливаются при чтении телеграммы на основании известных правил построения фраз и слов. Для передачи одного и того же количества информации источник с избыточностью должен использовать большее количество сообщений. Источник, обладающий избыточностью, передает излишнее количество сообщений. Это увеличивает продолжительность передачи и снижает эффективность использования канала связи. Сжатие сообщений можно осуществить посредством соответствующего кодирования. Информацию необходимо передавать такими сообщениями, информационная емкость которых используется наиболее полно. Этому условию удовлетворяют равновероятные и независимые сообщения.

Перейти на страницу: 1 2 3 4 5

Другие стьтьи в тему

Расчёт трассы прокладки волоконно-оптического кабеля между населёнными пунктами
В современном мире быстрыми темпами наращиваются объёмы информации, соответственно повышаются требования к передающей аппаратуре, поскольку каждые пять-шесть лет объём передаваемой информации увеличивается вдвое. Задача передачи такого количества информации с высокой степенью дост ...

Расчет функций преобразования, чувствительности к измеряемым физическим величинам и схем включения в измерительную цепь различных типов первичных преобразователей
измерительный преобразователь числовой сигнал Датчик - это часть измерительной системы имеющий самостоятельное конструктивное оформление, но вместе с тем обеспечивающий достижение полезного эффекта только при наличии всех других средств, входящих в систему Он осуществляет функцию преоб ...

Разделы

Радиоэлектроника и телекоммуникации © 2024 : www.techelements.ru