Одной из информационных черт источника дискретных сообщений есть избыточность, которая определяет, какая часть максимально-вероятной энтропии не употребляется источником
, (10)
где ? – коэффициент сжатия.
Избыточность ведет к повышению времени передачи сообщений, уменьшению скорости передачи информации, избыточной загрузки канала, к тому же, избыточность нужна для обеспечения достоверности передаваемых данных, т.е. надежности СПД, увеличения помехоустойчивости. Наряду с этим, используя особые коды, применяющие избыточность в передаваемых сообщениях, возможно найти и исправить неточности.
Пример 1. Вычислить энтропию источника, выдающего два знака 0 и 1 с возможностями p(0) = p(1) = 1/m и выяснить его избыточность.
Ответ: Энтропия для случая свободных, равновероятных элементов равна: H(x) = log2m = log22 = 1 [дв. ед/симв.]
Наряду с этим H(x) = Hmax(x) и избыточность равна R = 0.
Пример 2. Вычислить энтропию источника свободных сообщений, выдающего два знака 0 и 1 с возможностями p(0) = 3/4, p(1) = 1/4.
Ответ: Энтропия для случая свободных, не равновероятных элементов равна:
Наряду с этим избыточность равна R = 1–0,815=0,18
Пример 3. Выяснить количество информации и энтропию сообщения из пяти букв, в случае если число букв в алфавите равняется 32 и все сообщения равновероятные.
Ответ: Неспециализированное число пятибуквенных сообщений равняется: N = mn = 32
Энтропия для равновероятных сообщений равна:
H = I = – log2 1/N = log2325 = 5 log232 = 25 бит./симв.
Теоремы Шеннона
1. Теорема Шеннона — Хартли — (в действительности теорема Хартли, выведенная им за 15 лет до Шеннона), одна из главных теорем теории информации о передаче сигналов по каналам связи при наличии помех, приводящих к искажениям. Пускай надлежит передать последовательность знаков, появляющихся с определёнными возможностями, причём имеется некая возможность того, что передаваемый знак в ходе передачи будет искажён. Несложный метод, разрешающий надёжно вернуть исходную последовательность по приобретаемой, пребывает в том, дабы любой передаваемый знак повторять много (N) раз. Но это приведёт к уменьшению скорости передачи в N раз, т. е. сделает её близкой к нулю. Ш. т. говорит, что возможно указать такое, зависящее лишь от разглядываемых возможностей положительное число v, что при какое количество угодно малом ?0 существуют методы передачи со скоростью v'(v’ v), сколь угодно близкой к v, дающие возможность восстанавливать исходную последовательность с возможностью неточности, меньшей ?. Одновременно с этим при скорости передачи v’, большей v, это уже нереально. Упомянутые методы передачи применяют надлежащие «помехоустойчивые» коды. Критическая скорость v определяется из соотношения Hv = C, где Н — Энтропия источника на знак, С — ёмкость канала в бинарных единицах в секунду.
Разглядывая все вероятные многоуровневые и многофазные способы шифрования, теорема Шеннона — Хартли говорит, что пропускная свойство канала C, означающая теоретическую верхнюю границу скорости передачи данных, каковые возможно передать с данной средней мощностью сигнала S через аналоговый канал связи, подверженный аддитивному белому гауссовскому шуму мощности N равна:
где
C — пропускная свойство канала, бит/с;
B — полоса пропускания канала, Гц;
S — полная мощность сигнала над полосой пропускания, Вт либо В?;
N — полная шумовая мощность над полосой пропускания, Вт либо В?;
S/N — частное от деления отношения сигнала к его шуму (SNR) на гауссовский шум, выраженное как отношение мощностей.
2. Теорема Шеннона-Котельникова, теорема отсчетов — (в действительности теорема Котельникова, доказанная им в 1933 г., в то время, когда Шеннону было еще 17 лет)
Литература
- Гринченко А.Г. кодирование и Теория информации: Учебн. пособие. – Харьков: ХПУ, 2000.
- Цымбал В.П. кодирование и Теория информации. – М.: Высш. шк., 1986.
- Кловский Д.Д. Теория передачи сигналов. – М.: Сообщение, 1984.
- Кудряшов Б.Д. Теория информации. Учебник для институтов Изд-во ПИТЕР, 2008. – 320 с.
- Цымбал В.П. кодирование и Теория информации. – М.: Высш. шк., 1986.
- Асанов М.О., Баранский В.А., Расин В.В. Дискретная математика: графы матроиды, методы. – Ижевск: НИЦ “РХД”, 2001, 288 стр.
объём и Количество информации
