Изменения

'''Энтропийное кодирование''' — кодирование последовательности значений с возможностью однозначного восстановления с целью уменьшения объёма информации (длины последовательности) с помощью усреднения вероятностей появления элементов последовательности.

'''Энтропийное кодирование''' — кодирование последовательности значений с возможностью однозначного восстановления с целью уменьшения объёма информации (длины последовательности) с помощью усреднения вероятностей появления элементов последовательности.

Предполагается, что до кодирования отдельные элементы последовательности имеют различную вероятность появления. После кодирования в результирующей последовательности вероятности появления отдельных символов практически одинаковы ([[Информационная энтропия|энтропия]] на символ максимальна).

Предполагается, что до кодирования отдельные элементы последовательности имеют различную вероятность появления. После кодирования в результирующей последовательности вероятности появления отдельных символов практически одинаковы ([[Информационная энтропия|энтропия]] на символ максимальна).

Различают несколько вариантов кодов:

Различают несколько вариантов кодов:

* Сопоставление каждому элементу исходной последовательности различного числа элементов результирующей последовательности. Чем больше вероятность появления исходного элемента, тем короче соответствующая результирующая последовательность. Примером могут служить [[код Шеннона—Фано]], [[код Хаффмана]],  

* Сопоставление каждому элементу исходной последовательности различного числа элементов результирующей последовательности. Чем больше вероятность появления исходного элемента, тем короче соответствующая результирующая последовательность. Примером могут служить [[код Шеннона — Фано]], [[код Хаффмана]],

* Сопоставление нескольким элементам исходной последовательности фиксированного числа элементов конечной последовательности. Примером является [[код Танстола]].

* Сопоставление нескольким элементам исходной последовательности фиксированного числа элементов конечной последовательности. Примером является [[код Танстола]].

* Другие структурные коды, основанные на операциях с последовательностью символов. Примером является [[кодирование длин серий]].

* Другие структурные коды, основанные на операциях с последовательностью символов. Примером является [[кодирование длин серий]].

Согласно [[Теоремы Шеннона для источника общего вида|теореме Шеннона]], существует предел сжатия без потерь, зависящий от энтропии источника. Чем более предсказуема получаемая информация, тем лучше её можно сжать. [[Случайная последовательность]] сжатию без потерь не поддаётся.

Согласно [[Теоремы Шеннона для источника общего вида|теореме Шеннона]], существует предел сжатия без потерь, зависящий от энтропии источника. Чем более предсказуема получаемая информация, тем лучше её можно сжать. [[Случайная последовательность]] сжатию без потерь не поддаётся.

==См. также==

== См. также ==

* [[Универсальный код]]

* [[Универсальный код]]