Редактирование: Энтропийное кодирование

'''Энтропийное кодирование''' — кодирование последовательности значений с возможностью однозначного восстановления с целью уменьшения объёма информации (длины последовательности) с помощью усреднения вероятностей появления элементов последовательности.

Предполагается, что до кодирования отдельные элементы последовательности имеют различную вероятность появления. После кодирования в результирующей последовательности вероятности появления отдельных символов практически одинаковы ([[Информационная энтропия|энтропия]] на символ максимальна).

Различают несколько вариантов кодов:
* Сопоставление каждому элементу исходной последовательности различного числа элементов результирующей последовательности. Чем больше вероятность появления исходного элемента, тем короче соответствующая результирующая последовательность. Примером могут служить [[код Шеннона — Фано]], [[код Хаффмана]],
* Сопоставление нескольким элементам исходной последовательности фиксированного числа элементов конечной последовательности. Примером является [[код Танстола]].
* Другие структурные коды, основанные на операциях с последовательностью символов. Примером является [[кодирование длин серий]].
* Если приблизительные характеристики энтропии потока данных предварительно известны, может быть полезен более простой статический код, такой как [[унарное кодирование]], [[гамма-код Элиаса]], [[кодирование Фибоначчи]], [[кодирование Голомба]] или [[кодирование Райса]].

Согласно [[Теоремы Шеннона для источника общего вида|теореме Шеннона]], существует предел сжатия без потерь, зависящий от энтропии источника. Чем более предсказуема получаемая информация, тем лучше её можно сжать. [[Случайная последовательность]] сжатию без потерь не поддаётся.

== См. также ==
* [[Универсальный код]]

{{методы сжатия}}
[[Категория:Алгоритмы сжатия без потерь]]
[[Категория:Теория информации]]

[[ca:Codificació entròpica]]
[[de:Entropiekodierung]]
[[en:Entropy encoding]]
[[es:Codificación entrópica]]
[[fr:Codage entropique]]
[[it:Codificazione entropica]]
[[ja:エントロピー符号]]
[[ko:엔트로피 부호화]]
[[zh:熵編碼法]]