Изменения
нет описания правки
'''Кодирование энтропии''' — это схема [[кодирование|кодирования]] которая присваивает коды символам таким образом, чтобы сопоставить длины кодов с [[вероятность|вероятностями появления]] этих символов. Обычно [[энтропия (теория информации)|энтропийные]] кодировщики используют для сжатия данных длины кодов, которые пропорциональны отрицательному [[логарифм|логарифму]] вероятности. Таким образом, наиболее вероятные символы используют кратчайшие коды.
Следуя [[Теорема Шеннона|теореме Шеннона]] оптимальная длина кода для символа — это -log''{{sub|b}}P'', где ''b'' — это количество символов, использованных для изготовления выходного кода и ''P'' — это вероятность входного символа.
Три самых распространённых техники кодирования энтропиии — это [[кодирование Хаффмана]], [[кодирование расстояний]] и [[арифметическое кодирование]].
Если приблизительные характеристики энтропии потока данных предварительно известны (в особенности для [[компрессии сигнала]]), то может быть полезен более простой статический код, такой как [[Унарное кодирование]], [[гамма-кодирование Элиаса]], [[кодирование Фибоначчи]], [[кодирование Голомба]] или [[кодирование Райса]].
==См. также==
* [[Универсальный код]]
----
''Ранняя версия этой статьи была опубликована на [http://planetmath.org/encyclopedia/EntropyEncoding.html PlanetMath] (англ.).''
[[Category:Алгоритмы сжатия без потерь]] [[Category:Теория информации]]
[[de:Entropiekodierung]]
[[en:Entropy encoding]]
[[ja:エントロピー符号]]
[[ko:엔트로피 부호화]]
Следуя [[Теорема Шеннона|теореме Шеннона]] оптимальная длина кода для символа — это -log''{{sub|b}}P'', где ''b'' — это количество символов, использованных для изготовления выходного кода и ''P'' — это вероятность входного символа.
Три самых распространённых техники кодирования энтропиии — это [[кодирование Хаффмана]], [[кодирование расстояний]] и [[арифметическое кодирование]].
Если приблизительные характеристики энтропии потока данных предварительно известны (в особенности для [[компрессии сигнала]]), то может быть полезен более простой статический код, такой как [[Унарное кодирование]], [[гамма-кодирование Элиаса]], [[кодирование Фибоначчи]], [[кодирование Голомба]] или [[кодирование Райса]].
==См. также==
* [[Универсальный код]]
----
''Ранняя версия этой статьи была опубликована на [http://planetmath.org/encyclopedia/EntropyEncoding.html PlanetMath] (англ.).''
[[Category:Алгоритмы сжатия без потерь]] [[Category:Теория информации]]
[[de:Entropiekodierung]]
[[en:Entropy encoding]]
[[ja:エントロピー符号]]
[[ko:엔트로피 부호화]]