in.wiki

Изменения

Byte Pair Encoding (править)

Версия от 02:17, 20 августа 2025

1360 байт добавлено ,  1 месяц назад
→‎Оригинальный алгоритм
Строка 9: Строка 9:     
Предположим, что нужно закодировать следующие данные:
 
Предположим, что нужно закодировать следующие данные:
 +
 +
aaabdaaabac
 +
 +
Пара байтов «aa» встречается чаще всего, поэтому она будет заменена байтом, который не используется в данных, например, «Z». Теперь имеем следующие массив входных данных и таблицу замен:
 +
 +
ZabdZabac
 +
Z=aa
 +
 +
Затем процесс повторяется с парой байтов «ab», которая заменяется на «Y»:
 +
 +
ZYdZYac
 +
Y=ab
 +
Z=aa
 +
 +
Единственная оставшаяся пара байтов встречается только один раз, и кодирование может на этом остановиться. В качестве альтернативы, процесс может быть продолжен с помощью [[рекурсия|рекурсивного]] кодирования пар байтов, заменяя «ZY» на «X»:
 +
 +
XdXac
 +
X=ZY
 +
Y=ab
 +
Z=aa
 +
 +
Эти данные невозможно сжать дальше с помощью кодирования пар байтов, поскольку нет пар байтов, которые встречаются более одного раза, в этот момент останавливается и процесс рекурсивного кодирования.
 +
 
== Примечания ==
 
== Примечания ==
 
[[Категория:Сжатие данных]]
 
[[Категория:Сжатие данных]]
 
[[Категория:Токенизаторы]]
 
[[Категория:Токенизаторы]]
Источник — https://in.wiki/Служебная:Сравнение_версий/1574454