in.wiki

Изменения

Llama.cpp (править)

Версия от 00:35, 1 августа 2025

1044 байта добавлено ,  1 месяц назад
→‎Архитектура
Строка 37: Строка 37:     
llama.cpp поддерживает форматирование выходных данных на основе грамматики в формате JSON<ref name="Wiest" /> и [[Спекулятивное декодирование модели|спекулятивное декодирование]]<ref name="theregister 15 December 2024" />.
 
llama.cpp поддерживает форматирование выходных данных на основе грамматики в формате JSON<ref name="Wiest" /> и [[Спекулятивное декодирование модели|спекулятивное декодирование]]<ref name="theregister 15 December 2024" />.
 +
 +
Для хранения моделей
 +
 +
== Формат файла GGUF ==
 +
([[GGML Universal File]])[26] — это двоичный формат, который хранит как тензоры, так и метаданные в одном файле и предназначен для быстрого сохранения и загрузки данных модели[27]. Он был представлен в августе 2023 года проектом llama.cpp для лучшей обратной совместимости в связи с добавлением поддержки других архитектур моделей[14][28]. Он заменил предыдущие форматы, использовавшиеся проектом, такие как [[GGML]]. Файлы GGUF обычно создаются путём конвертации моделей, разработанных с помощью другой [[библиотеки машинного обучения]], например, [[PyTorch]][27].
    
== Примечания ==
 
== Примечания ==
 
[[Категория:Программное обеспечение для машинного обучения]]
 
[[Категория:Программное обеспечение для машинного обучения]]
Источник — https://in.wiki/Служебная:Сравнение_версий/1572122