Изменения

Она разрабатывается совместно с проектом [[GGML (библиотека машинного обучения)|GGML]], [[Тензорная алгебра|тензорной библиотекой общего назначения]]<ref name="ggml">{{cite web |last1=Gerganov |first1=Georgi |title=ggerganov/ggml |website=[[GitHub]] |url=https://github.com/ggerganov/ggml |date=17 May 2024}}</ref>.  

Она разрабатывается совместно с проектом [[GGML (библиотека машинного обучения)|GGML]], [[Тензорная алгебра|тензорной библиотекой общего назначения]]<ref name="ggml">{{cite web |last1=Gerganov |first1=Georgi |title=ggerganov/ggml |website=[[GitHub]] |url=https://github.com/ggerganov/ggml |date=17 May 2024}}</ref>.  

В состав библиотеки входят инструменты командной строки, а также сервер с простым веб-интерфейсом<ref name="theregister 15 December 2024">{{cite web |last1=Mann |first1=Tobias |title=Intro to speculative decoding: Cheat codes for faster LLMs |url=https://www.theregister.com/2024/12/15/speculative_decoding/ |website=theregister |language=en |date=15 December 2024}}</ref>.

Вместе с библиотекой поставляются утилиты командной строки<ref name="theregister 14 Jul 2024">{{cite web |last1=Mann |first1=Tobias |title=Honey, I shrunk the LLM! A beginner's guide to quantization – and testing it |url=https://www.theregister.com/2024/07/14/quantization_llm_feature/ |website=theregister |date=14 Jul 2024}}</ref>, а также сервер с простым веб-интерфейсом<ref name="theregister 15 December 2024">{{cite web |last1=Mann |first1=Tobias |title=Intro to speculative decoding: Cheat codes for faster LLMs |url=https://www.theregister.com/2024/12/15/speculative_decoding/ |website=theregister |language=en |date=15 December 2024}}</ref><ref name="lwn">{{cite web |last1=Alden |first1=Daroc |title=Portable LLMs with llamafile [LWN.net] |url=https://lwn.net/Articles/971195/ |website=lwn.net |access-date=30 July 2024}}</ref>.

== Предыстория ==

== Предыстория ==