Llama.cpp

llama.cpp Библиотека для инференса LLM.

Язык программирования:

C++, C и C++, C

Разработчик:

Георгий Герганов и сообщество

Дата появления:

март 10, 2023 (2023-03-10)

Лицензия:

MIT License

со строчной буквы

llama.cpp — это библиотека с открытым исходным кодом, которая выполняет инференс с использованием различных больших языковых моделей, таких как Llama.

Она разрабатывается совместно с проектом GGML, тензорной библиотекой общего назначения.

В состав библиотеки входят инструменты командной строки, а также сервер с простым веб-интерфейсом.

Предыстория

В конце сентября 2022 года Георгий Герганов начал работу над библиотекой GGML, библиотекой на языке C, реализующей тензорную алгебру. Герганов разрабатывал библиотеку с учётом строгого управления памятью и многопоточности. Создание GGML было вдохновлено работой Фабриса Беллара над LibNC[8]. До llama.cpp Герганов работал над аналогичной библиотекой whisper.cpp, которая реализовала Whisper — модель преобразования речи в текст от OpenAI[9].