Llama.cpp

llama.cpp Библиотека для инференса LLM.

Язык программирования:

C++, C и C++, C

Разработчик:

Георгий Герганов и сообщество

Дата появления:

март 10, 2023 (2023-03-10)

Лицензия:

MIT License

со строчной буквы

llama.cpp — это библиотека с открытым исходным кодом, которая выполняет инференс с использованием различных больших языковых моделей, таких как Llama.

Она разрабатывается совместно с проектом GGML, тензорной библиотекой общего назначения.

В состав библиотеки входят инструменты командной строки, а также сервер с простым веб-интерфейсом.