Llama.cpp

llama.cpp — это библиотека с открытым исходным кодом, которая выполняет инференс с использованием различных больших языковых моделей, таких как Llama.

Она разрабатывается совместно с проектом GGML, тензорной библиотекой общего назначения.

В состав библиотеки входят инструменты командной строки, а также сервер с простым веб-интерфейсом.