Алгоритм Бройдена — Флетчера — Гольдфарба — Шанно с ограниченным использованием памяти

Это незавершённая статья. Вы можете помочь проекту, исправив и дополнив её.

Limited-memory BFGS (L-BFGS, LBFGS, LM-BFGS, BFGS с ограниченной памятью) — это алгоритм оптимизации из семейства квазиньютоновских методов, который аппроксимирует алгоритм Бройдена — Флетчера — Гольдфарба — Шанно (BFGS), используя ограниченный объем компьютерной памяти. Это популярный алгоритм для оценки параметров в машинном обучении.

Реалиуемая алгоритмом задача — минимизировать $f(\mathbf{x})$ по неограниченным значениям действительного вектора $\mathbf{x}$, где $f$ — дифференцируемая скалярная функция.

Как и исходный BFGS, L-BFGS использует оценку обратной матрицы Гессе для управления поиском в пространстве переменных, но тогда как BFGS хранит плотное $n\times n$ приближение к обратному Гессиану (n — число переменных в задаче), L-BFGS хранит только несколько векторов, которые неявно представляют приближение. Из-за его результирующего линейного требования к памяти, метод L-BFGS особенно хорошо подходит для задач оптимизации со многими переменными. Вместо обратного Гессе H_k, L-BFGS сохраняет историю последних m обновлений позиции x и градиента ∇f(x), где, как правило, размер истории m может быть небольшим (часто m < 10 {\displaystyle m<10} {\displaystyle m<10}). Эти обновления используются для неявного выполнения операций, требующих произведения Hk-векторов.