Изменения

</ref> (сокращение от «метод адаптивной оценки моментов», {{lang-en|Adaptive Moment Estimation}}) — одна из модернизацией алгоритма [[Стохастический градиентный спуск|стохастического градиентного спуска]], наиболее популярный [[Оптимизаторы в машинном обучении.|оптимизатор в современном машинном обучении.]]  

</ref> (сокращение от «метод адаптивной оценки моментов», {{lang-en|Adaptive Moment Estimation}}) — одна из модернизацией алгоритма [[Стохастический градиентный спуск|стохастического градиентного спуска]], наиболее популярный [[Оптимизаторы в машинном обучении.|оптимизатор в современном машинном обучении.]]  

Является обновлением оптимизатора [[RMSProp]].

Предложен в 2014 году как обновление оптимизатора [[RMSProp]]<ref name="DeBa" />, основанное на комбинировании его с [[Оптимизатор импульса|оптимизатором импульса]]<ref>{{cite web|url=https://www.oreilly.com/library/view/fundamentals-of-deep/9781491925607/ch04.html|title=4. Beyond Gradient Descent - Fundamentals of Deep Learning &#91;Book&#93;}}</ref>.

В этом оптимизационном алгоритме используются скользящие средние как градиентов, так и вторых моментов градиентов. Если даны параметры <math> w^ {(t)} </math>, а функция потерь <math> L ^ {(t)} </math>, где <math> t </math> отражает индекс текущей итерации (отчёт начинается с <math> 0 </math>), пересчёт параметра алгоритмом Adam задаётся формулами

В этом оптимизационном алгоритме используются скользящие средние как градиентов, так и вторых моментов градиентов. Если даны параметры <math> w^ {(t)} </math>, а функция потерь <math> L ^ {(t)} </math>, где <math> t </math> отражает индекс текущей итерации (отчёт начинается с <math> 0 </math>), пересчёт параметра алгоритмом Adam задаётся формулами