Изменения

'''Гиперпараметр''' — [[параметр]] [[Машинное обучение|машинного обучения]], значение которого используется для управления процессом обучения. Его значение устанавливается перед началом обучения, в отличие от значений других параметров (обычно весов узлов), которые определяются во время обучения.

'''Гиперпараметр''' — [[параметр]] [[Машинное обучение|машинного обучения]], значение которого используется для управления процессом обучения. Его значение устанавливается перед началом обучения, в отличие от значений других параметров (обычно весов узлов), которые определяются во время обучения.

Гиперпараметры могут быть подразделены на гиперпараметры модели — они относятся к задаче [[выбор статистической модели|выбора модели]] и не могут быть определены во время [[Приближение с помощью кривых|обучения машины c помощью обучающего набора]], примером таких гиперпараметров являются топология и размер [[Нейронная сеть|нейронной сети]]; и гиперпараметры алгоритма, которые в принципе не имеют влияния на производительность модели но оказывают воздействие на скорость и качество процесса обучения, примером таких гиперпараметров являются [[темп обучения]] и размер набора данных (batch size)<ref>{{Статья|ссылка=https://ui.adsabs.harvard.edu/abs/2015arXiv150802788B|автор=Thomas M. Breuel|заглавие=The Effects of Hyperparameters on SGD Training of Neural Networks|год=2015-08-01|archive-date=2023-06-12|archive-url=https://web.archive.org/web/20230612130856/https://ui.adsabs.harvard.edu/abs/2015arXiv150802788B}}</ref>, также как и размер мини-набора данных (mini-batch size). Набором данных часто называться полная выборка данных, а мини-набором данных размер выборки меньших размеров.

Гиперпараметры могут быть подразделены на гиперпараметры модели — они относятся к задаче [[выбор статистической модели|выбора модели]] и не могут быть определены во время [[Приближение с помощью кривых|обучения машины c помощью обучающего набора]], примером таких гиперпараметров являются топология и размер [[искусственная нейронная сеть|нейронной сети]]; и гиперпараметры алгоритма, которые в принципе не имеют влияния на производительность модели но оказывают воздействие на скорость и качество процесса обучения, примером таких гиперпараметров являются [[темп обучения]] и размер набора данных (batch size)<ref>{{Статья|ссылка=https://ui.adsabs.harvard.edu/abs/2015arXiv150802788B|автор=Thomas M. Breuel|заглавие=The Effects of Hyperparameters on SGD Training of Neural Networks|год=2015-08-01|archive-date=2023-06-12|archive-url=https://web.archive.org/web/20230612130856/https://ui.adsabs.harvard.edu/abs/2015arXiv150802788B}}</ref>, также как и размер мини-набора данных (mini-batch size). Набором данных часто называться полная выборка данных, а мини-набором данных размер выборки меньших размеров.

Учитывая гиперпараметры, алгоритм обучения с помощью данных настраивает собственные параметры. Для различных алгоритмов обучения модели требуются различные гиперпараметры. Некоторым простым алгоритмам (таким как [[обычные наименьшие квадраты]] [[Линейная регрессия|линейной регрессии]]) они не требуются, а например, в алгоритме LASSO, в котором в алгоритм регрессии обычных наименьших квадратов добавляется гиперпараметр [[Регуляризация (математика)|регуляризации]], этот гиперпараметр должен быть установлен перед оценкой параметров с помощью алгоритма обучения<ref>{{Cite journal |last1=Yang |first1=Li |last2=Shami |first2=Abdallah |date=2020-11-20 |title=On hyperparameter optimization of machine learning algorithms: Theory and practice |url=https://www.sciencedirect.com/science/article/pii/S0925231220311693 |journal=Neurocomputing |language=en |volume=415 |pages=295–316 |doi=10.1016/j.neucom.2020.07.061 |arxiv=2007.15745 |s2cid=220919678 |issn=0925-2312}}</ref>.

Учитывая гиперпараметры, алгоритм обучения с помощью данных настраивает собственные параметры. Для различных алгоритмов обучения модели требуются различные гиперпараметры. Некоторым простым алгоритмам (таким как [[обычные наименьшие квадраты]] [[Линейная регрессия|линейной регрессии]]) они не требуются, а например, в алгоритме LASSO, в котором в алгоритм регрессии обычных наименьших квадратов добавляется гиперпараметр [[Регуляризация (математика)|регуляризации]], этот гиперпараметр должен быть установлен перед оценкой параметров с помощью алгоритма обучения<ref>{{Cite journal |last1=Yang |first1=Li |last2=Shami |first2=Abdallah |date=2020-11-20 |title=On hyperparameter optimization of machine learning algorithms: Theory and practice |url=https://www.sciencedirect.com/science/article/pii/S0925231220311693 |journal=Neurocomputing |language=en |volume=415 |pages=295–316 |doi=10.1016/j.neucom.2020.07.061 |arxiv=2007.15745 |s2cid=220919678 |issn=0925-2312}}</ref>.