Nanosystems: Phys. Chem. Math., 2023, 14 (6), 613–625
Toward nanomagnetic implementation of energy-based machine learning
Igor S. Lobanov – Faculty of Physics, ITMO University, Lomonosova Str. 9, Saint Petersburg, 191002 Russia; igor.lobanov@metalab.ifmo.ru, lobanov.igor@gmail.com
DOI 10.17586/2220-8054-2023-14-6-613-625
PACS 75.78.-n, 05.65.+b
ABSTRACT Some approaches to machine learning (ML) such as Boltzmann machines (BM) can be reformulated as energy based models, which are famous for being trained by minimization of free energy. In the standard contrastive divergence (CD) learning the model parameters optimization is driven by competition of relaxation forces appearing in the target system and the model one. It is tempting to implement a physical device having natural relaxation dynamics matching minimization of the loss function of the ML model. In the article, we propose a general approach for the design of such devices. We systematically reduce the BM, the restricted BM and BM for classification problems to energy based models. For each model we describe a device capable of learning model parameters by relaxation. We compare simulated dynamics of the models using CD, Monte-Carlo method and Langevin dynamics. Benchmarks of the proposed devices on generation and classification of hand-written digits from MNIST dataset are provided.
KEYWORDS Machine learning, Boltzmann machine, energy based model, dissipative training.
ACKNOWLEDGEMENTS The work is supported by Russian Science Foundation grant 22-22-00565: https://rscf.ru/en/project/22-22-00565/
FOR CITATION Lobanov I.S. Toward nanomagnetic implementation of energy-based machine learning. Nanosystems: Phys. Chem. Math., 2023, 14 (6), 613–625.
[In Russian] И. С. Лобанов
На пути к наномагнитным реализациям энергетических моделей машинного обучения
АННОТАЦИЯ Некоторые подходы к машинному обучению (МО), такие как машины Больцмана (МБ), могут быть переформулированы в виде моделей, обучение которых основано на минимизации свободной энергии. При обучении таких моделей стандартным методом контрастивной дивергенции (КД) динамика параметров модели обусловлена конкуренцией релаксационных сил в целевой системе и в модельной. В статье мы предлагаем общий подход к созданию физических устройств, релаксационная динамика которых соответствует минимизации функции потерь соответствующей модели МО. Мы систематически сводим модель МБ, ограниченной МБ и МБ для задач классификации к энергетическим моделям. Для каждой модели мы описываем устройство, обучающееся путем релаксации. Моделирование релаксационной динамики проведено методами КД, Монте-Карло и на основе динамики Ланжевена. Приводятся результаты симуляции предлагаемых устройств для решения задач генерации и классификации рукописных цифр из набора данных MNIST.
КЛЮЧЕВЫЕ СЛОВА машинное обучение, машина Больцмана, энергетические модели, диссипативное обучение.
