エネルギーベースモデル
Contents
エネルギーベースモデル#
本章ではエネルギーベースモデル (energy-based models; EBMs) という枠組みに含まれるモデルを紹介する．エネルギーベースモデルではネットワークの状態をスカラー値に変換するエネルギー関数 (あるいはコスト関数) を定義し，推論時と学習時の双方においてエネルギーを最小化するようにネットワークの状態を更新する．[LeCun et al., 2006]
入力 \(\mathbf{x}\in \mathbb{R}^d\), エネルギー関数 \(E_\theta: \mathbb{R}^d\to \mathbb{R}\)を考える．
\[\begin{split}
\begin{align}
p_\theta(\mathbf{x})&=\frac{\exp(-E_\theta(\mathbf{x}))}{Z_\theta}\\
Z_\theta &= \int \exp(-E_\theta(\mathbf{x})) d\mathbf{x}
\end{align}
\end{split}\]
\(Z_\theta\)は分配関数．