2024年8月3日 (土) 18:57にPttによる

2024-08-03T18:57:00Z

← 古い版	2024年8月4日 (日) 03:57時点における版
1行目:	1行目:
		あんまりよくわかってないのでわかりながらメモっています

		== 誤差を小さくすること ==
		とりあえず単純な線形変換だけを考えてみる。

		<math>
		y = Wx
		</math>

		こうして出てきた <math>y</math> に対して、誤差を計算する。
		<math>
		L = L(y)
		</math>

		<math>L</math> を小さくするための学習で、勾配を使った方法を用いるには、勾配を計算する必要がある。

		<math>
		\frac{\partial L}{\partial W}
		</math>

		↑重み更新のために直接欲しいのはこれなのであるが、<math>L</math> は <math>W</math>の関数として書かれていないため厳しそう。

		一方、<math>L</math> は <math>y</math>の関数として書かれているため、

		<math>
		\frac{\partial L}{\partial y}
		</math>
		これであれば計算できる。

		<math>y = y(W)</math> であり（<math>x</math>は定数）、チェインルールにより

		<math>
		\frac{\partial L}{\partial W} = \frac{\partial L}{\partial y} \frac{\partial y}{\partial W}
		</math>

		このような形で計算できるようになる

		== 多層になった場合 ==
		<math>y = y_2(y_1(x))</math>, <math>y_2 = y_2(y_1; W_2)</math>, <math>y_1 = y_1(x;W_1)</math>

		2層になった場合を考える。
		<math>L=L(y_2)</math> である。

		まず出力に近い方の層では、

		<math>
		\frac{\partial L}{\partial W_2}
		= \frac{\partial L}{\partial y_2} \frac{\partial y_2}{\partial W_2}
		</math>

		もう一方の層では、

		<math>
		\begin{eqnarray}
		\frac{\partial L}{\partial W_1}
		&=& \frac{\partial L}{\partial y_2} \frac{\partial y_2}{\partial W_1} \\
		&=& \frac{\partial L}{\partial y_2} \frac{\partial y_2}{\partial y_1} \frac{\partial y_1}{\partial W_1}
		\end{eqnarray}
		</math>

		チェインルールによって出力に近い方から計算していくのが誤差逆伝播法らしい（たぶん）

		== 勾配消失 ==
		どこかでほぼ0になってしまうと、それより前の層での勾配もほぼ0になってしまい学習が進まなくなる

Ptt: 空白のページを作成しました

2024-08-03T17:42:32Z

空白のページを作成しました

新規ページ

誤差逆伝播法 - 版の履歴

2024年8月3日 (土) 18:57にPttによる

Ptt: 空白のページを作成しました