곱셈 노드의 역전파

z =f(x,y) = xy 라는 곱셈 노드 함수가 있다.

 

이 곱셉 노드의 로컬 그래디언트는 다음과 같다.

 

편미분을 r이라고 표현하면,

 

rz / rx = r(xy) / rx = y

 

rz / ry = r(xy) / ry = x

 

현재 입력값에 대한 loss의 변화량은 로컬 그래디언트에 흘러들어온

 

그래디언트를 각각 곱해주면 된다.

 

곱셈 노드의 역전파는

 

순전파 때의 입력 신호들을 서로 바꾼 값을 곱해서 흘려보낸다.