덧셈 노드의 역전파

z = x + y 라는 함수에서,

 

입력값은 x, y이다.

 

편미분을 r로 표현해서 rz / rx 값을 구해보자.

 

y가 픽스된 상태에서 x값의 변화에 대해 z에게 어떤 영향을 주는지 보자.

 

x + 1 = z 이런 함수로 가정했을때,

 

x값이 1 증가하면 z도 1 증가하고,

 

x값이 2 증가하면 z도 2 증가한다.

 

이는 rz / rx의 기울기(gradient)가 1이라는 것이다.

 

반대로 x가 픽스된 상태에서 y값의 변화에 대해 z에게 어떤 영향을 주는지 보자.

 

y + 1 = z 이런 함수로 가정했을때,

 

y값이 1 증가하면, z도 1 증가하고,

 

y값이 2 증가하면, z도 2 증가한다.

 

이는 rz / ry의 기울기(gradient)가 마찬가지로 1이라는 것이다.

 

이렇기 때문에 덧셈 노드에 대한 역전파시 rz / rx * rL / rz = 1 * rL / rz가 된다.