순간 변화율이 양수면 해당 지점에서 x가 늘어나면 y도 늘어난다. 반대로 순간 변화율이 음수라는 것은, 해당 지점에서 x가 늘어나면 y가 줄어든다는 뜻이다.
그런데 순간 변화율이 0인 지점은 해당 지점에서 x가 변해도 y는 그대로라는 의미이다. 이런 순간 변화율이 0인 지점이 발생하는 경우는 아래와 같다.
극소점 (Local Minimum)
극소점은 이렇게 그래프에서 아래로 볼록 튀어 나오는 경우를 말한다.
이 지점에서 왼쪽으로는 기울기가 음수고, 오른쪽으로는 기울기가 양수인데, 기울기가 음수에서 양수로 전환할 때 한 번 0을 찍고 가게 된다.
참고로 지금 아래로 볼록 튀어 나오는 부분이 여러 개 있 는 경우에는 극소점이 여러 개 있는 것인데, 이 중에서 제일 작은 값은 최소점, 영어로는 global minimum이라고 하며 나머지는 local minimum이라고 합니다.
극대점 (Local Maximum)
극대점은 극소점이랑 반대의 개념으로 그래프에서 위로 볼록 튀어 나오는 경우이다. 극대점의 왼쪽으로는 기울기가 양수고, 오른쪽으로는 기울기가 음수인데 기울기가 양수에서 음수로 전환할 때 0을 찍고 가는 것이다.
위의 그래프에서 위로 볼록 튀어 나오는 부분이 여러 개 있는데, 가장 높은 지점에 있는 것은 최대점, 영어로는 global maximum이라고 합니다. 그리고 나머지는 local maximum이라고 한다.
안장점 (Saddle Point)
안장점은 극소점도 아니고 극대점도 아닌, 기울기가 음수에서 양수로 바뀌거나 양수에서 음수로 바뀌는 건 아니먀 기울기는 계속 양수인 상태이다. 다만, 기울기가 평평해졌다가 다시 가팔라지는 위와 같은 경우를 '안장점'이라고 한다.
극소점이나 극대점 같은 지점은 그래프에서 특별하다고 볼 수 있다. 앞으로 머신 러닝을 하다 보면 이런 지점들을 찾아야 하는 경우가 자주 발생하는데 이때 순간 변화율이 0이라는 특징을 파악하고 있다면 보다 찾기 수월해진다.