신경망

신경망

신경망은 직전 포스트에서 기록한 퍼셉트론 구조와 유사한 노드로 구성된 인공망을 의미한다.

신경망과 퍼셉트론의 가장 큰 차이는 바로 활성화 함수입니다.

기존의 계단 함수만으로 복잡한 데이터를 효과적으로 학습하기에는 어려웠습니다.

그렇기 때문에 비선형 함수인 다른 활성화 함수의 개념이 등장합니다.

예시로 시그모이드(Sigmoid), 소프트맥스(Softmax), 렐루(ReLU) 등이 있습니다.

예시의 활성화 함수에 대해서 계단 함수와의 가장 큰 차이점은 값에 대한 그래프를 그려보았을 때 쉽게 알 수 있기 때문에 그래프와 함께 자세하게 살펴보겠습니다.

시그모이드 함수

시그모이드 함수는 출력 값을 0과 1 사이로 변환하는 함수로, 이진 분류 문제에서 주로 사용됩니다.

시그모이드 함수는 입력 값이 커질수록 출력 값이 1에 가까워지고, 입력 값이 작아질수록 출력 값이 0에 가까워지는데요.

그렇기 때문에 기울기 소실 문제를 일으킬 수 있어, 깊은 신경망에서는 사용에 주의해야 합니다.

소프트맥스 함수

렐루 함수

작성중…