딥러닝 용어 정리

• Ratio of training to test data : 보통 신경망을 훈련시킬 때 훈련 데이터와 검증 데이터의 비율을 7:3 혹은 8:2르 한다.
• Noise : 분류 문제에서 실제 데이터는 정확하게 두 부분으로 나누어 있지 않다. 데이터가 서로 섞여 있다. Noise가 0일때는 섞여 있지 않을 때를 말하고, Noise가 높아질수록 데이터가 섞여 있는 정도가 심해진다.
• Batch size : 신경망을 학습시킬 때 한 번에 학습하는 데이터의 양을 말한다. 만약 데이터가 100개 있을 때 batch size가 100이라면 한 번 학습할 때 100개를 한꺼번에 학습시킨다는 의미다. 만약 batch size가 10이라면 한 번 학습할 때 데이터 10개를 사용한다는 것이다.
• Epoch(에포크) : epoch란 전체 데이터를 한 번 학습하는 것을 의미한다. 만약 50 epoch라면 전체 데이터를 50번 학습한다는 의미다.
• test loss: 검증 데이터를 신경망에 넣었을 때 오차값
• training loss: 훈련 데이터에 대한 오차값
• learning rage(학습률): learning rate는 딥러닝의 핵심 개념인 경사 하강법과 관련한 용어다. 딥러닝에서는 정답값과 예측 값의 오차를 최소화하는 방법으로 학습을 진행한다. 이때 오차값을 최소화하기 위해 각 뉴런을 연결하는 가중치 값을 수정해 나가는데 한 번 수정할 떄 얼마만큼 수정할지를 learning rate값으로 결정한다.
• Activation: 활성화 함수를 의미한다. ReLU, tanh, Sigmoid, Linear함수를 사용할 수 있다.
• Regulation: 정규화를 의미한다. 정규화의 목접은 과적합을 줄이는 것이다. 과적합은 모델이 학습된 데이터에는 잘 작동하지만 이전에 보지 못한 데이터에는 예측이 좋지 않은 상태를 의미한다.
• Regulation rate: 정규화할 때 어느 정도로 값을 수정할지 정해줄 때 사용하는 값이다.