엔드로피란

정보의 불확실성을 나타내는 지표입니다.

 

https://ko.wikipedia.org/wiki/%EC%A0%95%EB%B3%B4_%EC%97%94%ED%8A%B8%EB%A1%9C%ED%94%BC

 

동전던지기를 할 때, 

 

때문에 엔트로피가 높은 경우, 정보가 불확실할 확률이 높습니다.

 

예를 들면 평평한 동전 같은 경우 앞 뒤가 나올 확률이 50:50이기 때문에, 불확실성이 높은데

 

동전이 기울어져서 앞면이 나올 확률과 뒷면이 나올 확률이 90:10이라고 하면, 상대적으로 앞면이 나올 확률이 거의 확실시 되기 때문에, 엔트로피(불확실성)이 낮습니다.

 

얘를 머신러닝 모델에서 적용하려고 생각을 하면

 

기본적으로 1차적으로 데이터를 예측한 모델에서, 엔트로피가 높은 예측값들만 뽑아와서 2차적으로 가공하여 다시 예측하는 방법으로 사용합니다.

 

왜냐하면 엔트로피가 높은 값은, 머신러닝 모델이 예측했어도 이 것의 정확도를 확신할 수 있는 확률이 낮기 때문입니다.

 

 

 

참조

[1] - https://ko.wikipedia.org/wiki/%EC%A0%95%EB%B3%B4_%EC%97%94%ED%8A%B8%EB%A1%9C%ED%94%BC

[2] - https://www.youtube.com/watch?v=r3iRRQ2ViQM&list=PLVNY1HnUlO241gILgQloWAs0xrrkqQfKe&index=52&t=0s