결정트리

결정트리(decision tree)에 대해서 알아보겠습니다.

 

결정트리라는 이름처럼, 결정을 하는 트리입니다.

 

 

그러면 얘가 머신러닝과 무슨 상관이 있는가? 라고 하시면, 일단 사람의 의사결정 과정을 생각해보겠습니다.

 

사람이 어떠한 결정을 하는데에 굉장히 많은 상황이 고려됩니다.

 

예를 들면, 오늘 비가 올 것 같다 라고 했을 때, 우산을 들고 갈까 말까 고민을 하다보면, 예전에는 이렇게 바람이 불면 비가 왔었다 라던가 일기예보에서 확률이 몇퍼센트라고 했던가 처럼 많은 상황이 고려가 됩니다.

 

이 과정에서 저희는 정보획득량이라는 것을 알게 됩니다.

 

정보획득량은 정보함수와 엔트로피로 구성되어 있습니다. 정보획득량은 어떤 사건이 얼마만큼의 정보를 줄 수 있는지를 수치화한 값입니다. 정보함수와 엔트로피는 어렵게 설명하면 너무 많은데 쉽게 설명하면

 

정보함수 - 정보의 가치를 반환합니다. 발생 확률이 적을 수로 정보의 가치가 크고, 반대의 경우 정보의 가치가 적습니다.

엔트로피 - 무질서도를 수치화한 값입니다. 

 

이 결정트리를 이용하여, 어느 것이 가장 적합한지 적합성을 알아볼 수 있습니다.

 

 

 

 

 

 

 

참조

[1] - https://gomguard.tistory.com/86

[2] - https://brunch.co.kr/@chris-song/68