서론  의사결정나무  contents  1    1 서론  
의사결정나무(decision tree) 또는 나무 모형(tree model)은 의사결정 규칙을 나무 구조로 나타내어 전체 자료를 몇 개의 소집단으로 분류(classification)하거나 예측(prediction)을 수 행하는 분석방법이다.
상위 노드로부터 하위노드로 트리구조를 형성하는 매 단계마다 분류변수와 분류 기준값의 선택이 중요하다.상위노드에서의 (분류변수, 분류 기준값)은 이 기준에 의해 분기되는 하위노 드에서 노드(집단) 내에서는 동질성이, 노드(집단) 간에는 이질성이 가장 커지도록 선택된다.
나무 모형의 크기는 과대적합(또는 과소적합) 되지 않도록 합리적 기준에 의해 적당히 조절되 어야 한다.
의사결정나무분석은 시장조사, 광고조사, 의학연구, 품질관리 등의 다양한 분야에서 활용되고 있으며, 구체적인 활용 예는 고객 타겟팅, 고객들의 신용점수화, 캠페인 반응분석, 고객행동예측, 고객 세분화 등을 들 수 있다.
2    2 의사결정나무  4  [그림 1] 의사결정나무의 구조  
의사결정나무의 구조는 다음의 [그림 1]과 같다.이 그림에서 맨 위의 마디를 뿌리노드(root node)라 하며, 이는 분류(또는 예측) 대상이 되는 모든 자료집단을 포함한다.
상위 마디를 부모마디(parent node)라 하고, 하위 마디를 자식마디(child node)라 하며, 더 이상 분기되지 않는 마디를 최종노드(terminal node)라고 부른다.
가지분할(split)은 나무의 가지를 생성하는 과정을, 가지치기(pruning)는 생성된 가지를 잘라내 어 모형을 단순화하는 과정을 말한다.
  2 의사결정나무  
의사결정나무는 목표변수가 이산형인 경우의 분류나무(classification tree)와 목표변수가 연 속형인 경우의 회귀나무(regression tree)로 구분된다.
목표변수가 이산형인 분류나무의 경우 상위노드에서 가지분할을 수행할 때, 분류(기준)변수와 분류 기준값의 선택 방법으로 카이제곱 통계량(chi-square statistic)의-값, 지니 지수(gini index), 엔트로피 지수(entropy index) 등이사용된다.
선택된 기준에 의해 분할이 일어날 때, 카이제곱통계량의-값은 그 값이 작을수록 자식노드 간의 이질성이 큼을 나타내며, 자식노드에서의 지니 지수나 엔트로피 지수는
그 값이 클수록 자식노드 내의 이질성이 큼을 의미한다.따라서 이 값들이 가장 작아지는 방향으 로 가지분할을 수행하게 된다.
4    2 의사결정나무  
예를 들어, 아래의 [그림 2]에서 두 노드(집단)에 대한 지니 지수는 다음과 같이 계산된다.지 니 지수의 값이 클수록 이질적이며 순수도(purity)가 낮다고 할 수 있다.
[그림 2] 두 집단에 대한 지니 지수  5    2 의사결정나무  
위 식에서 는 목표변수의 범주의 수이며, 각 지수의 범위는 c2인 경우에 해당한다.
불확실성 측도(uncertainty measure)인 지니 지수와 엔트로피 지수에 대한 정의는 다음과 같 다.두 지수의 값의 범위는 다르나, 해석은 그 크기에 따라 유사하다.
지니 지수: , 0 ≤ g ≤ 1/2  엔트로피 지수:  , 0 ≤ e ≤ 1  6    2 의사결정나무  분기전:  1  2  2  1  2  2 1  2  분기후:  3  4  2  1  4  2  2  3  0  4  2  0  4  2  1 1  3 8  (분기 전에 비해 감소함)  카이제곱통계량  a b  left  right  6(4) 2(4)  0(2) 4(2)  2   2  2  2  2   참 고 지니지수와 카이제곱통계량의 계산  
의사결정나무에서 아래 그림과 같은 분기를 생각하자.분기 전과 후의 지니지수와 카이제곱통계 량의 계산과정을 소개하면 다음과 같다.
지니지수  7    2 의사결정나무  
-통계량
목표변수가 연속형인 회귀나무의 경우에는 분류변수와 분류 기준값의 선택방법으로 의-값, 분산의 감소량 등이사용된다.
-통계량은 일원배치법에서의 검정통계량으로 그 값이 클수록 오차의 변동에 비해 처리 (treatment)의 변동이 크다는 것을 의미하며, 이는 자식노드(처리들) 간이 이질적임을 의미하므 로 이 값이 커지는(-값은 작아지는) 방향으로 가지분할을 수행(자식노드를 생성)하게 된다.
분산의 감소량(variance reduction)도 이 값이 최대화 되는 방향으로 가지분할을 수행하게 된다.
8    2 의사결정나무  
의사결정나무의 분석과정은 다음과 같다.
[단계 1] 목표변수와 관계가 있는 설명변수들의 선택
[단계 2] 분석목적과 자료의 구조에 따라 적절한 분리기준과정지규칙을 정하여 의사결정 나무의 생성 [단계 3] 부적절한 나뭇가지는 제거: 가지치기   (이하 생략)