#Bagging과 Random Forest

# Ensemble(앙상블)

- 여러가지 모델을 함께 사용하여 더 강건한 추론을 하는 방법이다.

- 모델 하나가 decision tree가 된다. 최종 앙상블 모델이 데이터의 다양한 특성을 고려한다.

# Bagging

- Bootstrap을 이용한 앙상블 방법이다.

- 배깅에서 랜덤성을 부여하여 각각의 모델의 데이터의 구성이 다를 수 있다.

- outliar가 많을시 배깅뿐만아니라 어떤 모델로도 좋은 효과를 볼 수 없다.

- 원본데이터에서 복원 추출로 해야 종단노드에서 기존의 원본데이터를 잘 분류할 수 있다.

 

# Random Forest

- 조건을 나눌때 feature를 랜덤으로 일부만 가지고 사용하는것이 Bagging과의 큰 차이점이 있다.

- Random Forest를 Greedy algorithm만을 사용했을 때보다의 장점은 Search space를 줄여주고, overfitting을 방지해준다.