#Boosting

# Boosting

- 각 모델이 "독립"적으로 추론하는 것이 Bagging Model이고, 다음 모델에 잘못 예측된 데이터를 순차적으로 학습하는것이 Boosting이다.

 

# Agaptive boosting

- Agaptive boosting는 잘못 예측된 데이터를 집중적으로 학습하는 방법

- 처음엔 훈련 데이터에 모두 동일하게 가중치를 주지만 예측 오차에 따라 가중치 조절을 하여 손실함수를 계산한다.

 

# Gradient boosting Machine(GBM)

- 다음 모델에 전 모델의 오류를 바로잡으면서 적용

- 손실함수의 미분값과 동일하여 'Grandient'라고 함.

- XGBoost는 GBM의 강화버전의 대표 라이브러리