yeardreamschool4/Machine Learing12 SVM & DBSCAN # 서포트 벡터 머신(Supprot Vector Machine, SVM)- 지도학습에서 학습데이터 사이 중간에 위치하는 경계(support vectors와의 최대거리)를 찾는것이 SVM- 데이터의 크기가 크고 작다는 추상적이지만 작을수록 logistic regression보다 SVM이 더 잘하는 경향성은 있다.- margin이 최대가 된다라는 것은 결정경계가 클래스간 데이터의 분산이 최대가 되는 방향의 "수직"방향으로 결정이 된다.- margin이란 결정경계와 가장 가까운 샘플과의 거리.- 파란색쪽 마진과 빨간색쪽 마진은 같다.- 데이터가 비선형일때 커널을 통하여 선형으로 바꾸어 SVM을 진행한다.- C값이 작아지면 마진의 너비가 넓어지고, 커지면 마진의 너비가 좁아진다. 또한, 구분이 잘 될수록 마진을.. 2024. 5. 28. #Stacking과 Mixthre of Experts # Stacking- 각각의 Base model의 예측값을 가지고 Meta model이 최종 예측 결과를 출력하는 방법.- 가중치 또한 학습하겠다. # Mixture of Experts(MoE)- Expert Model은 전문성을 분류하는 모델. Gating module은 input된 데이터를 분석하여 Expert model에 가중치를 주어 계산.- 2024. 5. 27. #Boosting # Boosting- 각 모델이 "독립"적으로 추론하는 것이 Bagging Model이고, 다음 모델에 잘못 예측된 데이터를 순차적으로 학습하는것이 Boosting이다. # Agaptive boosting- Agaptive boosting는 잘못 예측된 데이터를 집중적으로 학습하는 방법- 처음엔 훈련 데이터에 모두 동일하게 가중치를 주지만 예측 오차에 따라 가중치 조절을 하여 손실함수를 계산한다. # Gradient boosting Machine(GBM)- 다음 모델에 전 모델의 오류를 바로잡으면서 적용- 손실함수의 미분값과 동일하여 'Grandient'라고 함.- XGBoost는 GBM의 강화버전의 대표 라이브러리 2024. 5. 27. #Bagging과 Random Forest # Ensemble(앙상블)- 여러가지 모델을 함께 사용하여 더 강건한 추론을 하는 방법이다.- 모델 하나가 decision tree가 된다. 최종 앙상블 모델이 데이터의 다양한 특성을 고려한다.# Bagging- Bootstrap을 이용한 앙상블 방법이다.- 배깅에서 랜덤성을 부여하여 각각의 모델의 데이터의 구성이 다를 수 있다.- outliar가 많을시 배깅뿐만아니라 어떤 모델로도 좋은 효과를 볼 수 없다.- 원본데이터에서 복원 추출로 해야 종단노드에서 기존의 원본데이터를 잘 분류할 수 있다. # Random Forest- 조건을 나눌때 feature를 랜덤으로 일부만 가지고 사용하는것이 Bagging과의 큰 차이점이 있다.- Random Forest를 Greedy algorithm만을 사용했을 때.. 2024. 5. 27. #Decision Tree # decision tree- 지도학습 알고리즘 중 하나이며, 학습데이터를 이용하여 데이터를 트리형태로 분류.- 종단 노드를 leaf node로도 불리기도 함.- 처음부터 노드분할시 하나의 노드에 하나의 클래스에 해당하는 학습 데이터를 분류할 수 없다.# 노드분할- 절댓값은 데이터의 개수- information Gain은 음수가 될 수 없다. - 가지를 얼마나 쳤는지가 깊이에 해당. 실제로 노드 분할 방벙에서는 최대 깊이 도달이 많이 쓰임-# 회귀를 위한 Decision Tree- MSE도 information gain과 유사한 컨셉- label이 데이터가 실수로 바뀜- 실제로 Decision Tree는 회귀모델에서는 잘 안쓰이는 이유는 데이터의 추론결과의 가짓수가 종단노드의 갯수와 같기 때문이다. 기.. 2024. 5. 27. #Regularization(정규화) # Underfitting과 Overfitting- Train데이터만 보고 얼마나 과소적합, 과적합되어있는지 알 수 없다. underfitting에서 적절로 가려면 모델을 복잡하게 만든다. 일반적으로는 적절과 과적합사이에서 최적화를 많이 하는편이다.- 테스트 데이터가 최소가 되는 지점에서 모델을 사용해야 한다. # L1, L2 Regularization- L2는 제곱, L1은 절댓값으로 되어있고, 손실함수의 W값을 0으로 가깝게 만드는것이 목적이다.- L1 + L2뿐만 아니라 L1과 L2의 값을 줄일때에는 λ(lambda)값을 조정한다.- β값이 0보다 크거나 같아야하며, 음수일때는 -무한대로 본래의 목적을 잃고 엉뚱하게 진행되기에 음수가 되면 안된다.- 기하학적으로 L2는 부드럽게 진행, L1은 직관적.. 2024. 5. 24. 이전 1 2 다음
