머신 러닝 (25) Cat Boost Classification

 import pandas as pd

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.datasets import fetch_openml
from sklearn.model_selection import train_test_split, StratifiedKFold, GridSearchCV
from catboost import CatBoostClassifier
from sklearn.metrics import accuracy_score, classification_report

print("Loading Pima Indians Diabetes Dataset...")
pima = fetch_openml(name='diabetes', version=1, as_frame=True)
X = pima.data
y = pima.target.map({'tested_negative': 0, 'tested_positive': 1}).astype(int)

print(f"데이터 크기: {X.shape}")
print(f"피처 목록: {list(X.columns)}")
print(f"\n클래스 분포:\n{y.value_counts()}")

# 데이터 샘플
print("\n데이터 샘플:")
print(X.head())

print("\n기술 통계:")
print(X.describe())

# 데이터 분리 (stratify로 클래스 비율 유지)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42, stratify=y
)

print(f"Train: {X_train.shape}, Test: {X_test.shape}")
print(f"\nTrain 클래스 분포:\n{y_train.value_counts()}")

# 기본 모델 생성
cat_clf = CatBoostClassifier(
    iterations=100,
    learning_rate=0.1,
    depth=6,
    random_state=42,
    verbose=0  # 학습 로그 비활성화
)

# 학습
cat_clf.fit(X_train, y_train)

# 예측
y_pred = cat_clf.predict(X_test)

# 평가
train_acc = cat_clf.score(X_train, y_train)
test_acc = accuracy_score(y_test, y_pred)

print("="*50)
print("기본 CatBoost Classifier 결과")
print("="*50)
print(f"Train Accuracy: {train_acc:.4f}")
print(f"Test Accuracy: {test_acc:.4f}")
print(f"\n분류 리포트:\n{classification_report(y_test, y_pred)}")

# 하이퍼파라미터 그리드 정의
param_grid = {
    'iterations': [100, 150, 200],
    'learning_rate': [0.01, 0.05, 0.1],
    'depth': [4, 6, 8],
    'l2_leaf_reg': [1, 3, 5]
}

print("파라미터 그리드:")
for key, value in param_grid.items():
    print(f"  {key}: {value}")

# 총 조합 수
total_combinations = np.prod([len(v) for v in param_grid.values()])
print(f"\n총 파라미터 조합: {total_combinations}개")

# StratifiedKFold 설정
skf = StratifiedKFold(n_splits=3, shuffle=True, random_state=42)

# GridSearchCV 생성
grid_clf = GridSearchCV(
    estimator=CatBoostClassifier(random_state=42, verbose=0),
    param_grid=param_grid,
    cv=skf,
    scoring='accuracy',
    n_jobs=-1,
    verbose=1
)

print("GridSearchCV 생성완료...\n")

grid_clf.fit(X_train, y_train)

# 최적 파라미터 출력
print("="*50)
print("최적 하이퍼파라미터")
print("="*50)
for param, value in grid_clf.best_params_.items():
    print(f"{param:20s}: {value}")

print(f"\n최적 CV Score: {grid_clf.best_score_:.4f}")

# 최적 모델 저장
best_clf = grid_clf.best_estimator_

# 테스트 데이터 예측
y_pred_best = best_clf.predict(X_test)

# 성능 평가
train_acc_best = best_clf.score(X_train, y_train)
test_acc_best = accuracy_score(y_test, y_pred_best)

print("="*50)
print("최적화된 CatBoost 결과")
print("="*50)
print(f"Train Accuracy: {train_acc_best:.4f}")
print(f"Test Accuracy: {test_acc_best:.4f}")
print(f"\n분류 리포트:\n{classification_report(y_test, y_pred_best)}")

# 성능 비교 데이터프레임
comparison = pd.DataFrame({
    'Model': ['Default CatBoost', 'Tuned CatBoost'],
    'Train Acc': [train_acc, train_acc_best],
    'Test Acc': [test_acc, test_acc_best]
})

print("\n성능 비교:")
print(comparison.to_string(index=False))

# 시각화
fig, ax = plt.subplots(1, 1, figsize=(6, 4))

x = np.arange(len(comparison))
width = 0.35

ax.bar(x - width/2, comparison['Train Acc'], width, label='Train', alpha=0.8)
ax.bar(x + width/2, comparison['Test Acc'], width, label='Test', alpha=0.8)

ax.set_ylabel('Accuracy')
ax.set_title('CatBoost Performance Comparison')
ax.set_xticks(x)
ax.set_xticklabels(comparison['Model'])
ax.legend()
ax.set_ylim([0.6, 1.0])

# 값 표시
for i, v in enumerate(comparison['Train Acc']):
    ax.text(i - width/2, v + 0.01, f'{v:.4f}', ha='center', va='bottom', fontsize=9)
for i, v in enumerate(comparison['Test Acc']):
    ax.text(i + width/2, v + 0.01, f'{v:.4f}', ha='center', va='bottom', fontsize=9)

plt.tight_layout()
plt.show()

# 피처 중요도 추출
importances = best_clf.get_feature_importance()
feature_names = X.columns
indices = np.argsort(importances)[::-1]

# 중요도 정렬
importance_df = pd.DataFrame({
    'Feature': feature_names[indices],
    'Importance': importances[indices]
})

print("\n피처 중요도 순위:")
print(importance_df.to_string(index=False))

# 시각화
plt.figure(figsize=(6, 4))
sns.barplot(x=importances[indices], y=feature_names[indices], palette='viridis')
plt.title("Feature Importances (CatBoost)")
plt.xlabel("Importance")
plt.ylabel("Features")
plt.tight_layout()
plt.show()

# Early Stopping with eval_set
cat_early = CatBoostClassifier(
    **grid_clf.best_params_,
    early_stopping_rounds=10,
    random_state=42,
    verbose=0
)

# Validation set 분리
X_tr, X_val, y_tr, y_val = train_test_split(
    X_train, y_train, test_size=0.2, random_state=42, stratify=y_train
)

# 학습 (eval_set 제공)
cat_early.fit(
    X_tr, y_tr,
    eval_set=(X_val, y_val),
    verbose=False
)

print(f"\nEarly Stopping:")
print(f"최적 트리 개수: {cat_early.get_best_iteration() + 1}")
print(f"설정 트리 개수: {grid_clf.best_params_['iterations']}")
print(f"Test Accuracy: {cat_early.score(X_test, y_test):.4f}")

print("\n" + "="*50)
print("CatBoost Classification 완료")
print("="*50)

print(f"\n최종 성능:")
print(f"  - 기본 모델 정확도: {test_acc:.4f}")
print(f"  - 최적화 모델 정확도: {test_acc_best:.4f}")
print(f"  - 성능 향상: {(test_acc_best - test_acc)*100:+.2f}%p")

print(f"\n최적 파라미터:")
for param, value in grid_clf.best_params_.items():
    print(f"  - {param}: {value}")

print(f"\nTop 3 중요 피처:")
for i in range(min(3, len(importance_df))):
    print(f"  {i+1}. {importance_df.iloc[i]['Feature']}: {importance_df.iloc[i]['Importance']:.4f}")

print("\n" + "="*50)

댓글

댓글 쓰기

이 블로그의 인기 게시물

베이스 캠프에서 (1)

이미지
베이스 캠프에서는 우선 시작을 독려해주는 글과 함께 Visual Studio Code를 설치할 것을 요청했다. 일단 VS Code의 경우 이미 내가 사용하는 기기에 설치가 되어 있었기 때문에 extensions만 추가로 설치했다.  우선 Python이 설치를 하였고 그 외에도 코드의 가독성을 높이는  Indent Rainbow, Better Comments, Colorize 등을 설치하였다. 한국어로 진행되는 과정인 만큼 VS Code용 한국어 팩도 설치했다. 다음으로 계속해서 캠프 미션을 따라갔다. 터미널(MAC을 사용할 경우. Windows는 PowerShell 이다.)에 대해 알아보았다. 터미널이란 command line interface로 서버 관리, 개발, 자동화 작업 등에 사용되는 명령어 등을 입력할 수 있는 환경이다. 터미널에서 사용되는 명령어는 파일 관리, 프로세스 제어, 네트워크 설정 등의 작업에 사용되고 시스템 자원에 접근하고 제어하는 도구다. Command Line Interface 와 Graphic User Interface에는 차이가 있다. 우리가 흔히 컴퓨터를 사용할 때 마우스 등을 통해 작업 실행을 하는 것이 Graphic User Interface이다. 반면에 Command Line Interface의 경우 키보드 등으로 명령어를 입력하고 텍스트로 출력되는 형태로 시스템을 제어하는 것이다. Git, Node.js, Docker, Kubernetes, AWS CLI, Terraform 등은 모두 CLI를 기반으로 동작하며 여러 서버는 CLI 환경에서 관리한다. 특히 리눅스가 그러하며 원격으로 서버에 접속해 관리하거나 배포할 경우 이용되어야 하기 때문에  개발자들은 필수로 사용법을 익혀야 하는 사항이다. 그 다음 목차는 Git 과 GitHub에 관한 내용이다. Git 이란 코드의 변경 이력을 추적하고 관리하는 데 이용하는 관리 시스템으로 개인 컴퓨터에서 동작하며 인터넷 연결 없이도 관리가 가능한 시스템이다. G...
자세한 내용 보기

베이스 캠프에서 (2)

이미지
 HTML이나 XML 같은 마크업 언어로 스타일 시트 언어인 CSS 언어에 대해서 베이스 캠프의 링크를 타고 들어가 배우고 실습에 도전했다. 처음에는 오류가 나 명령어가 구현된 화면에 나타나는 것을 볼 수 있었다. 끝인 줄 알았지만 " ‘실습 도전하기’만 bold처리 하세요."로 되어 있었다. <! DOCTYPE html > < html lang = "ko" > < head >     < meta charset = "UTF-8" >     < title > 오늘의 할 일 </ title >     < style >         body {             background-color : #f4f4f4 ;             font-family : Arial , sans-serif ;         }         h1 { color : #3498db ; }         p { font-size : 18px ; }         a { text-decoration : none ; }     </ style > </ head > < body >     < a href = "https://ozcodingschool.com/" >< h1 > 오늘의 할 일 </ h1 ></ a >     < ul >         < li > HTML 예습하...
자세한 내용 보기

Database 분석 (4)

이미지
오늘은 데이터베이스 프로젝트를 진행했다.  문제는 다음과 같았다. # 📝 문제 리스트 아래 문제 중 **4개 이상 (필수 1개 + 선택 3개 이상)** 을 선택하여 수행합니다.   ## [필수] 1) 고심박(high HR) 위험군 탐지 - 일정 기준(예: heart_rate > 150)을 넘는 순간을 찾아서   - 발생 시각     - 해당 활동     - 발생 빈도를 분석한다. ## 2) 활동(activity)별 평균 생체지표 분석 - 활동별로 heart_rate, step_count, resp_rate, body_temp의 평균을 계산하고 비교한다. - 어떤 활동이 가장 높은 생체 지표를 보이는지 분석한다. ## 3) 체온 이상치(high fever) 탐지 - body_temp ≥ 38.0°C인 구간을 찾아     - 어떤 활동에서 많이 나타나는지     - 위험 패턴이 존재하는지 분석한다. ## 4) 산소포화도(SpO₂) 저하 위험 탐지 - blood_oxygen < 94% 데이터를 필터링하여     - 발생 시각     - activity를 분석한다. ## 5) 활동별 활동량(step_count) 분석 - 활동별로 step_count 합계와 평균을 구하고   - 가장 활동량이 많은 활동을 찾는다. ## 6) 센서 오류(is_tampered) 데이터 탐지 - is_tampered = 1 이 발생한 횟수를 파악하고   - 오류가 어떤 활동에서 많이 발생하는지 분석한다. ## 7) 시간대별 생체지표 분석 - 시간(HOUR) 기준으로 데이터를 그룹화하여     - 시간대별 평균 heart_rate     - 시간대별 평균 body_temp 패턴을 분석한다. ## 8) ...
자세한 내용 보기