2026 빅데이터 분석기사 필기 - 4과목 빅데이터 결과해석

2026. 3. 8. 03:15ㆍ빅데이터분석기사

11111

4과목 | 빅데이터 결과해석

1. 분류 모델 평가 지표

① 혼동행렬 (Confusion Matrix)

  예측: Positive(1) 예측: Negative(0)
실제: Positive(1) TP (True Positive) - 정답 FN (False Negative) - 2종 오류
실제: Negative(0) FP (False Positive) - 1종 오류 TN (True Negative) - 정답

 

② 분류 평가 지표

지표 수식 의미 언제 중요
정확도 (Accuracy) (TP+TN)/(TP+TN+FP+FN) 전체 중 올바른 예측 균형 데이터
정밀도 (Precision) TP/(TP+FP) 양성 예측 중 실제 양성 FP 최소화 (스팸 필터)
재현율 (Recall) TP/(TP+FN) 실제 양성 중 맞힌 비율 FN 최소화 (암 진단)
특이도 (Specificity) TN/(TN+FP) 실제 음성 중 맞힌 비율 음성 정확히 판별
F1-Score 2×(P×R)/(P+R) 정밀도·재현율 조화평균 불균형 데이터
F-beta (1+β²)×P×R/(β²×P+R) β>1: 재현율 중시 도메인 우선순위
AUC-ROC ROC 곡선 아래 면적 전체적 분류 성능 임계값 독립적

 

★ 불균형 데이터: 정확도보다 F1-Score, AUC-ROC 사용 권장

★ 암 진단: 재현율(민감도) 최대화 / 스팸 필터: 정밀도 최대화 / 도메인에 맞는 지표 선택 중요

③ ROC 곡선 및 AUC

항목 내용
ROC X축 FPR = FP/(FP+TN) = 1 - 특이도
ROC Y축 TPR = TP/(TP+FN) = 재현율(민감도)
AUC = 1.0 완벽한 분류기
AUC = 0.5 무작위 분류 (대각선)
AUC < 0.5 역방향 분류 (반전하면 개선)
임계값 이동 정밀도↑ ↔ 재현율↓ 트레이드오프

 

④ 다중 분류 평가

방법 설명
Macro 평균 각 클래스 지표의 단순 평균 (클래스 균형 가정)
Micro 평균 전체 TP, FP, FN 합산 후 계산 (불균형에 적합)
Weighted 평균 클래스 샘플 수로 가중 평균

 

2. 회귀 모델 평가

지표 수식 단위 특징
MSE Σ(yᵢ-ŷᵢ)²/n y의 제곱 이상치 민감, 미분 가능
RMSE √MSE y와 동일 원래 단위로 해석
MAE Σ|yᵢ-ŷᵢ|/n y와 동일 이상치 강건, 미분 불가
MAPE Σ|(yᵢ-ŷᵢ)/yᵢ|/n×100 % 상대 오차율, y=0 주의
R² (결정계수) 1-SS_res/SS_tot 없음 0~1, 설명력
조정 R² 1-(1-R²)(n-1)/(n-k-1) 없음 변수 수 패널티 적용

 

※ R²=0: y=ȳ(평균)과 동일한 예측 / R²=1: 완벽한 예측 / R²<0: 평균보다 나쁜 모델

3. 모델 최적화

① 하이퍼파라미터 튜닝

방법 탐색 방식 장점 단점
Grid Search 모든 조합 시도 완전 탐색 파라미터 많으면 느림
Random Search 무작위 조합 샘플링 효율적 최적 보장 안됨
Bayesian Optimization 사전 확률+베이즈 업데이트 효율적 최적화 구현 복잡
Optuna TPE(Tree-structured Parzen Estimator) 현재 가장 많이 사용 설치 필요

 

② 불균형 데이터 처리

방법 설명 도구 주의사항
언더샘플링 다수 클래스 무작위 제거 RandomUnderSampler 정보 손실
오버샘플링 소수 클래스 복제 RandomOverSampler 과적합 위험
SMOTE 소수 클래스 합성 샘플 생성 imbalanced-learn 범주형에 주의
ADASYN 경계 근처 합성 샘플 강조 imbalanced-learn 적응적 샘플링
클래스 가중치 소수 클래스에 높은 가중치 class_weight 파라미터 간단하고 효과적
임계값 조정 분류 임계값 0.5→0.3 등 조정 predict_proba 활용 재현율/정밀도 조절

 

4. 시계열 분석

① 시계열 구성 요소

요소 설명 예시
추세 (Trend) 장기적 증가/감소 경향 인구 증가, 연간 매출 성장
계절성 (Seasonality) 일정 주기 반복 패턴 여름 에어컨, 크리스마스 선물
순환 (Cycle) 장기 불규칙 파동 (주기 불명확) 경기 침체·확장 주기
불규칙 (Irregular) 예측 불가 잡음 돌발 사건, 자연재해

 

② 시계열 정상성

개념 정의 검정
정상성(Stationarity) 평균, 분산, 공분산이 시간에 무관하게 일정 ADF(Augmented Dickey-Fuller) 검정
비정상 시계열 추세, 계절성 있어 정상성 미충족 ARIMA 모델링 전 차분 필요
차분(Differencing) yₜ - yₜ₋₁, 비정상 → 정상화 ARIMA의 d 파라미터
ADF 검정 H₀: 단위근 있음(비정상) / p<0.05이면 정상성 statsmodels.tsa.stattools.adfuller

 

③ 시계열 모델

모델 파라미터 원리 특징
AR(p) p: 자기회귀 차수 과거 자신의 값으로 예측 ACF/PACF로 p 결정
MA(q) q: 이동평균 차수 과거 오차항으로 예측 ACF/PACF로 q 결정
ARMA(p,q) p, q AR + MA 결합 정상 시계열
ARIMA(p,d,q) p, d(차분수), q 비정상→차분→ARMA 비정상 시계열
SARIMA P,D,Q,m 계절성 포함 ARIMA m=계절 주기
단순지수평활 α 최근 데이터 가중 추세·계절성 없을 때
Holt-Winters α,β,γ 추세+계절성 적용 계절성 있을 때
Prophet Facebook 개발 추세+계절+휴일 실무 사용 편리

 

5. 텍스트 분석 (NLP)

① 텍스트 전처리

기법 설명 예시
토큰화(Tokenization) 텍스트를 단어/문장 단위로 분리 'I love NLP' → ['I', 'love', 'NLP']
불용어 제거(Stopwords) 분석 불필요 단어 제거 the, a, is, 이, 가, 은
어간 추출(Stemming) 단어를 어근으로 축소 running→run, studies→studi
표제어 추출(Lemmatization) 문법 고려 기본형 추출 better→good, ran→run
품사 태깅(POS Tagging) 각 단어에 품사 부여 love/VB, NLP/NN
개체명 인식(NER) 고유명사, 날짜, 수량 인식 Samsung/ORG, Seoul/LOC
정규표현식(Regex) 패턴 매칭으로 텍스트 정제 이메일, 전화번호 추출

 

② 텍스트 벡터화

방법 원리 장점 단점
BOW(단어빈도) 단어 출현 빈도로 벡터화 단순, 빠름 순서 무시, 고차원
TF-IDF 빈도×역문서빈도 가중 희귀 단어 강조 의미적 유사성 없음
Word2Vec CBOW/Skip-gram 신경망 의미적 유사성 표현 학습 데이터 필요
GloVe 전역 통계 기반 임베딩 전역 맥락 반영 OOV 취약
FastText 서브워드(n-gram) 단위 OOV 처리 복잡도 높음
BERT 양방향 Transformer 문맥 의존 표현 계산 비용 큼

 

★ TF-IDF = TF × IDF = (문서 내 단어 빈도) × log(전체 문서수/해당 단어 포함 문서수)

③ 주요 NLP 태스크

태스크 설명 모델
텍스트 분류 문서 카테고리 분류 Naive Bayes, BERT
감성 분석 긍정/부정 분류 Logistic Regression, BERT
기계 번역 언어 간 번역 seq2seq, Transformer
요약 문서 핵심 내용 추출 추출적/생성적 요약
질의응답(QA) 질문에 답 추출 BERT, GPT
주제 모델링 문서 내 잠재 주제 추출 LDA, NMF

 

6. 분석 결과 보고 및 시각화

① 분석 보고서 구성

항목 포함 내용
요약(Executive Summary) 핵심 발견사항, 주요 지표, 제언 요약
배경 및 목적 비즈니스 문제 정의, 분석 필요성
데이터 설명 데이터 출처, 기간, 변수 정의, 전처리 방법
분석 방법론 사용 알고리즘, 모델 선택 이유, 검증 방법
분석 결과 주요 인사이트, 수치, 시각화 포함
결론 및 제언 비즈니스 적용 방안, 한계점, 후속 과제

 

② 모델 해석 기법

기법 설명 대상 모델
특성 중요도 모델에서 각 변수의 중요도 계산 트리 계열 모델
SHAP(Shapley) 각 특성의 기여도를 게임이론으로 계산 모든 모델
LIME 국소적 선형 근사로 개별 예측 설명 모든 모델
PDP(부분의존도) 하나의 특성이 예측에 미치는 평균 영향 모든 모델
ICE 플롯 개별 관측치의 특성-예측 관계 모든 모델

 

7. 4과목 예상 문제 20선

번호 문제 정답
1 혼동행렬에서 F1-Score 공식을 쓰시오. 2×(Precision×Recall)/(Precision+Recall)
2 ROC 곡선의 X축과 Y축을 쓰시오. X축: FPR(1-특이도) / Y축: TPR(재현율, 민감도)
3 불균형 데이터에서 정확도보다 사용하는 지표는? F1-Score, AUC-ROC
4 SMOTE란? 소수 클래스 주변에 합성 샘플을 생성하는 오버샘플링 기법
5 TF-IDF 공식을 쓰시오. TF(단어 빈도) × IDF(log(전체문서수/단어포함문서수))
6 ARIMA(p,d,q)에서 d의 의미는? 차분(Differencing) 횟수 - 비정상 시계열을 정상화
7 R²(결정계수)의 범위와 의미를 쓰시오. 0~1, 1에 가까울수록 모델 설명력 높음
8 정밀도(Precision)가 중요한 상황의 예는? 스팸 메일 분류 - 정상 메일을 스팸으로 오분류 방지
9 재현율(Recall)이 중요한 상황의 예는? 암 진단 - 실제 환자를 음성으로 오분류 방지
10 시계열 정상성 검정 방법은? ADF(Augmented Dickey-Fuller) 검정
11 RMSE와 MAE의 이상치 민감도 차이는? RMSE: 이상치 민감(제곱) / MAE: 이상치 강건(절댓값)
12 Grid Search의 단점은? 파라미터 조합 수가 많으면 계산 비용 매우 큼
13 AUC=0.5의 의미는? 무작위 분류와 동일한 성능 (ROC 대각선)
14 특성 중요도(Feature Importance)를 제공하는 모델은? 트리 계열 모델 (랜덤포레스트, XGBoost 등)
15 SHAP의 원리를 설명하시오. 게임이론의 Shapley 값으로 각 특성의 예측 기여도 계산
16 Holt-Winters 모델의 세 파라미터는? α(수준), β(추세), γ(계절성) 평활 계수
17 단계구분도(Choropleth)와 카토그램의 차이는? Choropleth: 색상으로 표현 / 카토그램: 면적 자체를 변형
18 MAPE 지표의 단점은? 실제값(y)이 0일 때 계산 불가, 언더 예측 편향
19 Word2Vec의 두 가지 학습 방식은? CBOW(주변 단어로 중심 단어 예측), Skip-gram(중심으로 주변 예측)
20 모델 해석 기법 LIME이란? 개별 예측에 대해 국소적 선형 근사를 통해 모델 설명
2222