빅데이터분석기사 필기 핵심용어 암기노트 - 5

CHAPTER 5. 헷갈리는 용어 비교 암기

5-1. 학습 유형 비교

구분	지도학습	비지도학습	강화학습
레이블	있음(필요)	없음(불필요)	보상신호(있음)
예시 알고리즘	회귀, SVM, 의사결정나무, KNN	K-Means, DBSCAN, PCA	Q-Learning, DQN, A3C
목적	예측·분류	패턴 발견·군집화	보상 최대화
주요 적용	예측 모델, 스팸 필터	고객 세분화, 이상 탐지	게임 AI, 로봇 제어

5-2. 앙상블 기법 비교

구분	배깅(Bagging)	부스팅(Boosting)	스태킹(Stacking)
학습 방식	병렬(독립적 학습)	순차(의존적 학습)	2단계 학습
주요 목적	분산(Variance) 감소	편향(Bias) 감소	편향+분산 동시 감소
대표 알고리즘	Random Forest	XGBoost, LightGBM, AdaBoost	다양한 모델 조합
과적합 위험	낮음	상대적으로 높음	낮음

5-3. 정밀도·재현율·F1 비교

지표	공식	분자	강조하는 오류 감소
정밀도(Precision)	TP/(TP+FP)	TP	FP(위양성) 감소
재현율(Recall)	TP/(TP+FN)	TP	FN(위음성) 감소
F1 Score	2×P×R/(P+R)	TP	FP·FN 균형

5-4. 회귀 평가지표 비교

지표	공식	이상치 민감	단위
MAE	Σ|y-ŷ|/n	낮음	원래 단위
MSE	Σ(y-ŷ)²/n	높음	원래 단위²
RMSE	√(Σ(y-ŷ)²/n)	높음	원래 단위
R²	1-SS_res/SS_tot	낮음	무단위(0~1)

5-5. 정규화 기법 비교

구분	Ridge (L2)	Lasso (L1)	Elastic Net
정규화 항	λΣwᵢ²	λΣ|wᵢ|	λ₁Σ|wᵢ| + λ₂Σwᵢ²
계수 처리	0에 가깝게 축소(0이 되지 않음)	일부 계수를 정확히 0으로	일부 0, 나머지 축소
변수 선택	불가	가능(희소 모델)	가능
다중공선성	강점	불안정	강점

5-6. 군집화 알고리즘 비교

구분	K-Means	DBSCAN	계층적 군집화
K 지정	필요	불필요	불필요
이상치	군집에 포함	노이즈로 제외	군집에 포함
군집 모양	구형(원형)	임의 모양	임의 모양
덴드로그램	없음	없음	제공
대규모 데이터	적합	적합	비적합

5-7. L1 vs L2 정규화 비교

구분	L1 정규화	L2 정규화
다른 이름	Lasso	Ridge
패널티 공식	λΣ|wᵢ|	λΣwᵢ²
계수 효과	일부를 정확히 0으로 (희소성)	모두 작게 축소 (0이 되지 않음)
변수 선택	자동 변수 선택 가능	불가
해법 형태	절댓값 비미분으로 수치적 해	닫힌 형태(Closed-form) 해 존재

5-8. 분석 방법론 비교

구분	KDD	CRISP-DM	SEMMA
단계 수	5단계	6단계	5단계
개발	파야드 등(연구자)	유럽 컨소시엄(SPSS)	SAS Institute
프로세스	선형	비선형(반복)	선형
특징	학술적 체계	산업 표준, 가장 널리 사용	SAS 도구 연계
마지막 단계	평가/해석	배포(Deployment)	평가(Assess)

CHAPTER 6. 공식 암기 특훈

6-1. 분류 평가지표 공식 모음

지표	공식	범위	높을수록/낮을수록	언제 중요한가
Accuracy(정확도)	(TP+TN)/(TP+TN+FP+FN)	0~1	높을수록 좋음	클래스 균형일 때
Precision(정밀도)	TP/(TP+FP)	0~1	높을수록 좋음	FP 줄이는 것이 중요할 때(스팸 필터)
Recall(재현율)	TP/(TP+FN)	0~1	높을수록 좋음	FN 줄이는 것이 중요할 때(암 진단)
F1 Score	2×P×R/(P+R)	0~1	높을수록 좋음	클래스 불균형, P와 R 균형 필요 시
Specificity(특이도)	TN/(TN+FP)	0~1	높을수록 좋음	음성 클래스 정확 예측이 중요할 때
AUC	ROC 곡선 아래 면적	0.5~1	높을수록 좋음	임계값 독립적 평가, 불균형 데이터
Log Loss	-Σ[y·log(p)+(1-y)·log(1-p)]/n	≥0	낮을수록 좋음	확률 예측 품질 평가

6-2. 회귀 평가지표 공식 모음

지표	공식	범위	이상치 민감	해석
MAE	Σ|yᵢ-ŷᵢ|/n	≥0, 낮을수록↓	낮음	평균 절대 오차. 원래 단위
MSE	Σ(yᵢ-ŷᵢ)²/n	≥0, 낮을수록↓	높음	평균 제곱 오차. 단위²
RMSE	√MSE	≥0, 낮을수록↓	높음	MSE 제곱근. 원래 단위
R²	1-SS_res/SS_tot	0~1, 높을수록↑	낮음	분산 설명 비율(%)
Adjusted R²	1-(1-R²)(n-1)/(n-p-1)	≤R², 높을수록↑	낮음	변수 수 패널티 적용 R²

6-3. 통계 공식 모음

항목	공식	설명
평균(Mean)	μ = Σxᵢ / n	모든 값의 합을 개수로 나눔
분산(Variance)	σ² = Σ(xᵢ-μ)² / N	편차 제곱의 평균. 표본분산: n-1
표준편차(SD)	σ = √(σ²)	분산의 양의 제곱근. 원래 단위
Z-score	z = (x-μ)/σ	표준화된 점수. 평균 대비 몇 표준편차
IQR	IQR = Q3 - Q1	사분위범위. 이상치에 강건한 산포 측도
IQR 이상치 하한	Q1 - 1.5 × IQR	이 값 미만이면 이상치
IQR 이상치 상한	Q3 + 1.5 × IQR	이 값 초과이면 이상치
피어슨 상관계수	r = Σ(xᵢ-x̄)(yᵢ-ȳ) / [n·σx·σy]	-1~+1. 선형 관계 강도
지니 불순도	Gini = 1 - Σpᵢ²	0: 완전 순수, 0.5: 최대 불순도(이진)
엔트로피	H = -Σpᵢ·log₂(pᵢ)	0: 완전 순수, 1: 최대 불순도(이진)
민감도(재현율)	Sensitivity = TP/(TP+FN)	실제 양성을 양성으로 예측하는 비율
특이도	Specificity = TN/(TN+FP)	실제 음성을 음성으로 예측하는 비율

6-4. 비식별화 7기술 한 줄 정리표

기술	방법	예시	키워드
①가명처리	직접 식별자를 다른 이름(가명)으로 대체	홍길동 → 이순신	대체·치환
②총계처리	개인 데이터를 합계·평균 등 통계값으로 대체	개인 소득 → 평균 소득 공개	집계·통계
③데이터마스킹	일부를 기호(*) 또는 대체값으로 치환	주민번호 850101-1******	기호·마스크
④일반화	구체적 값을 상위 개념(범주)으로 대체	나이 35세 → 30대	상위 범주
⑤범주화	연속 수치를 구간·범주로 변환	소득 3500만원 → 3000~4000만원	구간·범위
⑥데이터삭제	식별에 기여하는 항목 또는 레코드 제거	이름, 주소 컬럼 삭제	제거·삭제
⑦데이터교환	레코드 간 개인 정보 항목을 무작위로 교환	A와 B의 주소값 맞교환	교환·셔플