2026 빅데이터분석기사 필기 요약 - 3과목 빅데이터 모델링

3과목 | 빅데이터 모델링

1. 머신러닝 기초

① 학습 유형 분류

유형	레이블	목적	알고리즘 예
지도학습	있음	입력→출력 매핑 학습	분류, 회귀, 의사결정나무
비지도학습	없음	데이터 내 구조 발견	군집화, 차원축소, 연관규칙
반지도학습	일부만	레이블 일부로 학습	Self-training, Label Propagation
강화학습	보상신호	환경과 상호작용으로 학습	Q-Learning, DQN, PPO

 

② 편향-분산 트레이드오프

개념	설명	증상	해결
편향(Bias)	모델이 너무 단순해 학습 데이터도 못 맞춤	과소적합(Underfitting)	모델 복잡도 증가
분산(Variance)	모델이 너무 복잡해 노이즈까지 학습	과적합(Overfitting)	정규화, 데이터 증강
최적 복잡도	편향+분산 합 최소화	일반화 성능 최대	교차검증으로 탐색

 

③ 과적합 방지 기법

기법	설명	적용 알고리즘
정규화(L1/L2)	가중치 페널티로 과도한 복잡도 억제	선형/로지스틱 회귀
드롭아웃	학습 시 뉴런 무작위 비활성화	신경망
조기 종료	검증 성능 악화 시 학습 중단	신경망, GBM
배치 정규화	미니배치 정규화	신경망
데이터 증강	학습 데이터 변형으로 다양성 증가	이미지 분류
교차검증	여러 분할로 일반화 성능 추정	전체
앙상블	다양한 모델 결합	랜덤포레스트, 부스팅

 

④ 교차검증 방법

방법	설명	특징	주의사항
Hold-out	고정 비율로 분리 (7:3 또는 8:2)	빠름, 분할에 따라 결과 차이	데이터 충분할 때
K-Fold	K등분 후 K번 순환 검증	K=5 또는 10 주로 사용	계층 유지 안됨
Stratified K-Fold	클래스 비율 유지 K-Fold	불균형 데이터에 적합	분류 문제 권장
LOOCV	1개씩 leave-out	소규모 데이터	계산 비용 매우 큼
Time-series Split	시계열 순서 유지 분할	미래 데이터 누수 방지	시계열 데이터 전용

 

2. 분류 알고리즘

① 의사결정나무 (Decision Tree)

항목	내용
원리	특성 값에 따라 데이터를 재귀적으로 분기하여 순수한 노드 생성
분기 기준 (분류)	지니 불순도 또는 엔트로피 최소화
분기 기준 (회귀)	MSE, MAE, 분산 최소화
트리 구성요소	루트 노드→내부 노드→리프 노드
사전 가지치기	max_depth, min_samples_split, min_samples_leaf 제한
사후 가지치기	트리 완성 후 불필요한 가지 제거
장점	해석 가능, 비선형 관계, 전처리 불필요, 혼합 데이터 타입
단점	과적합 취약, 작은 데이터 변화에 불안정, 불균형 데이터 취약

 

불순도 지표	수식	범위	알고리즘
지니 불순도	1 - Σpᵢ²	0(순수)~0.5(혼합)	CART ★
엔트로피	−Σpᵢlog₂pᵢ	0(순수)~1(혼합)	ID3, C4.5
정보이득	부모엔트로피 - 자식엔트로피의 가중평균	클수록 좋음	ID3
정보이득비율	정보이득/분기 엔트로피	편향 보정	C4.5

 

② 앙상블 학습

방법	원리	학습 방식	대표 알고리즘
배깅 (Bagging)	부트스트랩+다수결/평균	병렬	랜덤 포레스트
부스팅 (Boosting)	순차·가중치 학습	순차	AdaBoost, GBM, XGBoost, LightGBM
스태킹 (Stacking)	다층 메타 모델	단계적	블렌딩, Stacking

 

③ 랜덤 포레스트

항목	내용
원리	다수 의사결정나무를 배깅으로 생성 후 다수결(분류)/평균(회귀)
특이점	각 노드에서 무작위 특성 서브셋(√p개) 선택 → 트리 다양성
하이퍼파라미터	n_estimators, max_depth, min_samples_split, max_features
특성 중요도	각 특성이 불순도 감소에 기여한 정도
장점	과적합 강건, 특성 중요도 계산, 이상치 강건
단점	블랙박스, 메모리/시간 비용, 해석 어려움

 

④ 부스팅 계열 알고리즘

알고리즘	원리	특징	파라미터
AdaBoost	오분류 샘플 가중치 증가	단순 분류기 조합	n_estimators, learning_rate
GBM	잔차를 순차적으로 학습	그래디언트 기반	n_estimators, learning_rate, max_depth
XGBoost	GBM 개선+L1/L2 정규화+병렬처리	대회 표준	subsample, colsample, reg_alpha
LightGBM	리프 중심 성장+히스토그램 기법	빠름, 대용량	num_leaves, min_data_in_leaf
CatBoost	범주형 자동 처리	전처리 최소화	iterations, depth

 

※ XGBoost: level-wise 트리 / LightGBM: leaf-wise 트리 (더 빠르지만 과적합 주의)

⑤ 로지스틱 회귀 (Logistic Regression)

항목	내용
원리	선형 조합을 시그모이드 함수로 확률값으로 변환
수식	P(Y=1|X) = σ(β₀+β₁x₁+...+βₙxₙ) = 1/(1+e^(-z))
출력	0~1 확률값, 0.5 기준으로 이진 분류 (임계값 조정 가능)
손실함수	이진 교차 엔트로피(Binary Cross-Entropy, Log Loss)
가정	선형 결정경계, 독립변수 선형 결합
다중 클래스	Softmax 회귀 (OvR 또는 OvO)
장점	확률 해석, 계수로 영향력 파악, 빠름
단점	비선형 경계 불가, 이상치 민감, 다중공선성 문제

 

⑥ SVM (서포트 벡터 머신)

항목	내용
원리	클래스 경계와의 마진 최대화하는 초평면(결정경계) 찾기
서포트 벡터	결정 경계에 가장 가까운 데이터 포인트
하드마진	이상치 허용 없음 (선형 분리 가능할 때)
소프트마진	C 파라미터로 오분류 허용 (현실 적용)
커널 트릭	비선형 → 고차원 매핑: 선형(Linear), RBF, 다항(Poly)
파라미터 C	클수록 하드마진(과적합 위험), 작을수록 소프트마진
파라미터 γ	RBF 커널 영향 범위, 클수록 복잡한 경계
장점	고차원, 소규모, 비선형 데이터 강점
단점	대용량 느림, 파라미터 조정 어려움, 확률 출력 안됨(기본)

 

⑦ KNN (K-최근접 이웃)

항목	내용
원리	새 데이터와 가장 가까운 K개 이웃의 레이블로 분류/평균으로 회귀
거리 측정	유클리드(L2), 맨해튼(L1), 민코프스키, 해밍(범주형)
K 선택	홀수 권장(동점 방지), 교차검증으로 최적 K 탐색
게으른 학습(Lazy)	별도 학습 단계 없음 - 예측 시 모든 데이터 비교
장점	단순, 비선형 경계, 학습 빠름
단점	예측 느림, 고차원 데이터 취약(차원의 저주), 이상치 민감

 

⑧ 나이브 베이즈 (Naive Bayes)

항목	내용
원리	베이즈 정리 + 특성 조건부 독립 가정
수식	P(Y|X) ∝ P(Y) × Π P(xᵢ|Y)
조건부 독립 가정	특성들이 클래스 주어지면 서로 독립 (현실에선 성립 안해도 잘 작동)
종류	가우시안(연속), 다항분포(카운트), 베르누이(이진)
장점	빠름, 소규모 데이터, 텍스트 분류에 강함
단점	독립 가정 위반 시 성능 저하, 0 확률 문제(Laplace smoothing 필요)

 

3. 회귀 알고리즘

① 단순·다중 선형 회귀

항목	내용
단순 선형 회귀	y = β₀ + β₁x + ε (독립변수 1개)
다중 선형 회귀	y = β₀ + β₁x₁ + β₂x₂ + ... + βₙxₙ + ε
OLS 추정	최소제곱법: 잔차(ε) 제곱합 최소화
가정 1: 선형성	Y와 X 간 선형 관계
가정 2: 정규성	오차항 정규분포
가정 3: 등분산성	오차항 분산 일정
가정 4: 독립성	오차항 자기상관 없음
가정 5: 다중공선성 없음	독립변수 간 높은 상관 없음 (VIF < 10)

 

② 정규화 회귀

방법	손실함수	패널티	변수 선택	특징
Ridge (L2)	MSE + λΣβᵢ²	계수 제곱합	불가 (0 되지 않음)	다중공선성 해결
Lasso (L1)	MSE + λΣ|βᵢ|	계수 절댓값합	가능 (0으로 수축)	희소 모델
Elastic Net	MSE + λ₁Σ|βᵢ| + λ₂Σβᵢ²	L1+L2 혼합	일부 가능	Lasso+Ridge 장점

 

★ Lasso(L1): 계수를 정확히 0으로 → 변수 선택 효과 / Ridge(L2): 계수 작게만 → 0은 안됨

★ λ(람다) 클수록: 정규화 강해 계수 작아짐 / λ=0: 일반 선형 회귀

4. 군집 알고리즘

① K-Means

항목	내용
원리	K개 중심(centroid)까지 거리 합 최소화
알고리즘	① 초기 K개 중심 무작위 선택 → ② 가장 가까운 군집 배정 → ③ 중심 재계산 → ④ 수렴까지 반복
K 선택법	엘보우(Elbow): WCSS 감소 꺾이는 K / 실루엣 계수 최대 K
K-Means++	초기 중심을 멀리 떨어진 점으로 선택하여 수렴 개선
가정	구형(원형) 군집, 비슷한 크기·밀도
장점	빠름, 확장성, 구현 단순
단점	K 사전 지정, 초기값 의존, 비구형 군집 약함, 이상치 민감

 

② 계층적 군집화

항목	내용
응집형(Agglomerative)	각 점을 개별 군집으로 시작 → 점진적 병합 (Bottom-Up)
분리형(Divisive)	전체를 하나의 군집 → 점진적 분리 (Top-Down)
덴드로그램	병합 과정을 나무 구조로 시각화, 임의 K 선택 가능
단일연결(Single)	군집 간 최솟값 거리, 사슬 효과 발생
완전연결(Complete)	군집 간 최댓값 거리, 컴팩트 군집
평균연결(Average)	군집 간 평균 거리, 단일·완전의 중간
워드연결(Ward)	내부 분산 증가 최소화, 균형 잡힌 군집
단점	O(n²) 계산 복잡도, 대용량 데이터에 느림

 

③ DBSCAN (밀도 기반)

항목	내용
원리	ε 반경 내 MinPts 이상 있으면 핵심점, 군집 형성
핵심점(Core)	ε 반경 내 MinPts 이상 이웃
경계점(Border)	ε 반경 내 MinPts 미만이지만 핵심점 이웃
잡음점(Noise)	핵심점도 경계점도 아닌 점 → 이상치
ε	반경(epsilon): 너무 크면 모두 한 군집
MinPts	최소 포인트: 보통 차원수×2 권장
장점	K 불필요, 비구형 군집, 이상치 탐지
단점	밀도 차이 큰 데이터 취약, 파라미터 민감, 고차원 어려움

 

④ 군집 평가 지표

지표	수식	범위	해석
실루엣 계수	(b-a)/max(a,b)	−1~1	1에 가까울수록 좋음
Davies-Bouldin	Avg(내부산포/군집간거리)	낮을수록 좋음	0에 가까울수록
Calinski-Harabasz	군집간분산/군집내분산	높을수록 좋음	분리도
Dunn Index	군집간최소거리/군집내최대지름	높을수록 좋음	컴팩트+분리

 

※ a = 같은 군집 내 평균 거리 / b = 가장 가까운 다른 군집까지 평균 거리

5. 차원 축소

① PCA (주성분 분석)

항목	내용
원리	분산을 최대로 보존하는 직교 축(주성분)으로 데이터 투영
절차	데이터 표준화 → 공분산 행렬 → 고유값·고유벡터 → 주성분 선택
주성분 선택	설명된 누적 분산 비율 80~95% 수준에서 결정
고유값(Eigenvalue)	주성분이 설명하는 분산의 크기
고유벡터(Eigenvector)	주성분의 방향
장점	차원 축소, 다중공선성 제거, 시각화(2D/3D)
단점	원래 변수 해석 불가, 선형 변환만 가능, 이상치 민감

 

② 기타 차원 축소

방법	유형	특징	활용
LDA(선형판별분석)	지도학습	클래스 분리 최대화	분류 전 전처리
t-SNE	비지도(비선형)	고차원→2D/3D 시각화	탐색적 시각화
UMAP	비지도(비선형)	t-SNE보다 빠름, 전역구조 보존	대규모 시각화
오토인코더	비지도(딥러닝)	인코더-디코더 신경망	비선형 차원 축소
SVD(특이값 분해)	수학적	PCA 일반화	추천 시스템, NLP
NMF(비음수 행렬 분해)	비음수 제약	해석 가능한 성분	토픽 모델링

 

6. 딥러닝

① 인공신경망 구조

구성요소	설명	특징
입력층(Input)	외부 데이터 입력	뉴런 수 = 특성 수
은닉층(Hidden)	특성 추출, 변환	1개 이상 (딥러닝: 여러 개)
출력층(Output)	최종 예측 출력	분류: 클래스 수 / 회귀: 1
가중치(Weight)	연결 강도, 역전파로 학습	경사하강법으로 업데이트
편향(Bias)	각 뉴런의 임계값 조정	x=0일 때도 활성화 조절
활성화 함수	비선형성 부여	없으면 선형 모델과 동일

 

② 활성화 함수

함수	수식	출력 범위	특징	사용처
Sigmoid	1/(1+e^(-x))	0~1	기울기 소실(Vanishing Gradient)	이진 출력층
Tanh	(eˣ-e⁻ˣ)/(eˣ+e⁻ˣ)	−1~1	Sigmoid보다 강한 기울기	RNN 은닉층
ReLU	max(0,x)	0 이상	기울기 소실 해결, 빠름	은닉층 표준
Leaky ReLU	max(0.01x,x)	(-∞,+∞)	Dead ReLU 방지	은닉층
ELU	x≥0: x / x<0: α(eˣ-1)	(-α,+∞)	음수도 표현, 평균 0 근사	은닉층
Softmax	eˣⁱ/Σeˣʲ	0~1, 합=1	다중 클래스 확률 출력	다중 분류 출력층
GELU	x×Φ(x)	부드러운 ReLU	Transformer에서 사용	BERT, GPT

 

③ 신경망 학습 과정

단계	내용
순전파(Forward)	입력 → 은닉층 → 출력층 순서로 예측값 계산
손실 계산	예측값과 실제값의 차이(손실함수) 계산
역전파(Backward)	Chain Rule로 각 가중치의 기울기 계산
가중치 업데이트	경사하강법으로 가중치 조정 (w = w - α∇L)
에포크(Epoch)	전체 학습 데이터 1회 학습 = 1 에포크
배치(Batch)	한 번의 가중치 업데이트에 사용하는 샘플 수

 

④ 옵티마이저

옵티마이저	원리	특징
SGD	단일 샘플로 기울기 계산	노이즈 많음, 탈출 용이
Mini-batch SGD	소배치(32~256)로 기울기	안정+효율 균형
Momentum	이전 기울기 방향 누적	지역 최솟값 탈출
AdaGrad	학습률 적응적 조정(누적)	희소 데이터, 학습률 감소
RMSProp	지수 이동 평균 학습률	AdaGrad 학습률 소멸 방지
Adam	Momentum + RMSProp 결합	★ 가장 많이 사용, 빠른 수렴

 

⑤ 주요 딥러닝 모델

모델	구조 특징	주요 활용
CNN(합성곱신경망)	합성곱+풀링으로 공간 특성 추출	이미지 분류, 객체탐지, OCR
RNN(순환신경망)	은닉 상태로 이전 정보 기억	텍스트, 시계열 (단기 의존성)
LSTM	입력·망각·출력 게이트로 장기 의존성	번역, 음성, 장기 시계열
GRU	업데이트·리셋 게이트 (LSTM 경량화)	LSTM보다 빠름
Transformer	Self-Attention 병렬 처리	NLP, 번역, BERT, GPT
GAN	생성자-판별자 경쟁 학습	이미지 생성, 데이터 증강
VAE	잠재 공간 변분 추론	이미지 생성, 이상 탐지

 

7. 연관 규칙 분석

지표	수식	범위	의미
지지도(Support)	P(A∩B) = n(A∩B)/n(전체)	0~1	두 항목 동시 구매 빈도
신뢰도(Confidence)	P(B|A) = P(A∩B)/P(A)	0~1	A 구매 시 B도 구매할 조건부 확률
향상도(Lift)	P(A∩B)/(P(A)×P(B))	0~∞	1보다 크면 양의 연관

 

알고리즘	원리	특징
Apriori	빈발 항목집합 생성 후 규칙 추출	반복 DB 스캔, 느림
FP-Growth	FP-Tree 구조 사용	DB 2회 스캔, Apriori보다 빠름
ECLAT	수직 데이터 포맷 사용	교집합으로 지지도 계산

 

※ 향상도>1: 양의 연관 / =1: 독립 / <1: 음의 연관

8. 3과목 예상 문제 20선

번호	문제	정답
1	배깅과 부스팅의 차이를 쓰시오.	배깅: 병렬 학습+다수결 / 부스팅: 순차 학습+오분류 가중치
2	Lasso와 Ridge의 차이를 쓰시오.	Lasso(L1): 변수 선택 가능(계수=0) / Ridge(L2): 계수 축소만
3	K-Means의 K 선택 방법은?	엘보우 방법(WCSS 감소 기울기 꺾이는 지점)
4	지니 불순도가 0일 때 의미는?	하나의 클래스만 있는 완전히 순수한 노드
5	DBSCAN의 핵심 파라미터 2개는?	ε(반경)과 MinPts(최소 포인트 수)
6	Dropout의 역할을 쓰시오.	학습 시 임의 뉴런 비활성화하여 과적합 방지
7	ReLU 활성화 함수의 수식을 쓰시오.	f(x) = max(0, x)
8	PCA의 원리를 설명하시오.	분산을 최대로 보존하는 직교 축(주성분)으로 차원 축소
9	연관 규칙의 향상도(Lift)>1의 의미는?	두 항목이 독립보다 더 자주 함께 등장 (양의 연관)
10	과소적합(Underfitting)의 원인과 해결법은?	모델 복잡도 낮음 → 복잡한 모델 사용, 특성 추가
11	XGBoost의 GBM 대비 개선점 3가지는?	병렬처리, L1/L2 정규화, 조기 종료
12	t-SNE의 용도를 쓰시오.	고차원 데이터를 2D/3D로 시각화하는 비선형 차원 축소
13	랜덤 포레스트에서 각 노드의 변수 선택 수는?	전체 변수의 제곱근(√p)개 무작위 선택
14	Elastic Net이란?	L1(Lasso)과 L2(Ridge) 패널티를 결합한 정규화 회귀
15	소프트맥스(Softmax) 함수의 출력 특성은?	각 클래스의 확률값, 모든 확률의 합=1
16	커널 트릭(Kernel Trick)이란?	비선형 데이터를 고차원 공간으로 매핑하여 선형 분리
17	Adam 옵티마이저의 원리는?	Momentum(1차 모멘트)과 RMSProp(2차 모멘트) 결합
18	실루엣 계수의 범위와 의미는?	-1~1, 1에 가까울수록 군집 품질 좋음
19	역전파(Backpropagation)란?	Chain Rule로 각 가중치에 대한 기울기를 출력층에서 입력층 방향으로 계산
20	나이브 베이즈의 핵심 가정은?	특성(feature) 간 조건부 독립 가정