빅데이터분석기사 필기 핵심용어 암기노트 - 3

CHAPTER 3. 3과목 — 빅데이터 모델링 핵심 용어

3-1. 기계학습 기본 용어

【지도학습(Supervised Learning)】 레이블(정답)이 있는 훈련 데이터로 학습. 새 데이터에 대한 예측·분류. 예: 회귀, 분류(의사결정나무, SVM, 로지스틱 회귀 등)

【비지도학습(Unsupervised Learning)】 레이블 없이 데이터의 패턴·구조를 스스로 발견. 예: 군집화(K-Means, DBSCAN), 차원 축소(PCA), 연관 규칙 분석

【강화학습(Reinforcement Learning)】 에이전트가 환경과 상호작용하며 보상을 최대화하는 방향으로 학습. 레이블 없음. 예: 게임 AI, 로봇 제어, 자율주행

구분	지도학습	비지도학습	강화학습
레이블	필요(있음)	불필요(없음)	보상신호(있음)
목적	예측·분류	패턴 발견·군집화	보상 최대화
예시 알고리즘	회귀, SVM, 랜덤포레스트	K-Means, PCA, DBSCAN	Q-Learning, DQN
출력	예측값·클래스	군집·잠재 구조	행동(Action) 정책

【과적합(Overfitting)】 모델이 훈련 데이터에 과도하게 맞춰져 새로운 데이터(테스트 데이터)에서 성능이 크게 저하되는 현상. 훈련 오차↓ 테스트 오차↑. 고분산(High Variance) 문제

【과소적합(Underfitting)】 모델이 너무 단순하여 훈련 데이터도 제대로 학습하지 못하는 현상. 훈련 오차↑ 테스트 오차↑. 고편향(High Bias) 문제

【편향(Bias) vs 분산(Variance) 트레이드오프】 편향(Bias): 모델이 잘못된 가정으로 발생하는 오차. 높으면 과소적합. | 분산(Variance): 훈련 데이터 변화에 모델 예측이 민감한 정도. 높으면 과적합. | 편향-분산 트레이드오프: 모델 복잡도 증가 시 편향↓ 분산↑, 반대의 경우도 동일

【교차검증(Cross-Validation)】 데이터를 k개 폴드로 나누어 k회 반복 학습·검증. 각 회차마다 다른 폴드를 검증 세트로 사용. k-fold CV가 대표적. 소규모 데이터에서 모델 성능을 안정적으로 평가

【하이퍼파라미터 vs 파라미터】 파라미터(Parameter): 모델이 학습을 통해 자동으로 결정하는 값. 예: 회귀 계수, 신경망 가중치. | 하이퍼파라미터(Hyperparameter): 학습 전 사람이 직접 설정하는 값. 예: 학습률, 트리 깊이, K-Means의 K, 드롭아웃 비율

🔑 과적합 해결 방법: 정규화(L1/L2) + 드롭아웃 + 데이터 증강 + 앙상블 + 조기 종료(Early Stopping)

3-2. 분류 알고리즘 용어

【의사결정나무(Decision Tree)】 불순도(지니 불순도 또는 엔트로피)를 최소화하는 기준으로 데이터를 재귀적으로 분할하는 트리 구조 모델. 해석 용이. 과적합 취약(가지치기로 해결)

【지니 불순도(Gini Impurity)】 Gini = 1 - Σpᵢ² (i는 클래스). 0이면 완전히 순수한 노드. 의사결정나무(CART 알고리즘)에서 분할 기준으로 사용

【엔트로피(Entropy)】 Entropy = -Σpᵢ·log₂(pᵢ). 0이면 완전히 순수(한 클래스만 존재). 정보 이득(Information Gain)으로 분할 기준 결정. ID3, C4.5 알고리즘에서 사용

【랜덤포레스트(Random Forest)】 배깅(Bagging) + 랜덤 특성 선택(Feature Sampling)을 결합한 앙상블. 다수의 의사결정나무를 독립적으로 학습 후 다수결(분류) 또는 평균(회귀)으로 예측. 과적합 방지, 변수 중요도 제공

【SVM (Support Vector Machine)】 클래스 간 마진(Margin)을 최대화하는 결정 경계(초평면)를 찾는 알고리즘. 서포트 벡터: 결정 경계에 가장 가까운 데이터 포인트. 커널 트릭으로 비선형 분류 가능. 고차원에서 강점

【KNN (K-Nearest Neighbors)】 새 데이터에서 가장 가까운 K개 이웃의 다수 클래스로 분류(또는 평균으로 회귀). 거리 기반(유클리드 거리 주로 사용). K가 작으면 과적합, K가 크면 과소적합. 게으른 학습(Lazy Learning)

【로지스틱 회귀(Logistic Regression)】 시그모이드(Sigmoid) 함수를 이용해 0~1 사이 확률 출력. 임계값(보통 0.5) 기준으로 이진 분류. 선형 결정 경계. 해석 용이

【나이브 베이즈(Naive Bayes)】 베이즈 정리를 기반으로 하며, 특성(Feature)이 서로 독립이라는 단순 가정(Naive). 텍스트 분류·스팸 필터링에 효과적. 계산 빠름. 독립 가정이 강해 표현력 제한

구분	의사결정나무	랜덤포레스트
구조	단일 트리	다수 트리의 앙상블
과적합	취약(가지치기 필요)	강건(배깅 효과)
해석가능성	높음(시각화 용이)	낮음(블랙박스에 가까움)
속도	빠름	느림(다수 트리 학습)
변수 중요도	제공	제공(더 신뢰도 높음)
이상치 민감성	낮음	낮음

3-3. 앙상블 기법 용어

【배깅(Bagging, Bootstrap Aggregating)】 부트스트랩 샘플링(복원 추출)으로 여러 학습 데이터 집합 생성 → 각 모델 병렬 학습 → 결과 평균(회귀) 또는 다수결(분류). 분산 감소 효과. 대표: 랜덤포레스트

【부스팅(Boosting)】 약한 학습기(Weak Learner)를 순차적으로 학습. 이전 모델이 틀린 데이터에 가중치 부여. 편향 감소 효과. 과적합에 다소 취약. 대표: AdaBoost, XGBoost, LightGBM, GBM

【스태킹(Stacking)】 여러 기반 모델(Base Model)의 예측값을 새로운 입력으로 사용하는 메타모델(Meta-model) 학습. 다양한 알고리즘 조합 가능. 계산 비용 높음

【XGBoost (eXtreme Gradient Boosting)】 그래디언트 부스팅 + L1/L2 정규화 + 병렬 처리 + 결측값 자동 처리. 높은 예측 성능, 과적합 방지. 정형 데이터 분야 경쟁에서 자주 1위

구분	배깅(Bagging)	부스팅(Boosting)	스태킹(Stacking)
학습 방식	병렬(독립적)	순차(의존적)	2단계(기반+메타)
주요 목적	분산(Variance) 감소	편향(Bias) 감소	편향+분산 동시 감소
과적합	낮음	상대적으로 높을 수 있음	낮음(다양성)
대표 알고리즘	Random Forest	XGBoost, LightGBM, AdaBoost	없음(조합 자유)
계산 속도	빠름(병렬화)	느림(순차)	느림(2단계)

🔑 앙상블 3종 암기: 배깅=병렬(Random Forest) / 부스팅=순차(XGBoost) / 스태킹=메타모델

3-4. 회귀 알고리즘 용어

【선형회귀 가정 4가지】 ①선형성(Linearity): 독립변수와 종속변수 간 선형 관계 존재. ②독립성(Independence): 오차항이 서로 독립(자기상관 없음). ③등분산성(Homoscedasticity): 오차의 분산이 일정. ④정규성(Normality): 오차항이 정규분포를 따름

【릿지(Ridge) 회귀 — L2 정규화】 손실함수에 가중치 제곱합(L2) 패널티 추가. β를 0에 가깝게 줄이지만 정확히 0이 되지는 않음. 모든 변수를 유지하며 다중공선성 해결에 효과적

【라쏘(Lasso) 회귀 — L1 정규화】 손실함수에 가중치 절댓값의 합(L1) 패널티 추가. 일부 계수를 정확히 0으로 만들어 자동으로 변수 선택 효과. 희소 모델(Sparse Model) 생성

【엘라스틱넷(Elastic Net)】 L1(Lasso) + L2(Ridge) 정규화를 혼합. α 파라미터로 L1:L2 비율 조절. 변수 선택 + 계수 안정성을 동시에 추구

구분	Ridge(릿지)	Lasso(라쏘)	Elastic Net
정규화 항	L2 (가중치 제곱합)	L1 (가중치 절댓값합)	L1 + L2 혼합
계수 처리	0에 가깝게 축소(0이 되지 않음)	일부 계수를 정확히 0으로 만듦	일부 0, 나머지 축소
변수 선택	불가능	가능(희소 모델)	가능
다중공선성	잘 처리함	불안정할 수 있음	잘 처리함
적합 상황	모든 변수 유지 필요	변수 선택이 필요한 경우	두 상황 절충

3-5. 비지도학습·딥러닝 용어

【K-평균 군집화(K-Means Clustering)】 K개의 군집 중심(Centroid)을 반복적으로 업데이트하며 군집 할당. ①K개 초기 중심 설정 → ②각 데이터를 가장 가까운 중심에 할당 → ③중심 재계산 → ④수렴까지 반복. K 사전 지정 필수. 구형 군집 가정

【계층적 군집화(Hierarchical Clustering)】 데이터 간 거리를 기반으로 병합(Agglomerative) 또는 분리(Divisive) 방식으로 군집 형성. 덴드로그램으로 시각화. K 사전 지정 불필요. 계산 비용 높음

【DBSCAN (Density-Based Spatial Clustering of Applications with Noise)】 밀도(ε 반경 내 MinPts 이상의 점) 기반 군집화. K 지정 불필요. 임의 모양의 군집 발견 가능. 이상치를 노이즈로 처리. ε과 MinPts 파라미터 설정 필요

구분	K-Means	DBSCAN	계층적 군집화
K 사전 지정	필요	불필요	불필요
이상치 처리	군집에 포함됨	노이즈로 제외	군집에 포함됨
군집 모양	구형(원형) 가정	임의 모양 가능	임의 모양 가능
계산 복잡도	낮음(빠름)	중간	높음(느림)
덴드로그램	없음	없음	제공
대규모 데이터	적합	적합	비적합

【활성화 함수】 ReLU: f(x)=max(0,x). 음수→0, 양수→그대로. 은닉층에 주로 사용. 기울기 소실 완화. | Sigmoid: f(x)=1/(1+e⁻ˣ). 출력 0~1. 이진 분류 출력층에 사용. | Softmax: 다중 클래스 확률 출력(합=1). 다중 분류 출력층에 사용

【역전파(Backpropagation)】 예측 오차를 역방향(출력→입력)으로 전파하며 각 가중치에 대한 기울기(Gradient) 계산. 경사하강법으로 가중치 업데이트. 딥러닝 학습의 핵심 알고리즘

【드롭아웃(Dropout)】 학습 시 무작위로 일정 비율의 뉴런을 비활성화(0으로 설정). 과적합 방지. 추론(테스트) 시에는 모든 뉴런 활성화하고 드롭아웃 비율 적용

【CNN (Convolutional Neural Network)】 합성곱(Convolution) 레이어 + 풀링(Pooling) 레이어로 구성. 이미지의 지역적 특성(엣지, 텍스처)을 자동으로 추출. 이미지 분류·객체 탐지에 최적화

【RNN/LSTM】 RNN(Recurrent Neural Network): 순차 데이터(시계열, 텍스트)를 처리하기 위해 이전 출력을 현재 입력으로 활용. 장기 의존성 문제(기울기 소실) 취약. | LSTM(Long Short-Term Memory): RNN의 장기 의존성 문제 해결. 셀 상태(Cell State)와 게이트(Gate) 구조로 장기 정보 보존

3-6. 정규화·최적화 용어

【L1 정규화 (Lasso)】 패널티 항: λΣ|wᵢ|. 일부 가중치를 정확히 0으로 만들어 희소성(Sparsity) 유도. 자동 변수 선택 효과. 특성이 많고 일부만 중요할 때 유용

【L2 정규화 (Ridge)】 패널티 항: λΣwᵢ². 모든 가중치를 0에 가깝게 축소하지만 0이 되지는 않음. 다중공선성 해결. 모든 특성이 일부 기여할 때 유용

【경사하강법 비교】 배치 경사하강법: 전체 데이터로 기울기 계산. 안정적이나 느림. | SGD(확률적 경사하강법): 데이터 1개씩 기울기 계산. 빠르나 불안정. | 미니배치 경사하강법: 소규모 배치(32~256개)로 계산. 속도와 안정성의 균형. 실무에서 주로 사용

【학습률(Learning Rate)】 경사하강법에서 가중치 업데이트 크기를 결정하는 하이퍼파라미터. 너무 크면: 발산(Loss 수렴 불가). 너무 작으면: 수렴 속도 느림, 지역 최소값(Local Minimum) 함정. 학습률 스케줄링·적응적 학습률(Adam 등)로 해결

3-7. OX 퀴즈 (15문항)

문 제	O/X	해설·근거
랜덤포레스트는 부스팅 계열의 앙상블 기법이다	X	배깅(Bagging) 계열. 부스팅은 XGBoost, AdaBoost 등
XGBoost는 그래디언트 부스팅에 정규화를 더한 알고리즘이다	O	L1/L2 정규화 + 병렬처리 + 결측값 자동 처리
지니 불순도는 엔트로피와 동일한 공식이다	X	지니=1-Σp², 엔트로피=-Σp·log₂p. 서로 다른 공식
SVM에서 마진이 클수록 일반화 성능이 좋다	O	최대 마진 분류기: 마진이 클수록 새 데이터에 강건
KNN에서 K값이 클수록 과적합 위험이 높다	X	K가 작을수록 과적합(복잡한 경계). K가 크면 과소적합
라쏘(Lasso) 회귀는 일부 계수를 정확히 0으로 만든다	O	L1 정규화의 특성. 자동 변수 선택 효과
릿지(Ridge) 회귀는 L1 정규화를 사용한다	X	Ridge는 L2(제곱합) 정규화. L1은 Lasso
K-Means는 군집 수 K를 사전에 지정해야 한다	O	K-Means의 주요 단점 중 하나
DBSCAN은 이상치를 노이즈로 처리한다	O	ε 반경 내 MinPts를 충족하지 못하는 점을 노이즈로 분류
계층적 군집화는 K를 사전에 지정해야 한다	X	사전 지정 불필요. 덴드로그램을 보고 사후에 결정
드롭아웃은 과적합 방지를 위한 기법이다	O	학습 시 랜덤 뉴런 비활성화로 과적합 방지
CNN은 주로 자연어처리에 사용된다	X	CNN은 이미지 처리에 특화. 자연어처리는 RNN/LSTM/Transformer
LSTM은 RNN의 장기 의존성 문제를 해결한 모델이다	O	셀 상태와 게이트 구조로 장기 정보 보존
배깅은 학습기를 순차적으로 학습한다	X	배깅은 병렬(독립적) 학습. 순차 학습은 부스팅
역전파(Backpropagation)는 오차를 앞방향으로 전파한다	X	오차를 역방향(출력→입력)으로 전파

3-8. 빈칸 노트 (10문항)

Q. 지니 불순도 공식은 ___이다   → 정답: 1 - Σpᵢ²

Q. 엔트로피 공식은 ___이다   → 정답: -Σpᵢ·log₂(pᵢ)

Q. 랜덤포레스트는 ___ 앙상블 기법을 사용한다   → 정답: 배깅(Bagging)

Q. XGBoost는 ___ 부스팅에 정규화를 추가한 알고리즘이다   → 정답: 그래디언트(Gradient)

Q. L1 정규화를 사용하는 회귀 알고리즘은 ___이다   → 정답: Lasso(라쏘)

Q. L2 정규화를 사용하는 회귀 알고리즘은 ___이다   → 정답: Ridge(릿지)

Q. K-Means에서 군집 중심을 ___ 라고 한다   → 정답: 센트로이드(Centroid)

Q. 밀도 기반 군집 알고리즘으로 이상치를 노이즈로 처리하는 것은 ___이다   → 정답: DBSCAN

Q. 과적합 방지를 위해 학습 시 랜덤으로 노드를 비활성화하는 기법은 ___이다   → 정답: 드롭아웃(Dropout)

Q. 교차검증에서 데이터를 k등분하는 방법은 ___이다   → 정답: k-fold 교차검증(k-fold Cross-Validation)