2026 빅데이터분석기사 요약 - 2과목 빅데이터 탐색

2과목 | 빅데이터 탐색

1. 데이터 전처리

① 결측값 처리 방법

방법	설명	적용 조건	코드 예시
완전 제거(Listwise)	결측 행 전체 삭제	결측률 5% 이하, MCAR	df.dropna()
평균 대체	수치형 평균값으로 대체	정규분포, 이상치 없을 때	fillna(mean())
중앙값 대체	중앙값으로 대체	왜도 있을 때, 이상치 존재	fillna(median())
최빈값 대체	가장 자주 나오는 값	범주형 변수	fillna(mode()[0])
회귀 대체	다른 변수로 예측 후 대체	변수 간 상관 높을 때	회귀 모델 예측값
다중 대체(MI)	여러 번 대체 후 결합	결측률 높을 때	fancyimpute
KNN 대체	가까운 이웃 값 사용	패턴 유지 필요	KNNImputer
전진/후진 대체	시계열 앞뒤 값 사용	시계열 데이터	ffill/bfill

 

★ 결측 메커니즘: MCAR(완전무작위) → 제거 가능 / MAR(무작위) → 대체 / MNAR(비무작위) → 도메인 지식 필요

② 이상치 탐지 방법

방법	기준	특징	사용 상황
IQR 방법	Q1-1.5*IQR 미만 / Q3+1.5*IQR 초과	★ 가장 많이 출제	비정규분포 가능
Z-점수	|z| > 3 (표준편차 3 이상 이탈)	정규분포 가정 필요	정규분포 데이터
박스플롯 시각화	수염(whisker) 밖의 점	시각적 탐지	탐색적 분석
ESD 방법	극단 학생화 편차 검정	단일 이상치 탐지	정규분포 데이터
LOF	지역 이상치 탐지	밀도 기반	고차원 데이터
Isolation Forest	고립 기반 탐지	비선형, 대용량	앙상블 방법

 

③ 이상치 처리 방법

방법	설명	장단점
삭제	이상치 행 제거	단순하지만 데이터 손실
캡핑(Winsorization)	IQR 기준 상하한값으로 대체	데이터 유지, 분포 왜곡 최소화
로그 변환	log(x) 적용으로 극단값 영향 감소	양수 데이터만 가능
별도 범주화	이상치를 별도 그룹으로 처리	이상치 정보 보존
보간법	주변 값으로 추정 대체	시계열에 효과적

 

④ 데이터 변환 및 스케일링

변환	수식	특징	사용 상황
Min-Max 정규화	(x-min)/(max-min)	0~1 범위, 이상치 민감	거리 기반 알고리즘(KNN, SVM)
Z-점수 표준화	(x-μ)/σ	평균0, 표준편차1	정규분포 가정 알고리즘
Robust 스케일링	(x-Q2)/(Q3-Q1)	이상치 강건	이상치 많을 때
로그 변환	log(x) 또는 log(x+1)	양의 왜도 교정	소득, 가격 데이터
제곱근 변환	√x	완만한 왜도 교정	카운트 데이터
Box-Cox	λ 최적화 변환	다양한 분포	정규화 필요 시
Yeo-Johnson	Box-Cox 확장	음수 포함 가능	0 이하 데이터

 

⑤ 파생변수 생성

유형	예시	설명
사칙연산	BMI = 체중/(키/100)²	두 변수의 수학적 관계
날짜 파생	요일, 월, 계절, 경과일수	날짜에서 시간 특성 추출
구간화(Binning)	나이 → 연령대(10대/20대...)	연속형 → 범주형
상호작용항	변수1 × 변수2	두 변수 곱 상호작용
집계 파생	고객별 최근 30일 구매횟수	그룹 통계
비율 파생	불량률 = 불량수/전체	비율 계산
지연변수(Lag)	전날 주가	시계열 이전 값

 

⑥ 변수 선택 방법

분류	방법	설명	특징
필터(Filter)	상관계수, 카이제곱, 정보이득	통계적 기준으로 선택	빠름, 모델 독립
래퍼(Wrapper)	전진선택, 후진제거, 단계적	모델 성능 기반 선택	느림, 모델 의존
임베디드(Embedded)	Lasso, 트리 중요도	학습 과정에서 선택	균형적

 

※ 전진선택: 변수 하나씩 추가 / 후진제거: 변수 하나씩 제거 / 단계적: 추가+제거 혼합

2. 탐색적 데이터 분석 (EDA)

① EDA 4가지 주제 (Tukey)

주제	의미	방법
저항성 (Resistance)	이상값에 강한 통계량	중앙값(평균 대신), IQR(분산 대신)
잔차해석 (Residuals)	모형과 실제 차이 분석	잔차 플롯, 이상 패턴 탐지
자료재표현 (Re-expression)	변수 변환으로 분포 개선	로그, 제곱근, 역수 변환
현시성 (Revelation)	그래프로 데이터 시각화	히스토그램, 산점도, 박스플롯

 

② 기술통계 (Descriptive Statistics)

구분	통계량	수식	해석
중심 경향	평균 (Mean)	Σxᵢ/n	이상치에 민감
중심 경향	중앙값 (Median)	정렬 후 중간값	이상치에 강건 ★
중심 경향	최빈값 (Mode)	가장 자주 나타나는 값	범주형에 활용
산포도	분산 (Variance)	Σ(x-μ)²/n	단위가 제곱
산포도	표준편차 (SD)	√분산	원래 단위
산포도	범위 (Range)	최댓값-최솟값	이상치에 민감
산포도	IQR	Q3-Q1	이상치에 강건 ★
형태	왜도 (Skewness)	비대칭 정도	0이면 대칭
형태	첨도 (Kurtosis)	뾰족함 정도	정규분포=3

 

★ 왜도>0: 오른쪽 꼬리(양의 왜도, 평균>중앙값) / 왜도<0: 왼쪽 꼬리(음의 왜도, 평균<중앙값)

★ 첨도>3: 뾰족(Leptokurtic) / 첨도=3: 정규분포(Mesokurtic) / 첨도<3: 납작(Platykurtic)

③ 공분산 및 상관분석

지표	수식	범위	해석
공분산	Cov(X,Y)=Σ(xᵢ-x̄)(yᵢ-ȳ)/(n-1)	(-∞,+∞)	단위 의존, 해석 어려움
피어슨 r	Cov(X,Y)/(σx×σy)	-1~+1	선형관계, 연속형
스피어만 ρ	순위 기반 피어슨	−1~+1	단조관계, 순위형
켄달 τ	일치쌍/(일치+불일치)	-1~+1	소표본, 동점 많을 때

 

|r| 범위	관계 강도
0.0~0.2	거의 없음
0.2~0.4	약한 상관
0.4~0.6	보통 상관
0.6~0.8	강한 상관
0.8~1.0	매우 강한 상관

 

3. 통계 기초

① 확률 분포 정리

분포	유형	파라미터	특징	활용
정규분포	연속	μ, σ	종 모양, 대칭, N(μ,σ²)	자연현상, 중심극한정리
표준정규분포	연속	μ=0, σ=1	z값, N(0,1)	표준화 후 확률
t분포	연속	자유도 v	소표본, 두꺼운 꼬리	소표본 검정(n<30)
F분포	연속	v₁,v₂	분산 비율, 양수	분산 비교, ANOVA
χ²분포	연속	자유도 v	비대칭, 양수	독립성, 적합도 검정
이항분포	이산	n, p	n번 성공 횟수	불량률, 합격률
포아송분포	이산	λ	단위 시간 발생 횟수	콜센터 전화 수
지수분포	연속	λ	사건 간격	고장 간격, 대기 시간
균일분포	연속	a, b	모든 값 같은 확률	난수 생성

 

② 표본분포 및 중심극한정리

개념	내용
중심극한정리	모집단 분포와 관계없이 표본 크기 충분히 크면 표본 평균은 정규분포에 근사 (n≥30)
표본 평균 분포	X̄ ~ N(μ, σ²/n) → 표준오차 = σ/√n
표준오차 (SE)	표본 평균의 표준편차 = σ/√n (n이 커질수록 작아짐)
모집단 vs 표본	모집단: 전체 / 표본: 일부 / 표본으로 모집단 추정

 

③ 추정 (Estimation)

구분	내용	예시
점추정	모수를 하나의 값으로 추정	표본평균 x̄으로 모평균 μ 추정
구간추정	95% 신뢰구간으로 모수 범위 추정	μ ∈ [x̄-1.96σ/√n, x̄+1.96σ/√n]
신뢰구간 해석	같은 방법으로 100번 추정 시 95번은 구간에 모수 포함	확률이 아닌 빈도론적 해석
신뢰수준	95% (z=1.96), 99% (z=2.576), 90% (z=1.645)	z값 암기 필요

 

★ 신뢰수준 95% ↔ 유의수준 5% / z=1.96 암기 필수!

④ 가설검정 체계

항목	내용
귀무가설(H₀)	기각하고자 하는 가설, 현재의 주장 (등호 포함)
대립가설(H₁)	채택하고자 하는 가설, 새로운 주장
유의수준(α)	제1종 오류 허용 수준 (보통 0.05 또는 0.01)
p-값	귀무가설이 참일 때 관측된 통계량 이상 극단값 나올 확률
기각역	검정통계량이 들어오면 H₀ 기각하는 영역
검정통계량	표본 데이터에서 계산된 통계값 (z, t, F, χ²)

 

판단	기준	해석
p값 < α	귀무가설 기각 → 대립가설 채택	통계적으로 유의함
p값 ≥ α	귀무가설 기각 실패 (채택 아님)	통계적으로 유의하지 않음
양측검정	H₁: μ ≠ μ₀, 기각역 양쪽	차이 있는지만 볼 때
단측검정(우)	H₁: μ > μ₀, 기각역 오른쪽	큰지만 볼 때
단측검정(좌)	H₁: μ < μ₀, 기각역 왼쪽	작은지만 볼 때

 

⑤ 오류 유형

	H₀ 참	H₀ 거짓
H₀ 기각 (양성)	제1종 오류(α) - 위양성	올바른 결정 (검정력=1-β)
H₀ 채택 (음성)	올바른 결정 (1-α)	제2종 오류(β) - 위음성

 

※ 제1종 오류(α): 실제 차이 없는데 있다고 판단 / 제2종 오류(β): 실제 차이 있는데 없다고 판단

※ 검정력(Power) = 1-β: 실제 차이 있을 때 올바르게 탐지하는 확률 → 클수록 좋음

⑥ 주요 통계 검정 정리

검정	귀무가설	조건	검정통계량
z-검정	H₀: μ=μ₀	n≥30, σ 알 때	z=(x̄-μ₀)/(σ/√n)
단일 t-검정	H₀: μ=μ₀	n<30, 정규분포	t=(x̄-μ₀)/(s/√n)
독립 t-검정	H₀: μ₁=μ₂	두 독립 집단	t=(x̄₁-x̄₂)/SE
대응 t-검정	H₀: μd=0	동일 집단 전후	t=d̄/(sd/√n)
F-검정(ANOVA)	H₀: μ₁=μ₂=...=μk	3개 이상 집단	F=MSB/MSW
카이제곱 독립	H₀: 두 변수 독립	기대빈도≥5	χ²=Σ(O-E)²/E
카이제곱 적합도	H₀: 기대분포와 일치	기대빈도≥5	χ²=Σ(O-E)²/E

 

⑦ 비모수 검정

비모수 검정	대응 모수 검정	적용 조건
Mann-Whitney U	독립 t-검정	정규성 불만족, 두 독립 집단
Wilcoxon 부호순위	대응 t-검정	정규성 불만족, 대응 집단
Kruskal-Wallis	일원분산분석(ANOVA)	정규성 불만족, 3집단 이상
Friedman	반복측정 ANOVA	비모수, 반복측정
Spearman 상관	Pearson 상관	정규성 불만족, 순위형

 

4. 데이터 시각화

① 목적별 시각화 유형

목적	차트 종류	사용 상황	특징
분포	히스토그램	연속형 분포 파악	빈도 막대
분포	박스플롯	중앙값·IQR·이상치	5수치 요약
분포	바이올린 플롯	박스플롯+밀도	분포 형태 포함
비교	막대그래프	범주 간 비교	가장 기본적
비교	누적막대	구성비+비교	비율+크기 동시
관계	산점도	두 연속형 관계	상관 파악
관계	버블차트	세 변수 관계	크기 포함
시계열	선 그래프	시간에 따른 변화	추세 파악
구성	파이차트	비율·구성비	5개 이하 범주 권장
구성	도넛차트	파이+중앙 공간	세부 강조
상관	히트맵	다변수 상관행렬	색상 농도
지리	단계구분도	지역별 색상	Choropleth Map
지리	카토그램	면적 변형 지도	데이터 비례
분포	KDE 곡선	확률밀도 추정	연속 분포 추정

 

② 시각화 원칙

원칙	내용
단순성	불필요한 요소 제거, 데이터에 집중 (Chartjunk 제거)
정확성	축 조작, 잘린 축, 왜곡 없이 정확한 표현
일관성	동일한 색상·형태로 동일한 의미 유지
접근성	색맹 고려한 색상 팔레트, 충분한 대비
맥락	제목, 축 레이블, 범례, 단위 명확히 표시

 

③ 공간 데이터 시각화

유형	설명	예시
단계구분도(Choropleth)	지역별 값을 색상 농도로 표현	지역별 인구밀도
카토그램(Cartogram)	데이터 값에 비례하여 지역 면적 변형	인구 비례 지도
도트맵(Dot Map)	위치 데이터를 점으로 표현	사건 발생 위치
버블맵(Bubble Map)	위치에 버블 크기로 수치 표현	도시별 인구
히트맵(Heat Map)	격자 기반 색상 강도	웹 클릭 분포

 

5. 2과목 예상 문제 20선

번호	문제	정답
1	IQR 방법으로 이상치 판별 기준을 쓰시오.	Q1-1.5×IQR 미만 또는 Q3+1.5×IQR 초과
2	Min-Max 정규화 공식을 쓰시오.	(x-min)/(max-min)
3	Z-점수 표준화 공식을 쓰시오.	(x-μ)/σ
4	EDA 4가지 주제(Tukey)를 쓰시오.	저항성, 잔차해석, 자료재표현, 현시성
5	왜도가 0보다 클 때 분포 형태를 설명하시오.	오른쪽 꼬리가 긴 분포(양의 왜도), 평균>중앙값
6	피어슨과 스피어만 상관계수 사용 조건 차이는?	피어슨: 연속형·정규분포·선형 / 스피어만: 순위형·비정규·단조
7	제1종 오류(α)를 설명하시오.	귀무가설이 참인데 기각하는 오류 (위양성)
8	제2종 오류(β)를 설명하시오.	귀무가설이 거짓인데 채택하는 오류 (위음성)
9	검정력(Power)이란?	1-β, 실제 차이가 있을 때 올바르게 검출하는 확률
10	중심극한정리의 핵심을 쓰시오.	n≥30이면 모집단 분포와 무관하게 표본평균은 정규분포에 근사
11	신뢰구간 95%에서 z값은?	1.96
12	박스플롯(Box Plot)이 나타내는 5수치 요약은?	최솟값, Q1, 중앙값(Q2), Q3, 최댓값
13	상관계수 0.7의 관계 강도는?	강한 양의 상관관계
14	카이제곱 독립성 검정의 귀무가설은?	두 범주형 변수는 서로 독립이다
15	히트맵의 용도를 설명하시오.	다변수 간 상관관계를 색상 농도로 시각화
16	단계구분도(Choropleth Map)란?	지역별 값을 색상 농도로 표현하는 지리적 시각화
17	결측 메커니즘 MCAR란?	완전 무작위 결측 - 결측이 다른 변수와 관계 없음
18	Robust 스케일링과 Min-Max의 차이는?	Robust: IQR 기반, 이상치에 강건 / Min-Max: 이상치 민감
19	래퍼(Wrapper) 변수 선택법의 단점은?	모델 학습을 반복해야 해서 계산 비용이 많이 든다
20	포아송 분포는 어떤 상황에 적합한가?	단위 시간/공간에 발생하는 이산 이벤트 수 모델링