/

‘정확도 99 %’에 속지 않는 이유

Why You Shouldn't Be Fooled by "99% Accuracy"

그물로 많은 회색 물고기를 잡았지만, 정작 중요한 노란색 물고기 하나를 놓치는 그림
정확도는 높지만 정작 중요한 가치는 놓칠 수 있습니다.

“측정의 그림자”

“숫자는 세계를 단순화해 줍니다. 하지만 단순함은 언제나 그림자를 남깁니다. 우리는 머신러닝 모델의 ‘정확도 99 %’라는 밝은 숫자를 보는 동안, 그 뒤에 드리운 1 %의 어둠을 잊기 쉽습니다. 기술은 빛과 그림자를 함께 보라 요구합니다 — 숫자가 가리키는 방향뿐 아니라, 숫자가 놓치고 있는 삶의 결까지.”

1. 머신러닝 모델의 ‘정확도’가 숨기는 함정

특히 소수의 정답(예: 구매, 사기, 불량)을 예측해야 하는 불균형 데이터셋(Imbalanced Dataset) 문제에서, 머신러닝 모델의 정확도는 쉽게 함정이 됩니다. 100명 중 1명만 구매하는 쇼핑몰을 예로 들어보죠.

만약 모델이 모든 방문자를 '미구매'로 예측한다면, 99명을 맞혔으니 정확도는 99%가 됩니다. 하지만 정작 비즈니스에 중요한 ‘돈 쓰는 1명’을 완전히 놓치게 됩니다.

방문자 실제 구매 모델 예측
100 1 전원 '미구매'

이처럼 모델의 예측 성능을 제대로 이해하려면 정확도 너머를 봐야 합니다.

2. 모델 성능을 제대로 묻는 두 가지 질문: 정밀도와 재현율

모델의 예측 결과를 네 가지 경우로 나눈 표, 혼동 행렬(Confusion Matrix)을 보면 모델의 진짜 성능을 파악할 수 있습니다. 이 혼동 행렬을 기반으로 계산되는 ‘정밀도’와 ‘재현율’이 바로 우리가 던져야 할 진짜 질문입니다.

당신이 던질 질문 핵심 지표 머신러닝 관점의 의미
“모델이 '구매'라고 예측한 것 중 진짜는?” Precision False Positive(오탐)를 얼마나 줄였나? (헛발질 비용)
“실제 구매자 중 모델이 맞춘 비율은?” Recall False Negative(미탐)를 얼마나 줄였나? (기회 손실)
  • 비용이 아까우면 (e.g. VIP 쿠폰) 정밀도를 우선하세요.
  • 놓치면 치명적이면 (e.g. 암 진단) 재현율을 우선하세요.

3. 숫자가 말해주는 비즈니스 성장 기회

만약 머신러닝 모델의 정밀도와 재현율이 모두 낮다면, 이는 곧 성장 기회를 의미합니다. 다음은 한 웹사이트의 실제 모델 평가 사례입니다.

지표 값 해석
Accuracy 98 % 겉보기엔 완벽해 보임
Precision 38 % 마케팅 예산 62 % 낭비 (False Positive)
Recall 32 % 구매 고객 68 % 놓침 (False Negative)

이처럼 정확도 뒤에 숨은 낮은 정밀도와 재현율을 개선하면 큰 성과를 만들 수 있습니다. 둘 중 하나만 50%로 올려도 연 매출 +▲ 억 원, 마케팅비 –▼ %가 가능할 수 있습니다.

4. 정밀도-재현율 트레이드오프: 모델 튜닝의 핵심

정밀도와 재현율은 종종 시소처럼 움직입니다. 이 균형을 조절하는 것이 모델 튜닝의 핵심이며, 주로 결정 임계값(Decision Threshold)을 조정하여 이뤄집니다. 모델이 예측을 '긍정'으로 판단하는 기준점을 높이면 정밀도가 올라가고(더 확실할 때만 긍정으로 판단), 낮추면 재현율이 올라갑니다(조금이라도 가능성 있으면 긍정으로 판단).

정밀도 우선 (임계값 상향)

  • 스팸 필터 (일반 메일을 스팸 판정 X)
  • VIP 쿠폰 발송 (비용 낭비 최소화)
  • 고가 의료 기기 추천

재현율 우선 (임계값 하향)

  • 암 진단 (한 명의 환자라도 놓치면 치명적)
  • 금융 사기 탐지
  • 신규 고객 발굴

TIP | 현실적인 모델 개선 목표 설정하기

  1. 모델의 현재 정밀도·재현율을 혼동 행렬을 통해 구한다.
  2. 각 지표를 비즈니스 비용·수익으로 환산한다.
  3. ‘손익이 0이 되는 임계값’을 찾는다.
  4. 그보다 +5 ~ 10%를 모델 튜닝의 다음 분기 목표로 설정한다.

5. 다음 모델 평가 회의에서 써먹어 보세요

“정확도 말고 이 모델의 혼동 행렬(Confusion Matrix)을 보여주시겠어요?”

“결정 임계값을 조정했을 때 정밀도와 재현율이 어떻게 변하는지 시뮬레이션해볼 수 있나요?”

“그래서 False Positive로 인한 비용과 False Negative로 인한 기회 손실이 각각 얼마인가요?”