표 데이터 AI, 자주 묻는 질문 8가지

표 형식 데이터에도 AI 모델은 쓰일 수 있지만, 텍스트나 이미지와 같은 방식을 그대로 자동으로 옮기기는 어렵습니다. 열마다 숫자, 범주, 날짜, 빈 값이 섞여 있고 열 사이의 관계도 중요하기 때문입니다. 그래서 표 데이터에서는 전처리, 결측 처리, 검증 설계를 특히 신중하게 다룹니다. 모델 자체의 원리는 겹치는 부분이 많아도, 문제에 맞는 데이터 준비와 평가 방식이 따로 필요합니다.

모델이 어떤 사례에 대해 70%라고 말했다면, 그것은 그 사례가 반드시 그 범주라는 보증이 아닙니다. 확률이 잘 보정된 모델이라면, 모델이 70%라고 말한 사례들을 모아 보았을 때 실제 결과가 그 범주였던 비율이 대략 70%에 가깝다는 뜻에 가깝습니다. 보정이 안 되어 있으면 이 해석도 흔들립니다. 따라서 70%는 개별 사례의 확정 선언이 아니라 집단 수준의 기댓값으로 읽어야 합니다.

예측 구간은 하나의 숫자 대신 실제 결과가 있을 법한 범위를 제시하는 방법입니다. 예를 들어 80% 구간은 모델과 데이터 가정이 맞을 때, 비슷한 사례들의 실제 값이 그 범위 안에 들어오는 비율로 이해할 수 있습니다. 물론 개별 사례에 대해 범위 안의 값을 보장하는 뜻은 아닙니다. 숫자 하나만 보면 불확실성을 놓치기 쉽고, 집값처럼 사례별 변동이 큰 문제에서는 구간이 의사결정에 더 유용합니다. 캘리포니아 집값 예측 구간 데이터 스토리도 이런 불확실성을 함께 보여 주는 예로 언급할 수 있습니다.

정확도만 높다고 해서 좋은 모델이라고 단정하기는 어렵습니다. 한쪽 범주가 훨씬 많은 데이터에서는 다수 범주만 맞혀도 정확도가 높아 보일 수 있기 때문입니다. 이때는 혼동 행렬, 정밀도, 재현율, 임계값 조정, 오류의 비용까지 함께 봐야 합니다. 또한 아무 정보 없이 다수 범주를 예측하는 기준선과 비교해야 모델의 실제 기여가 드러납니다. 펭귄 종 분류 데이터 스토리처럼 범주 구성과 평가 지표를 함께 살피는 사례가 도움이 됩니다.

학습 데이터와 테스트 데이터를 나누는 이유는 모델이 처음 보는 데이터에서도 잘 작동하는지 확인하기 위해서입니다. 학습 데이터로만 평가하면 모델이 학습 내용을 외워 버려 성능이 실제보다 좋아 보일 수 있습니다. 학습 데이터로 모델을 맞추고, 검증 데이터로 선택을 조정하고, 테스트 데이터는 마지막 확인용으로 남겨 두는 흐름이 일반적입니다. 시계열처럼 순서가 있는 데이터에서는 무작위 분할보다 시간 순서를 지킨 분할이 더 적절할 수 있습니다.

데이터 누수는 모델 학습 전에 분할을 먼저 하지 않고, 테스트 데이터까지 포함한 전체 데이터로 평균이나 스케일링 같은 통계를 계산해 학습에 쓸 때 생기기 쉽습니다. 올바른 순서는 학습 데이터로만 그런 통계를 계산하고, 그 값을 검증·테스트 데이터에 적용하는 것입니다. 식별자 컬럼이나 결과에서 파생된 컬럼, 사건 이후에 채워진 값도 예측 시점에 알 수 없는 정보라면 누수가 됩니다. 핵심 기준은 지금 예측하려는 시점에 그 정보를 실제로 알 수 있었는가입니다.

결측값이 있으면 모델과 분석 목적에 따라 대응이 달라집니다. 결측을 무시하면 행이 빠지거나 편향이 생길 수 있고, 평균·중앙값·최빈값 등으로 채우는 방법은 간단하지만 정보를 왜곡할 위험이 있습니다. 어떤 모델은 결측을 내부적으로 처리할 수 있지만 모든 모델이 그런 것은 아닙니다. 결측 자체가 중요한 신호일 수도 있으므로, 왜 비었는지와 예측 시점에 알 수 있었는지를 먼저 살펴야 합니다.

언어 모델에게 표를 그대로 주고 계산을 맡기면 행과 열의 의미를 놓치거나 숫자 자리수, 단위, 결측을 잘못 다룰 수 있습니다. 또한 같은 입력에도 답이 흔들리거나 없는 내용을 그럴듯하게 채울 위험이 있어, 결과를 그대로 믿기는 어렵습니다. 언어 모델은 표를 요약하거나 질문하는 도구로 돕게 할 수 있지만, 집계와 계산은 코드나 계산 도구로 다시 검증하는 편이 안전합니다. 재현 가능성과 정확성을 위해서는 표 전용 분석·예측 절차와 별개로 확인해야 합니다.