무엇을 예측했나
1990년 미국 캘리포니아의 인구조사 블록 그룹을 대상으로, 각 블록 그룹에 있는 주택 가치의 중앙값을 맞히는 질문에서 출발한 실험입니다. 블록 그룹은 인구조사를 위해 동네를 잘게 나눈 통계 구역으로, 개별 주택 하나의 가격이 아니라 그 구역에 있는 주택 가치의 가운데값을 다루는 자료입니다. 원본 자료는 20,640행이었고 이 가운데 2,000행을 표본으로 뽑아 분석했습니다. 판단에 쓰인 특성은 소득, 주택 연식, 가구당 평균 방 수, 평균 침실 수, 인구, 가구당 평균 인원, 위도와 경도까지 여덟 가지이며, 빠진 값이나 제거된 행은 없었습니다. 타깃인 주택 가치 중앙값은 10만 달러를 단위로 삼아 표기했기 때문에 2.0은 20만 달러를 뜻합니다. 표본에서 타깃의 평균은 2.0663, 중앙값은 1.799였고, 가장 낮은 값은 0.3, 가장 높은 값은 5.0이었습니다. 이 자료는 1990년 시점의 집계값이라 현재 시세나 개별 주택의 가격이 아니며, 부동산 투자 판단의 근거로 쓸 수 있는 성질의 것도 아닙니다.
어떻게 예측했나
표본은 무작위로 나눠 학습에 1,600행, 테스트에 400행을 배정했습니다. 표 데이터 예측 모델은 학습에 함께 보여 준 행들에서 특성 여덟 가지와 주택 가치 중앙값의 관계를 익혀 두고, 학습에 쓰지 않은 테스트 행의 특성 여덟 가지를 주고 값을 예상합니다. 테스트 행 하나를 처리할 때마다 모델을 다시 학습시키는 것이 아니라 이미 학습된 모델에 넣는 방식이며, 이때 내놓는 점 예측은 구간의 중심값인 p50과 같습니다. 가장 그럴듯한 숫자 하나를 먼저 제시하는 셈이고, 여기에 구간을 함께 보면 어디쯤일지와 얼마나 확신할 수 있는지를 나눠 읽을 수 있습니다.
결과 읽기
오차를 읽는 눈금부터 정리하면 이렇습니다. MAE는 예측값과 실제값의 차이를 부호와 상관없이 더해 행 수로 나눈 값으로, 택배 도착 예정 시각이 평균적으로 얼마나 어긋났는지와 비슷합니다. RMSE는 차이를 제곱해 평균한 뒤 제곱근을 씌운 값이라 큰 차이에 더 민감하게 반응합니다. R², 즉 결정계수는 들쭉날쭉한 값의 움직임을 모델이 얼마나 따라갔는지를 요약한 지표입니다. 가장 단순한 방법은 누구에게나 학습 데이터의 평균값만 말해 주는 안내입니다. 이 실험에서 그 평균값은 2.0381이었고 그렇게 예측했을 때의 MAE는 0.9161, 약 91,610달러였습니다. 표 데이터 예측 모델의 MAE는 0.2833, 약 28,330달러로 기준선의 0.309배였고 오차는 69.1% 줄었습니다. RMSE는 0.4599, R²는 0.8471이었습니다. 절대 오차의 중앙값은 0.1675로 행 절반 이상이 이보다 작았고, 절대 오차가 0.5 미만인 행은 83.0%였습니다.
예측 구간 읽기
점 예측 하나만 말하면 불확실성이 가려집니다. 이 모델은 p10과 p50, p90을 함께 내놓는데, 택배 도착 시각에 빗대면 빠르면 이 시각, 보통은 이때, 늦으면 이때 도착한다고 알려 주는 식입니다. p10은 실제값이 이보다 낮을 가능성을 약 10%로 보는 값, p50은 위아래 가능성이 반반인 가운데 값, p90은 실제값이 이보다 높을 가능성을 약 10%로 보는 값입니다. 두 끝 사이인 p10~p90이 80% 구간이며, 평균 폭은 0.9667, 약 96,670달러, 중앙값 폭은 0.8122였습니다. 400행 가운데 333행, 83.25%가 이 구간 안에 들었고, 벗어난 67행 중 38행은 실제값이 p10보다 낮았으며 29행은 p90보다 높았습니다. 실측 적중률이 약속한 80%보다 높으면 구간이 다소 넉넉한 쪽이라고 볼 수 있고, 80%보다 낮으면 실제 불확실성보다 좁게 잡아 모델이 과신한 쪽이라고 해석합니다. 50% 구간(p25~p75)은 적중률 56%, 평균 폭 0.4783으로 더 좁았습니다.
구간이 넓었던 구역과 좁았던 구역
구간 폭은 소득 수준보다 예측값 수준과 더 닮아 있었습니다. 예측값이 1.5 미만인 122행의 평균 폭은 0.5819, 1.5에서 3.0 사이인 200행은 1.0827, 3.0 이상인 78행은 1.2711이었습니다. 폭과 예측값의 상관은 0.337로 어느 정도 함께 커졌지만, 폭과 중위 소득의 상관은 -0.004로 거의 관계가 없었습니다. 소득 사분위별 평균 폭도 0.8465에서 1.027 사이에 몰려 있었고, 적중률은 소득 2분위가 0.78로 가장 낮고 3분위가 0.88로 가장 높았습니다. 넓은 구간 사례에서는 p10 1.0663, p50 2.1664, p90 4.5053으로 폭이 크게 열렸고 실제값 3.0은 그 안에 들어왔습니다. 반대로 중위 소득이 15.0001인 블록에서는 p10 4.9627부터 p90 5.0501까지 폭이 0.0874에 불과할 만큼 좁았고 실제값은 5.0이었습니다. 다만 그 행은 상한값에 걸린 행이어서 좁은 구간을 높은 확신으로 받아들이기 어렵습니다. 오차가 가장 컸던 행은 실제값이 5.0인데 p50 1.9642, p90 3.4735로 예측해 구간을 벗어났고 절대 오차가 3.0358이었습니다.
한계와 주의
이 결과는 2,000행 표본 가운데 테스트 400행에서 얻은 숫자라, 분할이 달라지면 적중률과 폭도 흔들릴 수 있습니다. 자료는 1990년 인구조사 블록 그룹 집계이므로 개별 주택의 가격이 아니고 현재 시세도 아닙니다. 타깃은 5.00001에서 위로 잘려 기록됐는데, 표본 89행(4.45%)이 여기에 해당하고 테스트에서는 22행이었습니다. 그중 19행(86.36%)이 구간 안에 들었지만 실제 가치가 50만 달러를 넘을 수 있어 이 적중을 그대로 믿기 어렵고, p90이 상한을 넘은 행도 28개 있었습니다. 그러니 이 숫자들은 매수나 매도 같은 실제 의사 결정의 근거로 쓸 수 없습니다. 다시 말해 여기서 구간은 확실한 가격 범위가 아니라 모델이 내놓은 예측 범위이며, 이번 테스트에서 실제값의 83.25%를 담았다는 뜻으로 읽어 주시면 됩니다.