무엇을 예측했나
남극 팔머 군도에서 측정한 펭귄 344마리의 기록으로 세 종을 맞히는 문제를 다뤘다. 종은 Adelie, Chinstrap, Gentoo 세 가지다. 각 개체에는 어느 섬에서 측정됐는지, 부리 길이와 부리 깊이, 날개 길이, 체중, 성별이 함께 적혀 있다. 그래서 질문은 몸 치수 하나만으로 종을 가르는 문제가 아니라, 여러 특성이 함께 주어졌을 때 AI가 종을 얼마나 잘 가려내는가에 가깝다. 같은 몸 치수라도 섬과 성별, 부리 모양이 얽혀 있기 때문에 분류는 자연스럽게 여러 단서를 함께 보는 작업이 된다.
이 실험의 재미는 정답 하나를 맞히는 데서 끝나지 않는다. AI가 어떤 종일 가능성을 얼마나 크게 보는지도 함께 내놓기 때문이다. 그래서 결과는 맞다와 틀렸다만이 아니라, 얼마나 망설임 없이 판단했는지까지 보여 준다.
어떻게 예측했나
전체 344마리를 종 비율이 유지되도록 80 대 20으로 나눠 275마리로 학습하고 69마리로 테스트했다. 테스트에는 Adelie 30마리, Gentoo 25마리, Chinstrap 14마리가 포함됐다. 수치 결측 2행과 성별 결측 11행은 모두 학습 쪽에 있었고, 테스트 69마리에는 결측이 없었다. 측정 연도는 종과 무관해 제외했다. 표 형태 데이터를 분류하는 AI 모델은 섬, 부리 길이, 부리 깊이, 날개 길이, 체중, 성별 여섯 특성을 함께 보고, 정답 하나를 고르는 대신 종별 확률을 내보냈다.
왜 정답을 숨긴 테스트로 평가할까. 학습에 쓰지 않은 개체를 보여 줘야 처음 보는 기록에서도 종을 구분하는지 볼 수 있기 때문이다. 같은 개체를 외우는 능력과 새 개체를 분류하는 능력은 다르므로, 테스트 분할은 평가의 중요한 장치가 된다.
결과 읽기
테스트 69마리 가운데 68마리를 맞히고 1마리를 틀렸다. 정확도는 0.9855, 즉 98.55%다. 전체 69장짜리 답안지에서 68장에 알맞은 종을 적은 셈이다. 세 종 각각의 F1을 같은 비중으로 평균한 값은 0.9829, 즉 98.29%다. F1은 맞춘 것과 놓친 것을 함께 고려한 성적 지표로, 한 종만 잘 맞추는 문제를 줄이는 데 도움이 된다.
비교를 위해 Adelie만 찍는 단순한 기준을 생각하면 정확도는 0.4348, 43.48%다. 이는 모델의 예측 결과가 아니라, 가장 흔한 종만 골랐을 때 얼마가 나오는지 보는 단순 비교값이다. 실제 결과와의 차이는 55.07%p다. 다만 테스트가 69마리라 한 마리 차이가 정확도 약 1.45%p를 움직인다. 그래서 98.55%라는 숫자가 매우 높아 보여도, 작은 표본 위의 결과라는 점은 따로 봐야 한다.
어디서 헷갈렸나
혼동 행렬은 실제 종을 행, 모델이 예측한 종을 열로 놓고 몇 마리가 어디에서 어긋났는지 보여 주는 표다. 이 결과에서 실제 Adelie 30마리 중 29마리는 Adelie로, 1마리는 Chinstrap으로, 0마리는 Gentoo로 예측됐다. 실제 Chinstrap 14마리는 모두 Chinstrap으로, 실제 Gentoo 25마리는 모두 Gentoo로 맞았다. 즉 유일한 오답은 실제 Adelie를 Chinstrap으로 본 한 건이다.
재현율은 실제 그 종인 개체 가운데 모델이 맞힌 비율이다. Adelie 재현율은 0.9667, 30마리 중 29마리다. 정밀도는 모델이 그 종이라고 답한 개체 가운데 실제로 그 종인 비율이다. Chinstrap 정밀도는 0.9333, 93.33%로, Chinstrap이라고 답한 15마리 중 14마리가 실제 Chinstrap이었다. 왜 Adelie와 Chinstrap이 헷갈렸을까. 평균을 보면 두 종은 부리 깊이 18.3mm와 18.4mm, 날개 길이 190.0mm와 195.8mm, 체중 3700.7g과 3733.1g으로 꽤 비슷하다. 반면 부리 길이는 38.8mm와 48.8mm로 차이가 난다. 물론 모델이 어떤 특성을 얼마나 봤는지는 알 수 없으므로, 이것은 오답 원인을 단정하는 말이 아니라 한 가지 가능한 해석이다. Gentoo는 부리 깊이 15.0mm, 날개 길이 217.2mm, 체중 5076.0g으로 두 종과 더 뚜렷하게 갈린다. 섬별 분포도 맥락을 준다. Biscoe에는 Adelie 44마리와 Gentoo 124마리, Dream에는 Adelie 56마리와 Chinstrap 68마리, Torgersen에는 Adelie 52마리가 있었다.
확률 읽기
이 모델은 종별 확률을 출력했다. 테스트 69마리 중 67마리는 최고 확률이 0.99 이상, 68마리는 0.9 이상이었다. 최고 확률 평균은 0.996, 가장 낮았던 값은 0.8213이다. 대부분은 거의 확실하게 맞힌 셈이고, 경계에 걸친 개체에서만 확률이 내려간다.
한 사례는 Dream 섬의 암컷으로, 부리 길이 42.2mm, 부리 깊이 18.5mm, 날개 길이 180.0mm, 체중 3550.0g이었다. 실제로는 Adelie였지만 Chinstrap 0.8213, Adelie 0.1785, Gentoo 0.0002로 예측됐다. 이 개체는 테스트 전체에서 최고 확률이 가장 낮았다. 부리 길이가 Adelie 평균 38.8mm와 Chinstrap 평균 48.8mm 사이에 있고, Dream 섬에 두 종이 함께 산다는 점을 보면 두 종 사이 경계에 걸친 기록으로 읽을 여지가 있다. 다만 모델의 판단 근거는 제공되지 않으므로 원인을 말할 수는 없다. 날개 길이와 체중이 두 종 평균보다 모두 작았다는 사실도 함께 기억해 둘 만하다.
비슷하게 Dream 섬의 수컷 한 마리는 부리 길이 43.2mm로 Adelie에 맞았지만 Adelie 0.9682, Chinstrap 0.0317, Gentoo 0.0001로 두 번째로 낮은 확신을 보였다.
한계와 주의
테스트가 69마리뿐이라 한 마리 차이가 정확도 약 1.45%p를 움직인다. 표본이 작으면 우연히 맞은 몇 마리나 틀린 몇 마리에 따라 지표가 크게 흔들릴 수 있다. 또 섬 정보가 종 분포와 강하게 얽혀 있다. 어떤 섬에는 특정 종만 살거나, 두 종이 함께 사는 식이라 다른 지역의 펭귄 데이터에 그대로 일반화하기 어렵다.
이 실험은 남극 팔머 군도의 측정 기록과 여섯 특성, 그리고 한 번의 분류 결과를 바탕으로 한 사례다. 따라서 98.55%라는 정확도를 모든 펭귄 분류의 기준으로 받아들이거나, 사람보다 뛰어나다고 단정할 근거는 아니다. 몸 치수 여러 값과 섬·성별 정보가 함께 주어졌을 때 어떤 패턴이 보이는지, 그리고 확률과 혼동 행렬이 어디서 망설임을 드러내는지 읽어 내는 데 의의가 있다.