AI 점원이 잘못 인식한 ‘가장 비싼 과자’ 사건

1. 뜻밖의 고급 과자 결제

지난달, 야근 후 허기를 달래기 위해 집 근처 무인 편의점에 들렀다.
목적은 간단했다.
“그냥 과자 하나만 집어 가자.”
눈에 띈 건 포장 디자인이 깔끔한 감자칩. 1,800원 정도 할 거라 생각했다.

셀프 계산대에 상품을 올리자, 화면에 뜬 금액은 “₩18,000”.
순간, 내 눈을 의심했다.
감자칩 하나에 18,000원이라니?
게다가 AI 점원 화면에는 상품명이 이렇게 떴다.
“한정판 수입 트러플 스낵”

---

2. AI 점원의 ‘인식 오류’ 원인

무인 점포의 AI 계산 시스템은 주로 **비전 인식(Computer Vision)**과 상품 바코드 인식을 함께 사용한다.
이번 오류는 두 기술의 혼합 과정에서 발생했다.

(1) 외관 유사성 문제

• 감자칩 포장과 실제 고급 수입 과자의 포장 패턴이 유사했다.
• 특히 ‘검정+금색’ 디자인이 AI의 이미지 분류 알고리즘에서 같은 카테고리로 분류됨.

(2) 바코드 스캔 누락

• 셀프 계산대에 상품을 올렸지만, 바코드 인식이 실패했다.
• 이 경우 AI는 “이미지 기반 대체 인식”을 사용한다.
• 그런데 이때 잘못된 학습 데이터로 인해, 1,800원짜리가 18,000원짜리로 잘못 매칭됨.

(3) 데이터셋 편향

• AI 학습 데이터에 고급 수입 과자 이미지는 많이 포함되어 있었으나, 국내 일반 감자칩은 상대적으로 적게 포함되어 있었다.
• 결과적으로 특정 패턴(포장 색, 로고 위치 등)에 과도하게 반응하는 ‘편향’이 발생.

---

3. 결제 취소가 어려웠던 이유

무인 점포에서는 사람 점원이 없기 때문에, 즉시 오류를 수정하기가 어렵다.
일반적으로는 앱 고객센터나 점포 운영 본사로 문의해야 한다.

실제 절차

1. 결제 영수증 확보
   • 앱 또는 문자로 받은 영수증 캡처
2. 상품 사진 전송
   • 잘못 인식된 실제 상품 사진 첨부
3. 가격 조정 요청
   • 본사에서 시스템 로그를 확인 후 환불 처리

이번 사례에서는 환불까지 약 3일이 소요됐다.

---

4. 다른 소비자 사례

사례 A — 빵이 ‘케이크’로 인식

단팥빵(1,500원)을 결제하려다 AI가 ‘티라미수 케이크(7,500원)’로 인식.
원인은 포장 위의 하얀 가루와 초콜릿 코코아 파우더 무늬가 케이크 이미지와 비슷했기 때문.

사례 B — 음료수가 ‘수입 와인’으로 인식

포도주스가 병 모양과 라벨 색 때문에 와인으로 잘못 인식.
미성년자였던 구매자가 ‘성인 인증 실패’로 구매 불가 판정.

---

5. AI 인식 오류가 발생하는 기술적 배경

(1) 이미지 분류(Classification)의 한계

• AI는 인간처럼 직관적으로 인식하지 않는다.
• 색상, 패턴, 비율 등 ‘픽셀 단위 특성’에 따라 판단한다.
• 따라서 포장 디자인이 비슷하면 가격이나 상품군이 달라도 같은 것으로 인식할 수 있다.

(2) ‘데이터 드리프트’ 문제

• 무인 점포에 새로운 상품이 들어오면, 기존 AI 모델에는 해당 데이터가 없다.
• 이 경우 비슷한 상품으로 자동 분류되며, 오류 가능성이 커진다.

(3) 바코드 의존도 문제

• 바코드 인식이 실패하면, AI는 보조 수단인 이미지 인식에 의존한다.
• 이때 잘못된 매칭이 발생하면 가격 차이가 수배 이상 날 수 있다.

---

6. 소비자가 할 수 있는 예방 팁

1. 바코드 직접 스캔
   • AI 인식 전에 상품을 바코드 리더기에 직접 대면, 이미지 인식 오류 가능성을 줄일 수 있다.
2. 결제 화면 확인 습관
   • AI 점포는 결제 전 화면에서 상품명과 가격을 표시한다.
   • 빠르게 지나치지 말고, 반드시 가격을 확인 후 결제 버튼을 누르자.
3. 즉시 고객센터 문의
   • 결제 후 24시간 이내에 문의하면 환불 처리 속도가 빠르다.

---

7. AI 시스템이 개선해야 할 점

(1) 다중 검증 시스템

• 바코드 인식 + 이미지 인식 + 무게 감지 등 2~3단계 검증 후 결제

(2) 지속적 학습 업데이트

• 주 1회 이상 상품 이미지 데이터셋 업데이트
• 신상품 출시 시 즉시 반영

(3) 가격 차이 자동 경고

• 동일 카테고리 평균 가격보다 3배 이상 비싼 경우, 결제 전 경고창 표시

---

8. 결론 — 편리함 뒤의 ‘맹점’

AI 계산대는 분명 편리하다.
하지만 기술의 정확도는 데이터 품질과 검증 절차에 달려 있다.
이번 사건 이후, 나는 무인 편의점에서 결제 전 상품명과 가격을 세 번은 확인한다.

편의점에서 과자 하나 집는 게 마치 IT 보안 점검이 된 기분이지만,
그 몇 초의 확인이 잘못된 18,000원 결제를 막아준다.