Gemini Vision AI의 환각(Hallucination)을 방지하고 과일 당도 점수를 캘리브레이션한 노하우

멀티모달 AI에 과일 사진을 주고 단순히 '이 과일 맛 점수를 평가해줘'라고 요청하면, 대부분의 경우 4점 이상의 긍정적인 평가를 연발하는 편향이 발생합니다. 이는 서비스의 신뢰도를 떨어뜨리는 주요 원인이 됩니다.

1. 3가지 프롬프트 캘리브레이션 원칙

• 시각적 감점 지표 규정: 멍 자국, 꼭지 갈색 마름, 붕피 현상, 배꼽 퍼짐 등 감점 요소를 정량적 기준으로 명시
• Brix 보정 밴드: 품종별 산지 평균 당도(예: 바나나 18~22 Brix, 수박 11~13 Brix) 기준 밴드 내에서만 점수 수렴 조절
• JSON Schema Strict Mode: 점수(score), 별점(stars), 감점사유(deduction_reasons), 추천 가이드를 엄격한 JSON 구조로 고정

이러한 캘리브레이션 규칙을 통해 사용자가 상하거나 덜 익은 과일을 촬영했을 때 객관적이고 정확한 경고 메시지와 체크리스트를 반환할 수 있게 되었습니다.