[해결] 사진 분석 AI 결과를 100점 만점 점수로 변환하는 구조

한 줄 요약: Gemini API가 반환하는 무작위 텍스트 대신 responseJsonSchema로 6가지 외관 관찰값과 세부 점수를 구조화하고, 서버(AWS Lambda)에서 가중치 계산 알고리즘을 통해 100점 만점 신뢰성 있는 총점과 별점으로 변환하도록 구현했습니다.

LLM(대형 언어 모델) 기반 AI 비전 모델을 서비스에 적용할 때 가장 큰 문제는 응답의 일관성과 객관적인 수치화였습니다.

초기 시도에서는 프롬프트에 "반드시 JSON 형식으로 score: 85, reason: '...' 형태로 답변하세요"라는 문구를 넣고 생성된 문장 전체를 Regex로 파싱하려 했습니다.

// 기존 시도 (문장 생성 방식 - 실패 패턴)
const prompt = "이 과일 사진을 보고 100점 만점 점수와 이유를 JSON으로 줘. 예: {\"score\": 80}";
// 결과: "네, 분석 결과입니다: ```json {"score": 80} ```" -> JSON.parse 오류 발생

AI에게는 '사진 속 시각적 사실 관찰 및 항목별 0~100 평가'만 맡기고, '최종 점수 계산 및 유효성 검증'은 AWS Lambda 서버에서 엄격하게 처리하도록 역할을 분리했습니다.

4. Playful Mode (재미용 닮은 과일 비교): 과일이 아닌 대상(not_fruit)이 감지되면 가장 닮은 지원 과일과의 시각적 유사도 점수로 유쾌하게 전환합니다.

`infra/analyze-api/index.mjs` (백엔드 Lambda 적용 코드)

// 1. 6가지 관찰 항목별 가중치 정의
const CHECK_WEIGHT = {
  color: 0.20,
  shape: 0.12,
  surface: 0.24,
  damage: 0.24,
  stem: 0.08,
  ripeness: 0.12,
};

// 2. Gemini API Strict JSON Schema 정의
const responseSchema = {
  type: "object",
  properties: {
    status: {
      type: "string",
      enum: ["ok", "not_fruit", "multiple_fruits", "low_quality", "unsupported"],
    },
    fruitName: { type: "string" },
    matchedFruitName: { type: "string" },
    detectedSubject: { type: "string" },
    confidence: { type: "number", minimum: 0, maximum: 1 },
    checks: {
      type: "object",
      properties: {
        color: checkSchema,
        shape: checkSchema,
        surface: checkSchema,
        damage: checkSchema,
        stem: checkSchema,
        ripeness: checkSchema,
      },
      required: ["color", "shape", "surface", "damage", "stem", "ripeness"],
    },
  },
  required: ["status", "fruitName", "matchedFruitName", "detectedSubject", "confidence", "checks"],
};

// 3. 서버 단 가중치 점수 합산 로직
function calculateScore(checks, weights = CHECK_WEIGHT) {
  let weightedScore = 0;
  let totalWeight = 0;
  for (const [key, weight] of Object.entries(weights)) {
    const check = checks[key];
    if (check && check.status !== "unknown" && check.status !== "not_applicable") {
      weightedScore += check.score * weight;
      totalWeight += weight;
    }
  }
  if (totalWeight === 0) return 0;
  return Math.round(weightedScore / totalWeight);
}

AI를 활용할 때 AI에게 모든 결정권(마지막 결론 및 수학 산술)을 넘기지 않고, AI는 관찰자로서 구조화된 데이터만 뽑아내게 하고 최종 산출은 백엔드 비즈니스 로직에서 제어하는 구조가 훨씬 안정적이고 검증 가능한 서비스를 만듭니다.

실제 적용 서비스