PET-I | 반려동물 안구 질환 보조 진단 서비스

사진 한 장으로 안구 질환을 1차 진단하고, 진단 근거와 관리 방법을 누구나 이해하기 쉬운 일상어로 설명해 주는 설명 가능한 통합 AI 헬스케어 시스템입니다.

Qwen3-VL-8B LoRA YOLOv8 RAG Unsloth FastAPI Flutter

92%유사 질환 통합 스크리닝 정확도

4인팀 구성

AI·RAG·CV핵심 기술 영역

UI Screens

나의 역할: AI 파인튜닝, 데이터 파이프라인, RAG 구현, 이미지 전처리 전담

기술 스택: Qwen3-VL-8B, LoRA, YOLOv8, RAG, Unsloth, FastAPI, Flutter, RunPod Serverless

구현 코드와 학습·평가 과정, 상세 아키텍처는 GitHub 저장소와 프로젝트 보고서에서 더 자세히 볼 수 있습니다.

해결하고자 한 문제: 반려동물의 눈 건강 이상은 겉으로 잘 드러나지만, 전문 지식이 없는 보호자는 심각성을 판단하기 어렵습니다. 이로 인해 병원 방문이 늦어지고 치료비 부담과 후유증이 커지는 문제가 있었습니다.

타겟 사용자: 반려동물의 눈 상태가 걱정되어, 집에서 빠르고 직관적으로 1차 스크리닝을 해보고 싶은 보호자

프로젝트 목표: 단순히 “결막염입니다”라고 정답만 뱉는 기존 분류 AI의 한계를 넘어, 어떤 시각적 증상 때문에 이런 진단이 나왔는지를 자연어로 설명하고 챗봇 상담까지 받아주는 친절하고 설명 가능한 AI 서비스를 만드는 것을 목표로 했습니다.

전문 모델 수준의 높은 스크리닝 신뢰도 확보: 시각적 특징이 유사한 질환들을 그룹화하여 평가한 결과, 통합 정확도 92%를 달성하여 1차 스크리닝 도구로서의 가치를 입증했습니다.
목적별 맞춤형 결과 동시 생성: 시스템 연동을 위해 필요한 정형화된 데이터(JSON)와 보호자가 앱에서 바로 읽을 수 있는 보고서(Markdown)를 단일 파이프라인에서 함께 생성하도록 설계했습니다.
근거 기반의 대화형 후속 상담: AI 환각을 줄이기 위해 진단 결과에 외부 수의학 지식(RAG)과 실시간 웹 검색(Web Search)을 결합했습니다.

Why Qwen3-VL-8B? 기존 이미지 분류 AI는 왜 그런 판단을 했는지 설명하기 어렵습니다. 이미지와 텍스트를 동시에 이해하고 진단 근거를 설명할 수 있는 멀티모달 추론 능력이 필요해 VLM을 도입했습니다.

Why LoRA & Unsloth? 8B 규모의 모델을 제한된 GPU 환경에서 학습하기 위해 Unsloth, 4-bit 양자화, LoRA를 활용했습니다.

데이터셋 가공 및 멀티 포맷 파이프라인 구축: AI-Hub 이미지 5,600장에 시각적 증상 라벨을 추가하고 JSON, Markdown, 대화형 데이터 등 16,800개 멀티포맷 데이터로 재구성했습니다.
Qwen3-VL-8B 모델 파인튜닝: 커스텀 데이터 처리 방식을 적용해 사용자의 질문이 아니라 AI가 생성해야 할 답변 구간 중심으로 학습하도록 구성했습니다.
이미지 전처리 및 RAG 파이프라인 개발: 원본 사진에서 안구 및 병변 영역을 추출하고, 외부 지식을 찾아와 답변을 보강하는 검색 증강 생성 시스템을 구현했습니다.
웹서비스 연결: RunPod Serverless 추론 환경과 FastAPI 중계 서버를 연결해 이미지 업로드 후 진단 결과와 상담 흐름까지 이어지도록 구현했습니다.

이슈 1. 텍스트 과적합 문제
상세한 수의사 진단서 형태의 긴 글로 학습했을 때 모델이 문투에 과적합되어 성능이 떨어졌습니다. 짧은 진단용, 서술형 설명용, 챗봇 대화용 템플릿으로 분리해 재학습하면서 응답 품질과 진단 안정성을 개선했습니다.

이슈 2. 반복 생성 오류
서술형 답변에서 같은 문장을 반복하는 문제가 있었습니다. 데이터 전처리 과정에서 대화의 시작과 끝을 알리는 특수 토큰 제어 로직을 추가하고, 모델이 생성해야 하는 구간을 명확히 학습하도록 조정했습니다.

이슈 3. ROI 문맥 보존
눈물 자국처럼 주변 털의 착색이 중요한 질환은 단순 크롭으로 식별이 어려웠습니다. YOLO 탐지 결과에 padding을 주어 주변 피부와 털의 문맥을 포함하도록 전처리 파이프라인을 수정했습니다.

최신 VLM의 잠재력을 확인하는 동시에, 인공지능의 성능은 단순히 모델 크기가 아니라 데이터 구조화와 입력 전처리에 크게 좌우된다는 점을 체감했습니다. 파인튜닝부터 RAG 연동까지 전체 파이프라인을 직접 구축하며 엔지니어링적 시야가 넓어졌습니다.

건국대학교 생성형 AI 활용 사례 공모전 우수상 수상. 도메인 특화 VLM 파인튜닝과 외부 지식 결합을 통해 실제 서비스화가 가능한 수준의 XAI 파이프라인을 구축한 역량을 평가받았습니다.