vivid-dry-plate

국립중앙박물관 소장 유리건판 자료
딥러닝 모델 활용 컬러라이징 파이프라인 구성 및 사용자 경험 향상 프로젝트

건판 3955

구조

• RabbitMQ를 통해 컬러라이징 서버와 HTTP API 서버가 통신
  • 
• 변환 완료 후 HTTP API 서버에서 프론트엔드로 SSE 이벤트 발행

Instruction

1. RabbitMQ 준비

docker compose -f docker-compose.dev.yml up -d

2. 컬러라이징 서버

pushd vivid-coloring

conda env create -f ./environment.yml
conda activate deoldify

# pth 다운로드
# https://github.com/jantic/DeOldify#pretrained-weights 중 Artistic 선택
cp your-download-path/ColorizeArtistic_gen.pth ./models/

# .env 복사, 수정
cp .env.example .env
YOUR_EDITOR .env

python ./main.py

popd

3. HTTP API 서버

pushd vivid-http

# 환경변수 설정 후 직접 빌드하여 실행하거나 IDE로 실행
./vivid-http/gradlew bootJar

EMUSEUM_SERVICE_KEY=your-emuseum-service-key;RABBITMQ_HOST=localhost;RABBITMQ_PASSWORD=admin;RABBITMQ_PORT=5672;RABBITMQ_USERNAME=admin;IMAGES_ROOT_PATH=/Users/limo/Git/vivid-dry-plate/images java -jar ./vivid-http/build/libs/vivid-http-0.0.1-SNAPSHOT.jar

popd

4. 프론트엔드

pushd vivid-front

# .env 복사, 수정
cp .env.example .env
YOUR_EDITOR .env

pnpm install
pnpm run dev

popd

알려진 문제와 해결할 점

• 에지 케이스 검증 미비
• e뮤지엄 API 요청하는 부분에 캐시 필요
• AI 모델 한계
  • 한국의 문화유산 이미지로 학습된 모델이 아니기 때문에 컬러라이징에 한계가 있음
  • 예시
    • [건판 1] 단청 부분 색상을 전혀 추론해내지 못했음
      
    • [건판 3013] 문자 주변이 붉게 얼룩짐
      
    • 건판 11808 레이블에 따르면 청화로 시문된 자기인데, 마치 동채처럼 붉게 채색된 부분이 일부 있음