MAPLE UPSCALE · SWINIR FINE-TUNING

SwinIR에 우리 도트를
더 가르쳐 보면?

이미 그림을 크게 만드는 법을 배운 공개 모델에,
우리 도트의 선과 색을 추가로 학습시킵니다. 학습 전과 후, 무엇이 달라질까요?

01공개 SwinIR에서 출발

2·3·4배 전용 모델을 각각 준비합니다.

02우리 도트로 더 연습

작게 줄인 도트를 보고 원본을 맞힙니다.

03안 본 캐릭터로 확인

학습에 쓰지 않은 원본과 비교합니다.

이렇게 이미 배운 모델을 새 데이터로 더 연습시키는 과정을 미세조정(추가 학습)이라고 합니다. 이번에는 SwinIR-M의 구조를 그대로 둔 첫 실험입니다.

실제 학습 기록을 불러오고 있습니다.

01 · 지금 얼마나 배웠을까?

실제로 실행한 만큼만 기록합니다.

‘스텝’은 정답을 보고 모델을 한 번 고친 횟수입니다. ‘손실’은 연습 문제에서 얼마나 틀렸는지 나타내는 숫자예요. 손실이 줄어도 처음 보는 그림까지 좋아졌는지는 아래 비교로 확인해야 합니다.

학습 기록을 기다리고 있습니다.

그래프는 저장된 실제 손실값을 연결합니다. 배율마다 푸는 문제가 달라서, 손실이 작은 배율이 더 좋은 모델이라는 뜻은 아닙니다.

학습에 쓰지 않은 그림으로 채점하기

원본의 색에 더 가까워졌을까?

PSNR ↑은 높을수록, MAE ↓는 낮을수록 원본 픽셀의 숫자에 가깝습니다. 흰 여백을 빼고 도트가 있는 전경을 채점합니다. 그림이 마음에 드는지도 함께 봐 주세요.

실제 평가 결과를 기다리는 중
배율평가 이미지공개 모델
PSNR ↑ / MAE ↓
추가 학습
PSNR ↑ / MAE ↓
PSNR 변화

02 · 실제 출력 나란히 보기

같은 입력으로, 학습 전과 후.

고해상도 원본은 왼쪽에 고정됩니다. 가로로 밀면서 원본과 두 모델의 결과를 비교해 보세요. 이미지를 누르면 실제 PNG를 엽니다.

작은 화면에서는 원본을 96픽셀 미리보기로 고정하고 결과를 남은 폭에 맞춥니다.

결과를 읽을 때 함께 볼 조건

이번 실험에서 확인하는 것

입력은 이렇게 만들었습니다.흰 배경의 원본을 Bicubic(주변 색을 섞는 방식)으로 줄입니다. 같은 작은 입력을 공개 모델과 추가 학습한 모델에 넣습니다.

배율마다 따로 학습합니다.2·3·4배 전용 SwinIR-M에서 각각 출발합니다. 모델의 구조는 유지하고, 내부의 숫자인 가중치를 우리 이미지에 맞게 바꿉니다.

같은 캐릭터를 외워서 맞히지 않도록.캐릭터 묶음 단위로 학습용과 평가용을 나눕니다. 한 캐릭터의 다른 동작이 양쪽에 섞이지 않도록 합니다.

옛날 도트는 다음 확인 대상입니다.여기서는 해상도가 큰 원본을 줄였다가 복원합니다. 옛날에 직접 그린 작은 도트는 선과 색이 다를 수 있어, 실제 복원 성능은 따로 확인해야 합니다.

Bicubic 축소는 원본 픽셀 한 칸을 그대로 남기는 조건이 아닙니다. 이번 단계는 공개 SwinIR에 우리 도트를 추가 학습하는 효과를 확인하는 실험입니다.

학습 설정과 사용한 가중치