MAPLE UPSCALE · HUB

메이플 도트 업스케일,
처음부터 지금까지.

작은 도트를 두 배로 키우는 모델을 만드는 과정입니다. 위에서 아래로 실제 진행한 순서이고, 각 단계는 앞 단계의 결과를 이어받습니다. 가장 최근 페이지는 초록색입니다.

1. 원리와 계획

업스케일이 무엇인지, 무엇을 비교할지 정한 단계.

01작은 도트가 큰 그림이 되기까지

픽셀·합성곱 체험, ESRGAN 계열 모델의 특징과 학습 원리. 공개 모델의 소규모 추론 예시.

02GAN · CNN 확산 · DiT 학습 계획

2·3·4배와 한 픽셀 보존을 비교하는 단계별 실험 설계.

03논문 읽기 가이드

SRGAN·ESRGAN·Real-ESRGAN·SwinIR 등 읽는 순서와 핵심.

2. 데이터

수집한 스프라이트를 학습 가능한 쌍으로 만든 단계.

04데이터 준비 결과·검토 갤러리

5,305계열 조사, HR 가능 502계열, 400/50/50 분리, 옛 도트 100 격리.

05학습 입력(LR) 샘플

같은 HR에서 만든 Bicubic · 점 샘플링 · 경계선 보존 LR 비교. 경계 픽셀 보존율 실측.

3. 공개 모델 그대로 써보기

학습 없이 공개 가중치가 도트를 얼마나 복원하는지 본 단계.

06공개 모델·가중치 확인표

공식 코드와 실제 파일 공개 여부, SR 용도 구분.

07공개 모델 2배 복원 비교

검증 8종 + 나사 몬스터를 2배 축소해 SwinIR x2·x2plus·4배 가중치 활용 모델로 복원. 이전 4배 비교는 pretrained/x4/에 보존.

08추론 재검증·축소 방식 비교

Nearest·BOX·Bicubic 입력 240개 출력, 공식 코드 대조.

092·3·4배 모든 모델 나란히

배율별 실제 입력으로 새로 추론한 272개 결과.

4. 직접 학습

처음부터 학습한 세 구조와, 공개 SwinIR을 우리 도트로 추가 학습한 실험.

10GAN · U-Net · DiT 파일럿

2·3·4배 × 세 모델 각 30분. 진행 상태와 실제 미리보기. 하위: 색 변화 비교 · 푸른색 검사.

11SwinIR 추가 학습 1,000스텝

2·3·4배 공개 가중치를 400계열로 미세조정. 학습 전후 비교.

12SwinIR 10,000스텝까지

손실 곡선과 1,000스텝마다 저장한 가중치의 실제 결과. x2 24.3 dB.

5. 진짜 도트에 적용

정답이 없는 실제 입력에 넣어 눈으로 확인한 단계. 여기서 입력 종류 문제를 발견했습니다.

13실제 도트 2배

학습 미사용 스프라이트 48개. 원본 2배 · 공개 SwinIR · 추가 학습 SwinIR 3열. Bicubic 학습 모델은 진짜 도트를 거의 안 건드림.

14이펙트 애니메이션 2배

VFX 코덱스 원본 이펙트 6종 프레임을 키워 다시 재생. APNG·MP4.

15점 샘플링 LR로 다시 학습

흐리지 않은 LR로 x2 재학습(10,000스텝). 진짜 옛 도트에서 처음으로 매끈한 결과.

16경계선 보존 LR로 다시 학습

블록 안의 어두운 경계 픽셀을 우선 뽑은 LR(경계 보존 24%→58%)로 x2 10,000스텝 완료. 옛 도트 48개에서 점 샘플링과 나란히 비교.

17RGBA 4채널로 다시 학습

투명 픽셀을 없는 픽셀로 두고 알파까지 모델이 직접 예측. 경계선 보존 LR, x2 10,000스텝.

18전경만 보고 학습 + 마스크·테두리 후처리

손실은 |정답×α − 추론×α|만. 배경 무시. 추론 뒤 입력 알파 마스크와 1px 경계선 후처리.

19윤곽선을 지운 LR로 학습

가장 밝은 픽셀 샘플링 + 알파 1px 수축 LR, HR 손실 마스크 2px 수축, 전경 전용 손실. x2 10,000스텝. 윤곽 안쪽 색 정확도 최고(20.4 dB). 최신. 입력 샘플: LR · 옛 도트 100개.

20이펙트 × 모델 5종 애니메이션

이펙트 6종을 점 샘플링·경계선 보존·RGBA·전경 전용·수축 모델로 각각 키워 원본·공개·Bicubic과 함께 나란히 재생. 프레임별 크게 보기 포함.

21업스케일 결과를 진짜 도트로 되돌리기 (proper-pixel-art)

헬레나 결과 12종에 격자 검출 도구 적용. 자동 검출 2종과 격자 폭 지정 비교, 5·6단계 중간 결과 포함.

25학습 데이터셋 총 보기 (v2)

학습 2,942장 · 검증 315장의 192 crop 전부. HR·LR 나란히, 이름 검색, 격자로 여러 장 나온 프레임만 보기, 클릭하면 투명 원본·마스크까지. test는 미개봉 유지로 제외. 최신.

24학습 코드 한 파일로 따라가기 (노트북)

data·learning·outline·point 코드를 한 노트북에 합치고 단계마다 그림·print. 마지막에 40스텝 미니 학습(12.1→13.6 dB). ipynb 내려받기. 최신.

23도트 업스케일 결과 갤러리

학습 미사용 스프라이트 50개(옛 도트·test) × 모델 12버전을 한 표로. 셀을 누르면 실제 배율로 크게 보고 화살표로 넘김(캐릭터를 바꿔도 보던 버전 유지). 최신. 두 열만: 원본 2배 vs 업스케일 결과.

22개조 당한 허세로이드 · SwinIR 2·3·4배

원본을 1/2·1/3·1/4로 줄였다가 공개 SwinIR로 되돌린 한 줄 비교와 PSNR·MAE. 최신.

이전 주소 /esrgan/…는 이곳으로 자동 이동합니다. 소스: ~/prj/maple/6_upscale/lesson/