논문 속 모델, 학습 없이 써볼 수 있을까?

후속 실행: 같은 도트를 공개 모델로 복원한 실제 비교 갤러리에서 원본·입력·모델별 결과를 나란히 볼 수 있습니다.

DiT-SR까지 공식 코드와 학습된 가중치가 공개돼 있습니다. 추가 학습 전에 공개 모델로 우리 도트를 먼저 확대해볼 수 있습니다.

가중치(체크포인트)는 모델이 학습하며 익힌 숫자들입니다. 코드가 조립 설명서라면, 가중치는 이미 공부를 마친 모델의 기억입니다. 코드 공개와 가중치 공개는 다르고, 이미지 생성용과 업스케일용도 다릅니다.

확인일: 2026-09-12. 논문 저자·모델 제작자의 저장소, 실제 파일 목록과 다운로드 응답을 확인했습니다. 이번 확인에서 새 모델 설치·전체 다운로드·추론은 하지 않았습니다. ‘공개’는 우리 GPU에서 실행까지 검증했다는 뜻은 아닙니다.

먼저 비교할 공개 업스케일 모델

공식 출처: Real-ESRGAN 모델 목록 · AnimeSharp 제작자 · DiT-SR · ResShift.

추천 순서: 같은 입력을 4배로 확대해 Real-ESRGAN 애니 → AnimeSharp → ResShift → DiT-SR을 비교합니다. 네 모델 모두 4배 가중치를 확인했으므로 배율을 맞추기 쉽습니다. 이 비교는 ‘공개 모델을 가져왔을 때의 품질’을 확인하며, 학습 데이터·크기·학습량이 같지 않아 신경망 구조만의 우열을 증명하지는 않습니다.

한 픽셀만 남기는 아이디어는 RePaint로 따로 대조할 수 있습니다. 공식 저장소에 이미 2×2 칸 중 한 픽셀을 알려주고 나머지 3칸을 채우는 2배 확대 예제가 있습니다. 기존 가중치를 쓰는 추론 방식이며, 공개 코드의 최종 PNG가 원본 픽셀값과 정확히 일치하는지는 별도 검사해야 합니다. 공식 예제 설명 · 2배 설정 파일

읽기 목록의 논문은 어디까지 공개됐나?

출처: ESRGAN · DDPM · SR3 저자 페이지 · DiT · RePaint · DiT-SR · PixelDiT.

SR3의 ‘미확인’은 세상 어디에도 없다는 뜻이 아닙니다. 이번에 확인한 저자 페이지에 공식 배포 링크가 없다는 뜻입니다. DDPM도 모든 사본의 소실을 뜻하지 않고, 원 저장소가 안내하는 링크의 현재 상태입니다.

SR3의 Janspiry 제3자 구현은 비공식임을 명시하며, 공개 폴더에서 얼굴 16→128·64→512 가중치를 확인했습니다. 둘 다 8배 얼굴 SR이므로 현재 도트의 2·3·4배 비교와 조건이 다릅니다.

DiT-SR는 실제로 어떤 파일을 쓰나?

공식 저장소의 공유 폴더에서 로그인 없이 다음 파일의 이름·크기를 확인했습니다. 파일 전체 다운로드는 아직 검증하지 않았습니다.

공식 실행 예시는 --scale 4, configs/realsr_DiT.yaml, weights/realsr.pth를 사용합니다. 공식 설정은 15단계 디퓨전·VQGAN 압축 공간·RGB 입출력입니다.

따라서 DiT-SR는 우리가 직접 만든 ‘RGBA 픽셀에서 잡음을 지우며 한 칸을 고정하는 작은 DiT’와 같은 모델이 아닙니다. 논문 그대로의 공개 모델과 직접 설계한 모델을 이름부터 구분해 비교합니다. 여기서 PixelDiT의 pixel도 도트 그림 전용이라는 뜻이 아니라, 압축 표현 대신 실제 픽셀에서 생성한다는 뜻입니다. PixelDiT 공식 설명

U-Net 디퓨전은 무엇으로 비교할까?

실용적인 SR 참고군으로는 ResShift를 먼저 볼 수 있습니다. 공식 v2.0 릴리스에서 원 논문 v1의 resshift_realsrx4_s15_v1.pth, 저널 확장 v3의 resshift_realsrx4_s4_v3.pth, 공통 autoencoder_vq_f4.pth의 파일 응답을 확인했습니다. 두 SR 파일은 서로 다른 버전이며, 단순히 같은 가중치의 단계 수만 바꾼 것으로 취급하지 않습니다. 현재 기본 브랜치는 journal입니다. 공식 설정의 ResShift에는 Swin Transformer가 들어가므로 ‘CNN만으로 만든 U-Net’이라는 이름은 쓰지 않습니다.

CNN U-Net 계열의 다른 공식 SR 모델로는 OpenAI의 guided-diffusion 업샘플러가 있습니다. 원조 DDPM·SR3와 다른 논문 모델이며, 64_256_upsampler.pt 파일 응답이 정상입니다. RGB 64×64 → 256×256, ImageNet 클래스 조건 모델이므로 작은 도트에 적용할 때 입력 크기·클래스 조건 처리가 필요합니다. attention도 사용하므로 이것 역시 합성곱만으로 구성된 모델은 아닙니다.

RePaint는 입력 이미지와 마스크를 받으므로 ‘한 칸만 남기고 나머지를 채우기’의 사전학습 비교 후보입니다. 다만 공개 가중치가 학습한 이미지 종류·해상도와 우리의 희소한 도트 격자가 달라, 결과 품질은 실제 추론으로 확인해야 합니다. RePaint 공식 사용법

가중치가 있어도 우리 조건은 확인해야 한다

1. 한 픽셀 보존: 일반 SR 공개 가중치에는 우리가 정한 격자 위치의 RGBA 값을 정확히 고정하는 보장이 없습니다. 공개 모델의 원출력과 원본 픽셀을 다시 끼워 넣은 결과를 구분해야 합니다. RePaint도 마지막 저장 결과의 알려진 픽셀 일치를 별도로 검사합니다.
2. 투명도: 확인한 SR 모델은 RGB를 처리합니다. Real-ESRGAN의 RGBA 지원도 RGB와 알파를 따로 확대합니다. 색과 투명도 오차를 따로 보고, 같은 중립 배경에서 비교합니다. 공식 처리 코드
3. 배율: 4× 모델을 실행한 뒤 3× 크기로 줄인 것은 3× 전용 학습 모델과 다릅니다. Real-ESRGAN의 --outscale도 최종 크기 변경을 할 수 있으므로, 우선 원래 지원하는 4×끼리 맞춥니다. 공식 추론 코드
4. 색 변화: 공개 모델에서도 같은 도트가 파래지는지 비교하면 직접 학습한 모델의 문제인지 살펴볼 단서가 됩니다. 이것만으로 원인을 확정하지 않고, 입력·배경·알파 처리까지 맞춘 RGB 수치와 함께 봅니다.

현재 9개 파일럿은 우리가 설계해 처음부터 학습한 작은 모델이며, 논문의 공식 체크포인트를 사용한 재현 결과가 아닙니다. 기존 직접 학습 결과 · 색 변화 검사

실제 공개 파일 확인 기록

‘응답 정상’은 로그인 없는 HEAD 요청에서 HTTP 200을 확인했다는 뜻입니다. 가중치 전체 내용의 무결성이나 실제 추론 성공까지 확인한 것은 아닙니다. Google Drive는 공개 폴더 목록 또는 개별 파일 페이지 확인으로 구분했습니다.

이 서버에 이미 있는 모델

/home/son/prj/ComfyUI/models/upscale_models/ 아래에 다음 파일이 있습니다.

• RealESRGAN_x4plus.pth
• RealESRGAN_x4plus_anime_6B.pth
• AnimeSharp_V1/4x-AnimeSharp.pth

Real-ESRGAN 두 파일은 공식 릴리스와 파일 크기가 같습니다. AnimeSharp V1은 제작자 저장소의 SHA256과 로컬 파일의 SHA256이 일치합니다. 이름이 비슷한 로컬 AnimeSharp_V4/2x-AnimeSharpV4_RCAN.safetensors는 RCAN 기반 2× 모델로, 위 V1과 별개입니다.

기존 설명 페이지에서 실제 추론한 공개 모델은 Real-ESRGAN 애니 6B입니다. 다른 가중치가 디스크에 있다는 사실을, 이번 비교를 이미 실행했다는 뜻으로 쓰지는 않습니다.

논문 읽기 가이드 · 실험 계획 · 직접 학습 결과 · ESRGAN 그림 수업