우리 업스케일 실험을 위한 논문 읽기 순서

다섯 편이면 GAN → 확산 → 업스케일 조건 → DiT → 픽셀 보존이 이어집니다. 처음에는 증명을 모두 따라가기보다, 그림을 보고 입력·정답·출력을 설명할 수 있으면 충분합니다.

선정·원문 확인: 2026-09-11. 아래 읽을 절과 그림 번호는 연결한 원문 버전 기준입니다. 논문의 사진 생성 성능이 우리 도트에도 그대로 나온다는 뜻은 아닙니다.

학습 없이 먼저 써보고 싶다면: 공식 코드·공개 가중치 확인표에서 DiT-SR, RePaint와 각 논문의 실제 배포 상태를 확인하세요. 2026-09-12 기준입니다.

시간이 없으면 세 편만

DDPM → SR3 → DiT 순서로 읽으세요. 각각 ‘잡음 제거를 어떻게 배우나’, ‘작은 그림을 어떻게 참고하나’, ‘그 일을 Transformer로 어떻게 하나’를 답합니다. 먼저 그림과 알고리즘만 한 번 보고, 이해되지 않는 수식은 표시해 두세요.

한 픽셀 보존 아이디어가 가장 궁금하면 그다음에 RePaint의 Figure 2와 4.1절을 보세요. GAN 쪽은 기존 그림 수업을 본 뒤 ESRGAN으로 연결하면 편합니다.

1. ESRGAN — 비교할 GAN 모델 이해하기

논문: ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks · 공식 코드

핵심 질문: 정답 픽셀에 가깝게 만드는 것과, 사람이 보기에 선명하게 만드는 것은 왜 다를까?

읽을 부분: Figure 3의 전체 생성망 → Figure 4의 RRDB(여러 지름길로 특징을 전달하는 블록) → 3.1절 → 3.3절의 지각 손실(그림의 특징 차이를 줄이는 목표). GAN 판별망의 변화는 Figure 5와 3.2절에서 봅니다.

이번 실험과 연결: 작은 RRDB 생성망을 먼저 정답 복원으로 학습하고, 이후 판별망과 함께 학습하는 비교군을 이해하는 출발점입니다. 먼저 확대 전후에 이미지의 가로·세로 크기가 언제 바뀌는지 따라가 보세요.

구분할 점: ESRGAN 원 논문이 우리 RGBA 투명도 처리나 한 픽셀 보존 규칙을 제공하는 것은 아닙니다. 그 조건은 세 비교 모델에 우리가 공통으로 추가합니다.

2. DDPM — 디퓨전의 기본 동작 익히기

논문: Denoising Diffusion Probabilistic Models · 저자 설명 페이지

핵심 질문: 정답 이미지를 바로 맞히게 하지 않고, 일부러 넣은 잡음을 맞히게 해도 어떻게 그림을 만들 수 있을까?

읽을 부분: Figure 2 → Algorithm 1·2 → 3.4절. 식 (4)는 ‘원본과 잡음을 섞기’, 식 (14)는 ‘실제 넣은 잡음과 예측한 잡음의 차이 줄이기’로 읽으면 됩니다. 확률식의 유도와 부록은 두 번째 읽기로 남겨도 됩니다.

이번 실험과 연결: U-Net과 DiT가 공유할 학습법의 토대입니다. 학습에서는 임의의 잡음 단계를 골라 문제를 내고, 생성할 때는 잡음을 여러 번 줄입니다. 두 알고리즘에서 반복의 의미가 어떻게 다른지 확인하세요.

구분할 점: 원 DDPM에는 우리 저해상도 입력·고정점 마스크가 없습니다. 이 조건을 추가한 것이 이번 실험의 확산 모델입니다.

3. SR3 — 디퓨전을 업스케일러로 바꾸기

논문: Image Super-Resolution via Iterative Refinement · 저자 시각 예시 · 이번 가이드의 원문 버전

핵심 질문: 잡음에서 아무 그림이나 만들지 않고, 입력한 작은 그림의 큰 버전을 만들게 하려면 무엇을 더 줘야 할까?

읽을 부분: 저자 페이지의 점차 선명해지는 예시 → Figure 2 → 2.2·2.3절의 학습과 생성 → Algorithm 1·2. 모델이 받는 ‘저해상도 원본, 잡음 낀 고해상도, 잡음의 정도’ 세 정보를 찾아보세요.

이번 실험과 연결: CNN 중심 U-Net 비교군과 가장 직접적으로 이어집니다. DDPM의 잡음 예측 문제에 저해상도 그림이라는 힌트를 더한다는 점을 이해하면 됩니다.

구분할 점: SR3는 입력 그림을 조건으로 쓰지만, 출력의 특정 픽셀을 8비트 RGBA까지 원본과 같게 고정하는 우리 규칙과 같지는 않습니다. 사진용 축소 규칙도 그대로 가져오지 않습니다.

4. DiT — 잡음을 처리하는 신경망 바꾸기

논문: Scalable Diffusion Models with Transformers · 저자 설명 페이지 · 공식 코드

핵심 질문: 잡음을 없애는 일을 합성곱 대신, 여러 그림 조각의 관계를 살피는 Transformer가 하면 어떨까?

읽을 부분: Figure 3 → 3.2절. 그림을 조각으로 나누는 Patchify, 시간 정보를 넣는 DiT 블록, 결과를 다시 배열하는 출력부를 순서대로 봅니다. 그다음 5절에서 패치 크기·모델 크기·계산량을 비교한 그림을 봅니다.

이번 실험과 연결: U-Net과 학습법은 맞추고, 잡음을 예측하는 구조를 바꾸는 이유를 이해합니다. ‘DiT’는 신경망 구조이고 ‘확산’은 학습·생성 과정이라는 구분이 핵심입니다.

구분할 점: 원 DiT는 VAE(그림을 작은 표현으로 압축하고 복원하는 신경망)의 압축 공간에서 이미지 생성을 다룹니다. 우리는 RGBA 픽셀을 직접 다루는 작은 모델을 설계합니다. DiT 입력 패치 크기와 2×2·3×3·4×4 픽셀 보존 격자는 서로 다른 설정입니다.

5. RePaint — 알려진 픽셀을 조건으로 삼기

논문: RePaint: Inpainting using Denoising Diffusion Probabilistic Models · 공식 코드와 동작 설명 · 이번 가이드의 원문 버전

핵심 질문: 그림 일부의 답을 이미 알고 있을 때, 그 정보를 유지하면서 빈 부분을 자연스럽게 채울 수 있을까?

읽을 부분: Figure 2 → 4.1절 → Algorithm 1. 다음으로 Figure 3과 4.2절에서 왜 일부 단계를 앞뒤로 반복하는지 봅니다. 각 단계의 ‘아는 부분’과 ‘생성한 부분’을 합치는 동작에 집중하세요.

이번 실험과 연결: 입력의 한 픽셀을 확대 격자에 놓고 나머지를 채운다는 발상과 맞닿습니다. 마스크(어느 위치를 알고 있는지 표시한 지도)의 역할을 이해하기 좋은 논문입니다.

꼭 구분할 점: RePaint는 이미 학습한 일반 DDPM의 생성 과정을 수정하며, 알려진 영역도 현재 단계에 맞게 잡음이 섞인 상태로 사용합니다. 우리는 학습부터 고정점은 깨끗하게 두고, 나머지에만 잡음을 넣습니다. 따라서 ‘RePaint를 그대로 구현한 모델’이라고 부르지 않습니다.

선택 읽기 — 기본 다섯 편 다음에

DiT-SR: Effective Diffusion Transformer Architecture for Image Super-Resolution — 2024 공개·AAAI 2025. 논문 · 공식 코드. 핵심 질문은 ‘초해상도에 맞는 Transformer 구조는 무엇인가’입니다. Figure 3, 4.1·4.2절을 먼저 읽고 시간 조건은 4.3절로 이어가세요. 우리와 직접 연결되는 구조 참고지만, 원 실험은 VQGAN 압축 공간과 ResShift 계열 과정을 사용합니다. 우리의 픽셀 공간 masked DDPM과 구분합니다.

PixelDiT: Pixel Diffusion Transformers for Image Generation — 2025 공개·CVPR 2026. 논문 · 공식 코드. 핵심 질문은 ‘VAE 없이 픽셀을 직접 다루면서 계산을 감당할 수 있나’입니다. 3.1절의 전체 구조와 4.4절의 세부 정보 보존 예시를 보세요. 픽셀 공간 설계의 참고이며, 원 논문은 이미지 생성·편집을 다룹니다. 우리 도트 업스케일이나 격자 고정점을 검증한 결과는 아닙니다.

읽은 뒤 이 세 문장을 내 말로 써보기

1. 모델에 주는 정보는 무엇이며, 학습에서 맞히라고 하는 정답은 무엇인가?
2. 한 번 출력해서 끝나는가, 같은 신경망을 여러 단계 반복하는가?
3. 우리 실험에서는 원 논문의 어느 부분을 가져오고, 어느 부분을 바꾸는가?

이 세 가지가 설명되면 다음 단계의 노트북을 읽을 준비가 된 것입니다. 실험 계획 · ESRGAN 그림 수업