If sender and receiver already share a generative model, how many bits does a transmission really save, and what is lost? This repo measures it honestly — VAE video latents, EnCodec/DAC audio, MIDI + soundfont — counting the model as part of the codebook, comparing against x264/Opus with break-even counts and perceptual metrics.
모델을 양쪽이 공유하면, 전송량은 얼마나 줄고 무엇을 잃는가.
얀 슬룻(1999)이 "10 GB 영화를 8 KB 로" 라고 주장했던 것의 정직한 현대판을 실제로 만들고 재본다.
10 GB → 8 KB 무손실은 안 된다. 섀넌 소스 코딩 정리가 엔트로피 아래로는 못 내려간다고 증명한다. 영구기관과 같은 층위의 불가능이다.
그리고 당시 정황이 이미 답을 말한다 — 디코더가 370 MB 였다. 데이터는 거기 있었고 8 KB 짜리 "키" 는 고르기만 했다. 압축이 아니라 DRM 이다. 스트리트 파이터 4 가 DVD 에 DLC 를 다 넣어 두고 해제 키만 파는 것과 같은 구조다.
양쪽이 같은 생성 모델을 갖고 있으면, 작은 조건(latent, seed, 프롬프트)만 보내고 재구성할 수 있다. 이건 실재하고 활발한 분야다.
핵심은 이 회계를 속이지 않는 것이다:
슬룻식 화법 : "8 KB 로 영화를 보냈다" ← 370 MB 디코더를 뺀 계산
정직한 화법 : "모델 N GB 를 이미 공유한 상태에서,
추가 전송 X KB 로 '비슷한' 영상을 얻었다"
모델이 곧 코드북이다. 한 편만 보낼 거면 아무것도 아끼지 못한다. 수천 편을 보낼 때 비로소 상각(amortize)된다. 그리고 원본은 돌아오지 않는다.
MIDI 파일 5 KB 소리가 아니라 "도를 0.5초, 세게" 라는 지시
사운드폰트 500 MB 실제로 소리를 내는 쪽
5 KB 가 교향곡을 담는다 — 악기를 이미 갖고 있다면. 슬룻의 370 MB 디코더가 정확히 사운드폰트 자리다. 슈퍼마리오는 더 심해서, 디코더가 소프트웨어도 아니고 APU 칩이었다.
그리고 한계도 같이 보여준다. MIDI 로는 사람 목소리를 담을 수 없다. 악기가 낼 수 있는 소리만 작아진다. 담으려면 그 음색을 사운드폰트에 먼저 넣어야 하고, 비용은 모델 쪽으로 옮겨갈 뿐 사라지지 않는다.
| 축 | |
|---|---|
| 전송 비트 | 모델 공유를 전제하고, 추가로 보내는 양만 |
| 모델 비용 | GB 단위. 몇 편부터 이득인지 손익분기를 낸다 |
| 왜곡 | PSNR/SSIM 은 여기서 거의 무의미하다. LPIPS·FVD 같은 지각 지표와 육안 대조를 같이 낸다 |
| 무엇을 잃었나 | 얼굴·글자·번호판처럼 틀리면 안 되는 것이 어떻게 망가지는지 |
마지막 항이 제일 중요하다. 생성 코덱은 없는 디테일을 그럴듯하게 지어낸다. 비트레이트를 낮추면 화질이 나빠지는 게 아니라 내용이 달라진다. 그건 화질 지표로는 안 잡힌다.
| 실험 | 결과 |
|---|---|
| 1. 영상 — VAE latent | 진다. x264 에게도 진다 |
| 2. 오디오 — EnCodec | 이긴다. 저비트레이트에서 Opus 대비 5~15배 |
| 3. MIDI — 중심 비유의 실측 | 압도한다. Opus 대비 89배, 오차 0. 단 사운드폰트가 MIDI 의 2,018배 |
| 4. 2026 코덱들 | DAC 이 전 구간에서 Opus 를 이긴다. 실험 2 의 결론 하나 정정 |
| 5. 손익분기 | 순위가 뒤집힌다. 압축률 1등이 총 전송량 꼴찌 |
| 6. 디코더만 세기 | 역전은 12칸 전부에서 유지. 단 손익분기는 배포 조건에 따라 61배 벌어진다 (1.3h~76.1h) |
| 7. int8 디코더 실측 | 저하 최악 +0.0285 mel = 코덱 자체 손실의 11% 미만. 첫 판은 양자화가 43%밖에 안 먹었는데 그럴듯한 숫자가 나왔다 |
| 8. 진짜 음악 | 빈칸을 채웠다. 곡에 따라 EnCodec 이 3.6배~21.7배로 갈리고, 한 곡에서는 Opus 에게 진다 |
| 9. 48 kHz 스테레오 음악 | 앞의 배수가 부풀려져 있었다. Opus 를 설계 범위 밖(6 kbps)에서 돌린 탓 — 제대로 재면 44배가 아니라 5~10배. 순위 역전도 일반 법칙이 아니다 (3/7) |
→ 초안: PAPER.md
압축 대상에 구조가 있으면 되고, 없으면 안 된다.
음성에는 성도라는 물리적 제약이, 음악에는 화성이 있다. 모델이 배울 것이 많고 그래서 EnCodec 이 Opus 를 5~15배 차이로 이긴다.
영상에는 그런 구조가 약하다. 게다가 기존 영상 코덱은 이미 움직임 보상 이라는 강력한 무기를 갖고 있어서 신경망이 새로 가져올 여지가 적다. 순진한 VAE-latent 코덱은 x264 에게도 진다.
MIDI 비유가 오디오에서만 잘 맞는 이유가 이것이다 — 음악에는 악보가 있지만 영상에는 없다.
그리고 MIDI 자체를 재보니 Opus 96 kbps 보다 89배 작으면서 오차가 0 이었다. 슬룻이 주장한 구조는 실제로 존재한다. 다만 그 조건이 가혹하다 — MIDI 는 자기가 만든 소리만 맞힐 수 있고, 사운드폰트는 MIDI 의 2,018배다.
그리고 양쪽 모두 천장이 있다. 비트를 더 줘도 모델이 표현 못 하는 것은 돌아오지 않는다. 차이는 그 천장이 쓸모 있는 자리에 있느냐다.
→ GOAL.md