NeRF — 장면 하나를 MLP 하나에 넣기
서론 이 시리즈의 마지막 글입니다. 그리고 앞의 여덟 편이 전부 여기로 모입니다. NeRF는 2020년에 나와서 새로운 시점 합성 분야의 판을 바꿨습니다.1 그런데 NeRF를 이루는 부품 중에 새로 발명된 것은 거의 없습니다. NeRF의 구성 요소 이 시리즈의 어느 편 ...
Time Series Lab
미분 가능 렌더링 — 사진에서 장면으로 기울기를 되돌리기
서론 지금까지 렌더링은 한 방향이었습니다. [\text{장면 파라미터} \theta \;\longrightarrow\; \text{이미지 } I] 이제 화살표를 뒤집습니다. 사진 여러 장이 주어졌을 때, 그 사진들을 만들어 냈을 법한 장면을 찾는 문제입니다. 이걸 역렌더링(inverse rendering) 또는 합성을 통한 분석(analysis ...
구면 조화 함수 — 방향에 따라 달라지는 색을 몇 개의 숫자로
서론 앞 글에서 최종 색이 이렇게 나온다는 것까지 왔습니다. [C = \sum_i T_i\,\alpha_i\, c_i] $T_i$ 와 $\alpha_i$ 는 다뤘습니다. 남은 건 $c_i$ — 그 항의 색입니다. 색을 그냥 상수 하나(RGB 세 개)로 두면 안 될까요. 됩니다. 그리고 그건 MVS 글에서 봤던 램버시안 가정과 정확히 같은 선택입...
알파 블렌딩과 볼륨 렌더링 — 사실은 같은 식이다
서론 앞 글은 z-버퍼로 끝났습니다. 그리고 z-버퍼에는 조건이 하나 붙어 있었습니다. 불투명할 때만 그렇습니다. 이 글은 그 조건이 깨졌을 때의 이야기입니다. 그리고 그 이야기를 끝까지 따라가면 뜻밖의 곳에 도착합니다. 반투명 이미지를 겹치는 규칙(알파 블렌딩)과 NeRF의 볼륨 렌더링 적분이 완전히 같은 식이라는 사실입니다. 이건 우...
래스터화 — 3차원을 화면에 칠하는 가장 빠른 방법
서론 3D Gaussian Splatting 글에서 속도 차이를 이렇게 한 줄로 정리했습니다. 광선 마칭 대신 래스터화. 이 한 줄이 속도 차이의 대부분을 설명합니다. 이 글은 그 한 줄을 풀어 씁니다. 앞의 SfM과 MVS가 사진에서 3차원을 얻는 이야기였다면, 지금부터 세 편은 반대 방향 — 가지고 있는 3차원을 화면에 그리는 이야기입...
MVS — 희소한 점군을 표면으로 만드는 고전적인 방법
서론 앞 글에서 SfM이 카메라 포즈와 희소 점군을 뱉는 데까지 왔습니다. 그런데 그 점군은 특징점이 잡힌 자리에만 있습니다. 이미지 한 장에 수천 개, 장면 전체로는 수만 개 정도입니다. 이걸로는 물체의 표면이라고 부를 만한 게 안 나옵니다. MVS(Multi-View Stereo) 는 그 다음 단계를 맡습니다. 카메라 포즈를 이미 안다고...
SfM 파이프라인 — 순서 없는 사진 더미에서 카메라와 점을 세우기
서론 3D Gaussian Splatting의 입력이 무엇이었는지 다시 봅시다. 사진 여러 장, 각 사진의 카메라 포즈, 그리고 초기값으로 쓸 희소 점군. 사진은 그냥 찍으면 됩니다. 나머지 둘은 어디서 오는가 — 답은 SfM(Structure-from-Motion) 이고, 실무에서는 거의 언제나 COLMAP입니다.1 이 블로그에서 그동...
SGD에서 Adam까지 — 기울기를 얻은 다음의 문제
서론 1편에서 역전파로 모든 파라미터의 기울기를 얻었습니다. 그런데 기울기는 방향만 알려 줄 뿐 얼마나 갈지는 말해 주지 않습니다. 이 글은 그 “얼마나”를 정하는 이야기입니다. 이게 왜 3DGS 시리즈에 필요한지부터 말하겠습니다. 3DGS가 학습하는 파라미터는 성격이 제각각입니다. 파라미터 단위 ...
MLP와 역전파 — 신경망이 함수를 배우는 방법
서론 3D Gaussian Splatting 글을 쓰고 나서, 그 글이 설명 없이 지나간 것들이 눈에 밟혔습니다. “장면을 MLP 하나로 표현한다”, “Adam으로 갱신한다”, “전 과정이 미분 가능하다”, “SH 계수로 색을 둔다” — 각각이 따로 한 편씩 필요한 이야기입니다. 그래서 3DGS를 읽기 위한 기초지식 시리즈를 시작합니다. 이 글이 ...
SLAM의 프론트엔드와 백엔드 — 실시간이라는 제약이 구조를 만든다
서론 지난 글에서 카메라와 점을 전부 미지수로 놓고 한꺼번에 최적화하는 번들 조정까지 왔습니다. 이론적으로는 이걸로 끝입니다. 관측을 전부 모아 번들 조정을 돌리면 최적해가 나옵니다. 문제는 로봇이 지금 어디 있는지 33밀리초 안에 답해야 한다는 것입니다. 이 제약 하나가 시스템의 구조를 결정합니다. 모든 관측을 다 모을 때까지 기다릴 수 없고,...