Gaussian Splatting trong VFX: công nghệ mới hay workflow thực sự cho production?
Trong một video gần đây, CG/VFX artist Andrei Libroff cho rằng Gaussian Splatting có thể trở thành một phần quan trọng của pipeline CG và VFX trong tương lai gần. Công nghệ này xuất hiện từ các research paper năm 2023 về 3D Gaussian Splatting for Real-Time Radiance Fields và nhanh chóng lan rộng trong cộng đồng VFX, game và scanning. Nhưng điều quan trọng hơn là: nó thực sự mang lại lợi ích gì cho production?
Gaussian Splatting là gì?
Gaussian Splatting là một phương pháp tái tạo hình học 3D từ dữ liệu hình ảnh, tương tự photogrammetry hoặc NeRF, nhưng với cách biểu diễn khác. Thay vì mesh polygon hoặc voxel, scene được biểu diễn bằng hàng triệu “Gaussian points” – các ellipsoid nhỏ chứa thông tin vị trí, màu sắc và ánh sáng.
Ưu điểm lớn nhất của kỹ thuật này là tốc độ. Gaussian splats có thể render gần như realtime trong path tracing engines như Octane, đồng thời vẫn giữ được nhiều chi tiết từ dữ liệu gốc. Các splats có thể nhận ánh sáng, đổ bóng, xuất hiện trong reflection và refraction – điều khiến chúng trở nên hữu ích trong các shot VFX.
Trong thực tế production, điều này mở ra một workflow khá thú vị: nghệ sĩ có thể scan location hoặc object cực nhanh từ video hoặc ảnh, sau đó dùng dữ liệu đó để matchmove camera, tạo asset tư liệu 3D cho bối cảnh môi trườn hoặc background plate cho compositing. So với pipeline photogrammetry truyền thống, Gaussian splats thường nhanh hơn trong giai đoạn reconstruction và visualization.
Tuy nhiên, công nghệ này không hoàn toàn thay thế mesh 3D geometry. Splats khó chỉnh sửa topology, khó rigging và không phù hợp cho animation nhân vật khi có chuyển động. Vì vậy trong pipeline hiện tại, chúng thường được dùng như scan asset, environment proxy hoặc lighting reference hơn là asset hero.
Bài về Gaussian Splatting là gì cũng có thể xem thêm giải thích ở đây
Workflow Gaussian Splats của Andrei Libroff
Libroff tiếp cận Gaussian splatting như một phần mở rộng của pipeline CG hiện có. Thay vì tạo asset hoàn toàn bằng modeling hoặc photogrammetry, anh scan object hoặc location bằng camera, sau đó huấn luyện splats từ dữ liệu video hoặc ảnh.
Theo anh, chất lượng splats phụ thuộc rất nhiều vào dữ liệu capture. Hệ thống không chịu được motion blur, noise hoặc depth of field. Vì vậy quá trình scan cần ánh sáng mạnh và ổn định, lens tối thiểu 35mm để tránh distortion, và coverage đủ từ nhiều góc khác nhau. Trong studio, anh sử dụng strobes chiếu vào tường trắng để tạo ánh sáng phẳng. Ngoài trời, điều kiện lý tưởng nhất là trời nhiều mây để có ánh sáng diffuse.
Sau khi capture dữ liệu, bước tiếp theo là reconstruction bằng các công cụ Structure-from-Motion (SfM). Đây là quá trình phần mềm xác định vị trí camera trong không gian 3D và tạo point cloud của scene. Libroff thử nhiều công cụ như COLMAP, RealityScan, Metashape và các tool custom trong Houdini để có reconstruction chính xác trước khi training splats.
Phần training thường được thực hiện bằng phần mềm Postshot. Tại đây hệ thống sẽ tối ưu hóa các Gaussian points sao cho hình ảnh render gần nhất với dữ liệu gốc. Chất lượng cuối cùng phụ thuộc trực tiếp vào reconstruction và độ chính xác của point cloud.
Ứng dụng thực tế trong production
Trong pipeline VFX, Gaussian splats có thể giúp rút ngắn thời gian tạo environment hoặc scan asset (tức nó phù hợp với vật tĩnh). Ví dụ, một location có thể được scan nhanh từ video drone, sau đó dùng để matchmove camera hoặc dựng digital set trong Houdini hoặc Octane. Các object scan từ splats cũng có thể được dùng làm asset cho quảng cáo, previs hoặc visualization.
Tuy nhiên, workflow này vẫn có giới hạn. Splats tiêu tốn VRAM khá nhiều và không dễ chỉnh sửa như geometry truyền thống. Việc animation hoặc deformation gần như không khả thi. Vì vậy, trong production hiện nay chúng thường đóng vai trò proxy environment, background asset hoặc lighting reference thay vì asset chính.
Điểm mạnh thật sự của Gaussian splatting nằm ở tốc độ iteration. Việc scan và dựng scene có thể nhanh hơn nhiều so với pipeline modeling truyền thống, đặc biệt trong giai đoạn look development hoặc previs. Điều này khiến công nghệ này trở thành một công cụ hữu ích cho các artist muốn thử nghiệm scene nhanh trước khi chuyển sang asset production đầy đủ.
Vì vậy, Gaussian splatting không chỉ là một “toy mới đang hype”. Nó đang dần trở thành một công cụ bổ sung trong pipeline CG – đặc biệt trong scanning, matchmoving và environment reconstruction – nơi tốc độ và độ trung thực của dữ liệu quan trọng hơn khả năng chỉnh sửa topology.
TUTORIAL Step-by-Step: Workflow Gaussian Splat Scanning trong Studio
Để tạo Gaussian splats có chất lượng production, Libroff chia workflow thành ba giai đoạn chính: Capture → Data Preparation → Training. Mỗi bước đều ảnh hưởng trực tiếp đến chất lượng của splats, đặc biệt là độ sắc nét và độ ổn định khi render.
1. Capture: Chuẩn bị ánh sáng và camera
Gaussian splatting cực kỳ nhạy với dữ liệu đầu vào. Những yếu tố như motion blur, noise hoặc distortion có thể khiến quá trình reconstruction thất bại. Vì vậy bước capture cần được kiểm soát chặt chẽ.
- Sử dụng lens tối thiểu 35mm để tránh distortion.
- Tránh motion blur bằng cách tăng shutter speed.
- Giữ ISO thấp để giảm noise.
- Không dùng depth of field – cần hình ảnh sắc nét toàn bộ frame.
Trong studio, Libroff sử dụng strobes hoặc flash mạnh bắn vào tường trắng để tạo ánh sáng phẳng và đồng đều. Cách này giúp giảm shadow mạnh và tạo dữ liệu phù hợp cho việc relight trong Octane sau này.
Camera được đặt ở chế độ chụp liên tục, gần giống quay video nhưng với RAW photos độ phân giải cao. Điều này cho phép thu được dữ liệu chi tiết hơn so với video thông thường.
2. Capture Coverage: Scan object từ mọi góc
Khi scan object, điều quan trọng nhất là parallax. Thay vì chỉ xoay camera tại chỗ, người scan phải di chuyển quanh đối tượng để hệ thống có thể tái dựng vị trí camera chính xác.
- Luôn di chuyển camera trong không gian, không chỉ xoay góc.
- Quét object theo vòng tròn và thay đổi độ cao.
- Đảm bảo coverage đủ mọi góc để tránh artifact.
- Không dừng camera quá lâu trong lúc quay.
Với các object phức tạp hoặc có bề mặt phản chiếu, Libroff khuyến nghị sử dụng dual-axis turntable rig. Camera được gắn cố định, còn object quay theo nhiều góc để đảm bảo coverage chính xác.
3. Data Preparation: Reconstruction bằng SfM
Sau khi capture dữ liệu, bước tiếp theo là reconstruction bằng phương pháp Structure from Motion (SfM). Các phần mềm như COLMAP, RealityScan hoặc Metashape sẽ phân tích các ảnh chồng lắp và tính toán vị trí camera trong không gian 3D.
Kết quả của bước này gồm hai thành phần:
- Camera positions trong không gian 3D
- Một sparse point cloud đại diện cho scene
Point cloud này chưa phải Gaussian splats. Nó chỉ là “skeleton” dùng để huấn luyện splats ở bước tiếp theo.
4. Training: Huấn luyện Gaussian Splats
Ở bước training, Libroff sử dụng phần mềm Postshot. Công cụ này cho phép import reconstruction từ SfM và huấn luyện splats trực tiếp từ ảnh gốc.
Trong quá trình training:
- Hệ thống tối ưu vị trí và kích thước của các Gaussian points
- So sánh kết quả render với ảnh gốc bằng chỉ số SSIM
- Tăng hoặc giảm số lượng splats tùy theo độ chi tiết của object
Các object phản chiếu thường cần ít splats hơn để tránh artifact ánh sáng. Ngược lại, những object nhiều chi tiết như cây hoặc foliage cần số lượng splats lớn hơn.
5. Render và sử dụng trong pipeline
Sau khi training hoàn tất, Gaussian splats có thể được import vào engine như Octane. Tại đây chúng có thể nhận ánh sáng, đổ bóng và xuất hiện trong reflection giống như geometry truyền thống.
Libroff cho rằng đây là điểm khiến splats có tiềm năng trong VFX: chúng cho phép scan asset hoặc location nhanh, sau đó render gần realtime trong pipeline CG.
Mặc dù chưa thay thế hoàn toàn mesh geometry, Gaussian splatting đang trở thành một công cụ mạnh cho scanning, matchmoving và environment reconstruction trong production pipeline hiện đại.
