Gaussian Splatting là gì?
Gaussian Splatting là một cách để tạo mô hình 3D từ ảnh hoặc video. Thay vì dùng những cách cũ như vẽ từng hình tam giác (gọi là mesh), nó dùng các chấm nhỏ gọi là “Gaussians”. Mỗi chấm này giống như một giọt mực 3D, có vị trí, kích thước, màu sắc, và độ mờ. Khi ghép nhiều chấm lại, bạn sẽ thấy một cảnh 3D hoàn chỉnh.
Mỗi một chấm đó là một đơn vị Gaussian. Xem phương thức hoạt động chủ giải cho hình ở bên dưới.
Phương Thức Hoạt Động
Đây là cách Gaussian Splatting làm việc, từng bước một:
- Chụp ảnh hoặc quay video (điểm sáng là có thể quay được video, xem thêm về so sánh với các phương án khác hiện nay khi tái tạo mô hình 3D từ thực tế): Bạn cần nhiều ảnh từ các góc khác nhau, giống như khi bạn quay quanh một đồ vật để nhìn hết mọi mặt.
- Tạo điểm ban đầu: Máy tính dùng công cụ như COLMAP hoặc PolyCam (miễn phí) để tìm các điểm quan trọng trong ảnh và đoán xem chúng nằm đâu trong không gian 3D.
- Biến điểm thành Gaussians: Mỗi điểm được biến thành một Gaussian—một chấm 3D với màu và kích thước riêng.
- Học (machine learning) để làm đẹp hơn: Máy tính điều chỉnh các Gaussians để cảnh trông giống ảnh thật nhất, dùng một kỹ thuật gọi là “differentiable rasterization”.
- Hiện lên màn hình (render): Khi xong, các Gaussians được vẽ lên màn hình nhanh chóng, để bạn xem cảnh 3D ngay lập tức.
So với NeRF thì sao?
Trước đây, có một công nghệ gọi là NeRF (Neural Radiance Fields) cũng làm cảnh 3D từ ảnh. Nhưng NeRF chậm hơn nhiều vì nó dùng mạng nơ-ron lớn để tính toán mọi thứ. Gaussian Splatting thì nhanh hơn, vì nó không cần mạng nơ-ron phức tạp mà dùng cách vẽ trực tiếp (rasterization). Kết quả là bạn có thể thấy cảnh 3D ngay, thay vì chờ hàng giờ như NeRF.
Ứng dụng của Gaussian Splatting kết hợp với Google VEO 2, không chỉ cho thấy khả năng render tức thì, real-time mà còn vượt xa khỏi mọi sự tưởng tượng để thực hiện VFX & Animation
Tại sao nó quan trọng?
Gaussian Splatting không chỉ để làm cảnh đẹp mà còn có thể giúp nhiều thứ khác:
- Trò chơi và phim: Tạo thế giới 3D nhanh để chơi game hoặc làm phim.
- Thực tế ảo (VR): Giúp bạn bước vào thế giới 3D ngay lập tức.
- AI thông minh (Embodied AI): Dạy robot nhìn và hiểu thế giới xung quanh, như cách bạn nhìn phòng của mình.
Tạo hình sử dụng AI Image To 3D miễn phí
Một số điều thú vị hơn
Các nhà khoa học đang làm Gaussian Splatting tốt hơn nữa. Ví dụ:
- Dynamic 3D Gaussians: Họ thêm khả năng làm cảnh động, như người đi bộ hoặc xe chạy, thay vì chỉ cảnh đứng yên.
- 4D Gaussian Splatting: Thêm cả thời gian vào, để bạn thấy cảnh thay đổi theo giờ, như mặt trời mọc và lặn.
Dùng nó thế nào?
Bạn có thể thử Gaussian Splatting với mã nguồn miễn phí trên GitHub từ nhóm nghiên cứu INRIA. Họ có hướng dẫn để cài đặt và chạy trên máy tính. Bạn sẽ cần:
- Một máy tính có GPU (card đồ họa) mạnh một chút – RTX On nha quý vị
- Ảnh hoặc video để thử—càng nhiều góc càng tốt.
- Công cụ như COLMAP để bắt đầu hoặc dùng PolyCam miễn phí.
- Unreal Engine 5
- V-Ray có thể render được, sử dụng 3DS Max để load đầu vào, ứng dụng lớn trong kiến trúc thiết kế và diễn họa
Sử dụng After Effets với GS Splat
- GS Splat cho After Effects https://aescripts.com/gaussian-splatting/
- GS Splat cho Foundry NUKE https://aescripts.com/gaussian-splatting-for-nuke/
Xem video ứng dụng trong Unreal Engine 5 mô hình 3D tái tạo sử dụng GS Splat từ video, có thể tượng đây là NPC trong game, hay những nhân vật trong làm phim kiến trúc
Nó có thể làm gì trong tương lai?
Gaussian Splatting đang mở ra nhiều ý tưởng mới:
- Robot có thể dùng nó để nhìn và di chuyển trong nhà bạn.
- Bạn có thể tạo một phiên bản 3D của phòng mình để chơi hoặc học.
- Các nhà làm phim có thể quay cảnh thật và biến thành 3D nhanh chóng.
Kết luận
Gaussian Splatting là một cách mới, nhanh, và mạnh mẽ để tạo cảnh 3D từ ảnh. Nó khác với NeRF (các kỹ thuật tái tạo cảnh 3D từ ảnh khác xem ở đây) vì làm mọi thứ nhanh hơn và dễ dùng hơn. Dù bạn thích chơi game, làm robot, hay chỉ muốn xem thế giới 3D, nó đều rất đáng để khám phá. Hãy thử xem và tự tạo thế giới 3D của riêng bạn nhé!
