11AUG

Ứng Dụng Thực Tiễn của Công Nghệ Quét 3D trong Điện Ảnh

Video sau đây giới thiệu các kỹ thuật 3D reconstruction để tái tạo bối cảnh điện ảnh, chuyển chúng thành dữ liệu số (digitization), và trình diễn trong các set virtual production khi làm phim VFX & Animation. Phần trình bày được thực hiện bởi một chuyên gia của Pixomondo.

Khám phá cách công nghệ quét 3D tiên tiến và digital twin đang thay đổi cách làm phim điện ảnh và truyền hình. Trong bài nói chuyện ấn tượng tại 3DISE, Matej Kosovsky Giám đốc Kỹ thuật Digital Twin tại Pixomondo đưa chúng ta vào hậu trường của một trong những dự án sản xuất ảo (virtual production) lớn nhất từng thực hiện ở Mỹ Latinh.

Từ LIDAR và photogrammetry đến Gaussian splats trong Unreal Engine, Matej phân tích cách các môi trường ảo được ghi lại, tái tạo và bàn giao nhanh hơn, tốt hơn ngay cả khi ngân sách hạn chế.

Tham khảo một set bối cảnh số hóa mà chuyên Matej từng thực hiện, trình bày trên ArtStation của anh.

Nhờ dùng 3D reconstruction (kết hợp LIDAR, photogrammetry, Gaussian Splatting…), nhóm làm phim (Pixomodo) có thể:

  • Thu dữ liệu nhanh hơn ngoài hiện trường, thậm chí trong vài phút thay vì vài giờ.
  • Giảm thời gian dựng thủ công: không cần modeler phải xây lại toàn bộ từ số liệu đo đạc hay ảnh rời rạc.
  • Tích hợp trực tiếp vào Unreal Engine hoặc phần mềm dựng, sẵn sàng cho in-camera VFX.
  • Hạn chế chỉnh sửa lại nhiều lần vì dữ liệu scan là “ground truth” – bản số hóa chính xác của bối cảnh thật.

Gaussian Splatting được chọn vì:

  • Nhanh hơn nhiều lần so với photogrammetry truyền thống hoặc LIDAR-only.
  • Rẻ hơn do giảm chi phí thiết bị và nhân công.
  • Nhẹ hơn và dễ tương tác real-time.
  • Đủ chất lượng cho in-camera VFX, giúp pipeline virtual production rút ngắn đáng kể.

Kết quả là pipeline (quy trình sản xuất) được rút ngắn đáng kể, đặc biệt ở khâu chuẩn bị môi trường ảo và set extension.

Matej Kosovsky – Mỗi Phút Đều Quý Giá: Ứng Dụng Thực Tiễn của Công Nghệ Quét 3D trong Điện Ảnh

Tóm Tắt Các Ý Chính

1. Bối cảnh & Dự án minh họa

2. Ứng dụng chính của 3D scanning trong phim

  • Location scouting: Quét nhanh hiện trường để lấy dữ liệu tham chiếu cho dựng cảnh ảo.
  • Set replication & set extension: Scan bối cảnh thật và đạo cụ để tạo phần mở rộng kỹ thuật số khớp hoàn toàn với bản vật lý.
  • Hero prop & debris scanning: Scan các đạo cụ quan trọng và đống đổ nát để đảm bảo tính lịch sử và tái sử dụng nhanh trong nhiều cảnh.
  • Miniature scanning: Scan mô hình thu nhỏ để đưa trực tiếp vào Unreal Engine, tiết kiệm thời gian dựng mới hoặc mô phỏng phá hủy.
  • Virtual production support scans: LIDAR scan để canh thẳng hàng giữa set thật và môi trường ảo trên LED wall.

3. Gaussian Splatting trong quy trình

  • Cập nhật 2024: Sự xuất hiện của Gaussian Splatting và NeRF giúp dựng cảnh nhanh hơn, chính xác hơn.
  • Tori rig: Mảng camera đa hướng của Pixomondo để thu dữ liệu cho Gaussian Splatting, cho phép bao quát toàn cảnh nhanh và đủ góc nhìn.
  • Ứng dụng thực tế:
    • Đã chạy Gaussian Splats trực tiếp trong Unreal Engine trên tường LED tại Stage 7, Culver City, LA.
    • Khả năng real-time trên màn LED độ phân giải cực cao (32 segment 4K).
    • Case study: Một người, 3 camera, quét toàn bộ trong 20 phút — đáp ứng nhu cầu gấp rút tại bối cảnh quay phim.
  • Ưu điểm:
    • Tốc độ thu nhận dữ liệu vượt trội → quan trọng khi thời gian quay bị giới hạn.
    • Giảm khối lượng dựng thủ công, giúp đạt kết quả “in-camera VFX” chất lượng cao.
    • Linh hoạt tích hợp với pipeline Unreal & LED wall.

4. Kết luận

  • 3D scanning + Gaussian Splatting đang thay đổi cách làm virtual production, đặc biệt với các dự án có ngân sách hạn chế nhưng yêu cầu chất lượng cao.
  • Gaussian Splatting mang lại tốc độ, độ chính xác và khả năng chạy real-time — yếu tố quyết định để thu cảnh thật và đưa vào bối cảnh ảo mà không phải qua nhiều khâu trung gian.
  • Trong tương lai, độ phân giải và tối ưu Gaussian Splatting sẽ tiếp tục cải thiện, mở ra khả năng thay thế một phần lớn công đoạn dựng 3D truyền thống.

Phần dịch transcript

0:00
Thưa quý bà và quý ông, chúng ta sẽ tiếp tục với chủ đề về phim ảnh và sẽ tìm hiểu cách mà công nghệ 3D scanning (quét 3D) đang thay đổi quá trình sản xuất phim. Hãy chào đón Matej Kosovsky, Giám đốc Kỹ thuật Digital Twin (bản sao số) tại Pixomondo, lên sân khấu. Matej, mời anh lên đây!0:23
Xin chào mọi người! Chào mừng đến với bài nói chuyện của tôi về ứng dụng thực tiễn của 3D scanning (quét 3D) trong ngành công nghiệp phim ảnh. Tôi hy vọng sẽ truyền cảm hứng cho một số bạn, bởi vì tất cả các bạn đều biết công nghệ này hoạt động như thế nào, nhưng có thể chưa biết cách áp dụng nó trong lĩnh vực giải trí. Vì vậy, tôi muốn cho các bạn thấy điều đó.0:42
Tôi làm việc cho Pixomondo, một công ty chuyên về visual effects (hiệu ứng hình ảnh), virtual production (sản xuất ảo) và công nghệ. Tôi hiện đang ở Canada, nhưng chúng tôi hoạt động trên toàn cầu và là một phần của Sony Pictures Entertainment. Chúng tôi thực hiện nhiều chương trình và phim ảnh trên khắp thế giới.

0:59
Trong 5 năm qua, tôi đã dẫn dắt bộ phận quét in-house (nội bộ) của chúng tôi với vai trò head of capture (trưởng bộ phận thu thập dữ liệu). Chúng tôi sử dụng dữ liệu quét trong mọi dự án mà chúng tôi thực hiện, vì nó giúp đội ngũ của chúng tôi đạt được kết quả chính xác nhanh hơn. Vì lý do này, chúng tôi đã thành lập một bộ phận quét nội bộ.1:20
Visual effects (hiệu ứng hình ảnh) đòi hỏi rất nhiều công việc chuyên sâu từ các bộ phận chuyên môn. Mỗi bộ phận cần một loại dữ liệu quét khác nhau với chất lượng và độ chính xác khác nhau.1:36
Hôm nay, tôi muốn giới thiệu một nghiên cứu điển hình về một dự án mà tôi đã tham gia, gọi là Quanta Project, vì tôi tin rằng đây là một ví dụ tuyệt vời về cách mà công nghệ quét hỗ trợ các dự án sản xuất ngày nay.Nghiên cứu điển hình: “Quanta Project” – Tái hiện trận động đất Mexico City năm 1985
1:43
Tôi đã chọn Quanta Project vì nó thể hiện rõ cách công nghệ quét được sử dụng. Tôi đã làm việc trong dự án này vào năm 2023. Đây là một chương trình truyền hình về trận động đất xảy ra ở Mexico City năm 1985, khiến hàng ngàn người thiệt mạng do nhiều tòa nhà sụp đổ. Bộ phim tái hiện các sự kiện diễn ra ngay sau trận động đất, đặc biệt tập trung vào các bệnh viện và những nạn nhân bị ảnh hưởng.2:22
Chúng tôi chủ yếu cung cấp hỗ trợ cho virtual production (sản xuất ảo), với nhiệm vụ tạo ra ba môi trường hoàn chỉnh cho sản xuất ảo. Đây là các khu vực tái hiện những khu phố chịu ảnh hưởng nặng nề nhất từ trận động đất.2:44
Chúng tôi cũng điều phối các nhà vận hành tại phim trường để điều khiển Unreal Engine (một công cụ phát triển trò chơi và hình ảnh hóa 3D) trong quá trình quay phim.Virtual production (Sản xuất ảo) + Unreal Engine + 3D Scanning (Quét 3D)
2:50
Mục tiêu quét của chúng tôi là hỗ trợ đội ngũ để hoàn thành công việc một cách hiệu quả. Dự án có thời gian quét tại địa điểm ở Mexico City kéo dài một tuần.3:03
Đây là một đoạn video hậu trường. Bạn có thể xem toàn bộ video trên YouTube. Đây chỉ là một phần nhỏ, và bạn có thể thấy một số kết quả công việc của chúng tôi, đặc biệt là phần hậu cảnh.3:19
Tôi nghĩ chúng tôi đang đẩy lùi giới hạn của những gì đã được thực hiện cho đến nay với dự án này. Đây là một trong những dự án lớn nhất về visual effects (hiệu ứng hình ảnh) và virtual production (sản xuất ảo) từng được thực hiện ở Mỹ Latinh.Video hậu trường từ phim trường
3:32
Họ đã có ý tưởng sẵn trong đầu về việc xây dựng bối cảnh, và bộ phận nghệ thuật của chương trình đã nghiên cứu rất kỹ để hiểu rõ về các tòa nhà bị phá hủy. Nhờ đó, đội ngũ visual effects (hiệu ứng hình ảnh) có thể sử dụng các bản quét bằng LiDAR (công nghệ đo khoảng cách bằng laser) và photogrammetry (kỹ thuật tái tạo 3D từ ảnh chụp) để tạo ra chi tiết chính xác, phản ánh đúng những gì đã xảy ra vào thời điểm đó.

4:03
Virtual production (sản xuất ảo) mang lại một môi trường hợp tác tại phim trường. Tất cả các nhà sáng tạo, bao gồm visual effects supervisor (giám sát hiệu ứng hình ảnh), phải làm việc cùng nhau để tạo ra các môi trường này. Đây là một kịch bản độc đáo trong làm phim, khi những người sáng tạo đối mặt với các thách thức, họ thực sự tận dụng cơ hội để kể câu chuyện mà họ muốn.4:43
Họ đã đề cập rằng đây là một trong những dự án virtual production (sản xuất ảo) quy mô lớn ở Mỹ Latinh, nhưng ngân sách vẫn khá thấp so với các dự án như The Mandalorian hay Andor. Vì vậy, chúng tôi phải tìm cách sáng tạo để đạt được chất lượng tương tự trong thời gian ngắn hơn, vì chúng tôi không có đủ ngân sách để đầu tư quá nhiều công sức.Thách thức của virtual production (sản xuất ảo) với ngân sách thấp
5:09
Tôi muốn đi sâu vào các giai đoạn khác nhau của dự án. Đầu tiên là location scouting (khảo sát địa điểm).Location Scouting (Khảo sát địa điểm): Photogrammetry (Tái tạo 3D từ ảnh) nhanh tại hiện trường
5:17
Ngày đầu tiên tại hiện trường, chúng tôi đi khảo sát địa điểm – những khu vực mà chúng tôi cần tái hiện thành ba môi trường. Thông thường, đội khảo sát địa điểm gồm tối đa 8 người, bao gồm production designer (nhà thiết kế sản xuất), art director (đạo diễn nghệ thuật) và có thể là visual effects supervisor (giám sát hiệu ứng hình ảnh). Chúng tôi thảo luận về cách tiếp cận quay các cảnh cần thiết tại địa điểm đó.

5:48
Công việc quét của tôi là thu thập ảnh để làm tài liệu tham khảo và thực hiện các bản quét nhanh tại khu vực đó. Chúng tôi chỉ dành dưới 10 phút cho mỗi địa điểm, vì vậy đây là một quá trình rất linh hoạt. Bạn phải giao tiếp với đội ngũ và thu thập bất kỳ dữ liệu nào có thể trong thời gian có mặt tại đó.Tái hiện khu phố: Tlatelolco, Mexico
6:18
Đây là khu phố ở Mexico City gọi là Tlatelolco, một trong những môi trường chúng tôi tái hiện. Chúng tôi đã quét một vài băng ghế trong khu vực và loại vỉa hè tại đó. Điều này giúp đội ngũ VFX (hiệu ứng hình ảnh) hiểu được thực tế tại chỗ khi tạo môi trường. Một số khu vực đã thay đổi, nhưng một số vẫn giữ nguyên từ năm 1985, giúp chúng tôi tái hiện chính xác.Xây dựng bản sao vật lý và kỹ thuật số của bối cảnh
6:56
Tiếp theo là set pieces (bối cảnh phim). Quay phim tại địa điểm thực tế có nhiều hạn chế: bạn bị giới hạn bởi thời gian trong ngày, chỉ làm việc được trong một số giờ nhất định, phụ thuộc vào thời tiết, cần bảo vệ địa điểm, và khó phá hủy địa điểm thật nếu cần cảnh phá hủy, như trong dự án này.7:26
Chúng tôi có một cảnh tại bệnh viện với lối đi bên trái, nơi các nhân vật thảo luận. Bệnh viện này vẫn đang hoạt động ở Mexico, nên chỉ được đóng cửa trong hai ngày để quay cảnh cơ bản. Nhưng sau đó, chúng tôi cần phá hủy nó và quay thêm, nên họ đã tạo một bản sao của lối đi này để quay trong virtual production (sản xuất ảo) trên sân khấu.8:04
Khi tái tạo một bản sao như vậy, chúng tôi phải tạo các extensions (phần mở rộng) kỹ thuật số trong virtual production (sản xuất ảo). Phần trung tâm là đạo cụ vật lý (physical prop) do đội nghệ thuật của bên sản xuất tạo ra, còn đội ngũ của chúng tôi ở Canada, Đức hoặc các nơi khác phải khớp kích thước, màu sắc để tạo phần mở rộng kỹ thuật số.Tại sao quét 3D quan trọng để mở rộng bối cảnh liền mạch
8:32
Nếu chỉ có ảnh, nghệ sĩ sẽ thiếu thông tin để làm việc. Bản quét giúp họ đạt kết quả chính xác nhanh hơn, đảm bảo sự chuyển đổi liền mạch giữa phần vật lý và phần kỹ thuật số.Quét các đạo cụ chính (hero props) để đảm bảo tính chính xác lịch sử
9:00
Một ví dụ khác là các set pieces (bối cảnh phim) được tạo cho chương trình, ngay cả khi không mở rộng kỹ thuật số trực tiếp. Chúng tôi vẫn quét chúng để thu thập thông tin. Đây thường là hero props (đạo cụ chính) – những đạo cụ chi tiết nhất, có bề mặt giàu thông tin. Ví dụ, các khối bê tông có chi tiết cụ thể mà đội sản xuất khớp với tính chính xác lịch sử. Chúng tôi có thể lấy texture (kết cấu) hoặc chi tiết từ các bối cảnh này để tạo các biến thể kỹ thuật số.Quét mô hình thu nhỏ (miniatures) cho hiệu ứng hình ảnh quy mô thực
10:03
Miniatures (mô hình thu nhỏ) được sử dụng khá nhiều trong dự án này. Thường thì các mô hình này không được giữ nguyên trong hình ảnh cuối cùng. Ban đầu, họ định quay các mô hình cho cảnh nền, nhưng sau đó quyết định chuyển sang virtual production (sản xuất ảo). Thay vì bỏ đi, chúng tôi đã quét chúng bằng photogrammetry (tái tạo 3D từ ảnh) chi tiết cao, tái hiện các mô hình này trong Unreal Engine mà không cần mô phỏng phá hủy hay tạo lại mô hình. Chúng tôi chỉ cần phóng to tài sản số (digital assets) từ các bản quét và chỉnh sửa nhẹ để đảm bảo chất lượng trên màn hình.Sử dụng photogrammetry để giữ chi tiết mô hình thu nhỏ
11:26
Có rất nhiều mảnh vỡ xung quanh, được dùng để kết nối bối cảnh thực tế và ảo, che giấu sự chuyển đổi giữa hai phần. Đội sản xuất đã tạo nhiều yếu tố mảnh vỡ với kích thước từ nhỏ đến lớn (lên tới 3 mét). Chúng tôi quét hàng loạt để sử dụng trong các môi trường, bổ sung chi tiết nền nhanh chóng.Quy trình quét mảnh vỡ và đạo cụ: Hiệu quả là chìa khóa
12:02
Chúng tôi thiết lập một kho chứa các đạo cụ và yếu tố cần quét, sử dụng photogrammetry với thiết lập cross-polarized (chống phân cực) để quét hiệu quả. Các đạo cụ được đặt cách nhau khoảng 2 mét, cho phép quét từ mọi góc độ. Một người có thể quét khoảng 60 đạo cụ mỗi ngày. Đạo cụ thường độc đáo cho từng chương trình, đặc biệt với các bối cảnh khoa học viễn tưởng hoặc thời kỳ cụ thể như dự án này, khi khó tìm tài liệu tham khảo chính xác.Trường hợp quét nhanh tại phim trường: Nạn nhân trong dịch COVID
13:08
Một ví dụ thú vị là các nạn nhân được phủ chăn. Đây là các diễn viên phụ được yêu cầu nằm xuống giữa các cảnh quay, được đội thiết kế sản xuất phủ chăn và sắp xếp. Chúng tôi quét nhanh trong khoảng 30 giây, thực hiện vài biến thể. Điều này được làm nhanh vì thời tiết nóng và các diễn viên cảm thấy không thoải mái. Tại sao cần quét thay vì chỉ chụp ảnh?
13:46
Nếu chỉ chụp ảnh, vài tháng sau, một nghệ sĩ ở quốc gia khác có thể diễn giải ảnh theo cách riêng, dẫn đến nhiều lần chỉnh sửa qua lại với visual effects supervisor (giám sát hiệu ứng hình ảnh) và production designer (nhà thiết kế sản xuất). Quét cung cấp “ground truth” (sự thật cơ bản), giúp nghệ sĩ có thông tin chính xác, giảm thời gian chỉnh sửa, dù vẫn có không gian sáng tạo.Hỗ trợ virtual production (sản xuất ảo) bằng quét LiDAR
14:54
Cuối cùng, chúng tôi sử dụng quét LiDAR (đo khoảng cách bằng laser) để hỗ trợ virtual production (sản xuất ảo). Các bản quét này không xuất hiện trong hình ảnh cuối cùng, nhưng được thực hiện cho mọi bối cảnh trên sân khấu để sử dụng trong post-production (hậu kỳ) nếu cần.15:17
Loại quét phổ biến nhất là alignment scan (quét căn chỉnh), quét các bối cảnh vật lý để căn chỉnh với phần mở rộng kỹ thuật số trong Unreal Engine. Điều này đảm bảo không có khoảng cách khi nhìn qua máy quay, tạo sự chuyển đổi liền mạch giữa tài sản vật lý và kỹ thuật số.Căn chỉnh thời gian thực giữa vật lý và kỹ thuật số khi quay phim
16:11
Việc này thường được thực hiện một ngày trước khi quay, gọi là blend day (ngày căn chỉnh), để đảm bảo vị trí mới nhất và chính xác. Sau khi quét, dữ liệu được xử lý ngay lập tức, gửi cho đội ngũ để điều chỉnh môi trường Unreal, sẵn sàng cho quay phim vào sáng hôm sau. Nếu không có bước này, sự sai lệch giữa tài sản vật lý và kỹ thuật số có thể khiến việc quay phim thất bại, vì phải thay thế mọi thứ trong hậu kỳ.Tại sao bước quét này quan trọng trước khi quay phim
17:02
Tất cả những điều này được thực hiện vào năm 2023. Kể từ đó, như chúng ta đã thấy trong hai ngày qua, ngành công nghiệp đã thay đổi rất nhiều, đặc biệt với các công nghệ mới như Gaussian Splats (tái tạo 3D dựa trên điểm ảnh) và NeRF (Neural Radiance Fields – tái tạo trường ánh sáng thần kinh), giúp tái tạo tốt hơn và nhanh hơn.Thay đổi trong năm 2024: Cuộc cách mạng Gaussian Splats & NeRF
17:20
Trong năm qua, tôi tập trung vào cải thiện hiệu quả thu thập môi trường. Hôm nay, tôi muốn giới thiệu giải pháp Victoria Rig của chúng tôi trong video này.Pixomondo’s Victoria Rig: Thu thập đa máy ảnh với Gaussian Splatting
17:42
Công nghệ tái tạo 3D của Pixomondo sử dụng Gaussian Splats để chuyển đổi dữ liệu thực tế và tổng hợp thành digital twins (bản sao số) chính xác. Một trong những thiết bị tiên tiến mà đội Pixomondo xây dựng là Victoria Rig, một mảng máy ảnh linh hoạt.18:08
Bằng cách chụp ảnh đồng thời từ các góc độ khác nhau, Victoria Rig giúp quét địa điểm nhanh chóng, chính xác, lưu trữ một “lát cắt của thực tế” dưới dạng kỹ thuật số.Gaussian Splats trong Unreal Engine cho sản xuất thực tế
18:29
Công nghệ này mở ra tiềm năng vô hạn, cho phép bất kỳ ai thu thập và tùy chỉnh các cảnh độc đáo một cách hiệu quả, chia sẻ nội dung truyền thông tiên tiến.Chạy Gaussian Splats thời gian thực trên tường LED độ phân giải cao
19:00
Một số câu hỏi phổ biến mà tôi nhận được là: “Chúng tôi có chạy Gaussian Splats trên tường virtual production (sản xuất ảo) không?” Có, chúng tôi có. “Chúng tôi đã sử dụng Gaussian Splats trong sản xuất thực tế chưa?” Có, chúng tôi đã làm. “Có phải được quay bằng Victoria Rig không?” Không, nhưng ví dụ này thì có. Chúng tôi có thể chạy Gaussian Splats trong Unreal Engine thời gian thực trên bất kỳ sân khấu nào của chúng tôi, ví dụ ở Stage 7 tại Culver City, Los Angeles.19:28
Một câu hỏi thú vị khác là tại sao cần mảng máy ảnh 61 megapixel và độ phân giải cao như vậy? Tường LED có 32 phân đoạn, mỗi phân đoạn là 4K, thậm chí còn vượt quá độ phân giải của Sphere ở Las Vegas. Bạn không cần chạy toàn bộ độ phân giải liên tục, chỉ chạy phần mà máy quay nhìn thấy. Nhưng phim ảnh yêu cầu độ chính xác và linh hoạt cao, nên chúng tôi luôn cố gắng đẩy giới hạn chất lượng dữ liệu.Trường hợp quét Gaussian Splats trong 20 phút bởi một người
20:20
Đây là một ví dụ khác, được một người quét trong chưa đầy 20 phút với thiết lập ba máy ảnh. Tốc độ này rất quan trọng trong ngành phim, nơi chúng tôi thường đối mặt với hạn chế thời gian tại địa điểm. Đây là một yếu tố thay đổi cuộc chơi.Lời kết và cảm ơn khán giả 3DISE
20:45
Tôi thực sự rất thích các bài thuyết trình của các bạn trong hai ngày qua và đã học được nhiều điều. Hy vọng các bạn cũng học được điều gì đó từ bài trình bày của tôi. Cảm ơn sự chú ý của các bạn!21:02
Thưa quý bà và quý ông, Matej Kosovsky! Anh đã làm rất tốt, đặc biệt là cách tự xử lý phần Q&A, rất ấn tượng! Nếu khán giả có thêm câu hỏi, anh có ở lại không?

  • Dĩ nhiên rồi!
    Tuyệt vời, hãy tiếp tục đặt câu hỏi cho Matej. Cảm ơn rất nhiều!

Ứng Dụng Với Unreal Engine Trong Phim “Star Trek” Của Pixomodo

Đây không phải là dự án đầu tiên của Pixomodo khi sử dụng kết hợp nhiều phương pháp 3D reconstruction vào trong môi trường sản xuất phim điện ảnh. Năm 2022, Pixomodo cũng đã từng cho ra video giới thiệu tại Unreal Engine Festival về cách họ làm số hóa môi trường cảnh quan trong phim để làm bối cảnh phục vụ virtual production

Post Author: Vu Pham

Bài viết liên quan