Hệ thống Real-time Compositing được phát triển bởi bởi đội ngũ On-set Facilities (OSF) ở Anh quốc và Madrid, sử dụng môi trường 3D được dựng sẵn kết hợp với diễn viên tại phim trường, cùng với công nghệ live camera tracking, các công cụ compositing, phần mềm chỉnh màu và công nghệ VR (Virtual Reality). Các kỹ sư tại OSF đã phát triển phương thức kết hợp phần cứng và phần mềm để thực hiện quá trình Render trong thời gian thực.
“Chúng tôi đang tạo ra một công cụ tuyệt vời cho công việc pre-visualization và Real-time VFX. Nó cho phép chúng tôi ghi lại cả diễn xuất ngay tại chỗ (gồm cả diễn viên, đạo cụ, và các thiết bị trường quay) và gói (bake) chúng lại dưới định dạng HD, 2K, 360, và cả không gian 3D. “
Dữ liệu tracking của camera bao gồm chuyển động và thông số ghi hình như zoom, khẩu độ,… đều được lưu dưới định dạng FBX, sau đó có thể được đưa trực tiếp vào NUKE cho công đoạn compositing hoặc lưu lại để điều chỉnh về sau.
Dưới đây là các công nghệ mà bạn sẽ cần tìm hiểu để tự mình thực hiện công việc realtime compositing và đưa live VFX vào dự án tiếp theo.
Để điều khiển chuyển động camera, chúng tôi dùng bộ Startracker từ Mo-Sys, chúng tôi bake môi trường trong Unreal Engine 4, chúng tôi comp với NUKE, chúng tôi tạo ra không gian, nhân vật, và các yếu tố khác với 3Ds Max. Một số phần cứng liên quan được làm tại OSF dựa trên như cầu và giải pháp của chúng tôi. Bạn luôn có thể thảo luận với chúng tôi khi cần thiết.