Unreal Engine Thể Hiện Hình Ảnh Người Kỹ Thuật Số Thực Không Tưởng

Epic Games lâu nay luôn làm công chúng lẫn giới công nghệ bất ngờ bằng các sản phẩm thiết kế người kỹ thuật số theo dạng photorealistic của mình. Tại sự kiện công nghệ GDC 2018, Epic Games vẫn không làm công chúng thất vọng khi trình làng ba bản demo thiết kế người 3D theo thời gian thực.

Trong bản demo sử dụng công nghệ facial capture (công nghệ ghi hình chuyển động cơ mặt) của 3Lateral được render bằng Unreal Engine đã cho thấy được quá trình tạo ra bản sao kỹ thuật số của một diễn viên nữ và biến đổi diễn viên Andy Serkis nổi tiếng với vai diễn Gollum trong loạt phim the Lord of the Rings và The Hobbits thành người ngoài hành tinh.

Bản demo Siren trình diễn công nghệ bắt chuyển động cơ thể và gương mặt

Dự án flagship Siren mới của Epic là kết quả của quá trình cộng tác với Vicon, công ty 3Lateral và Cubic Motion cùng ông lớn Tencent của làng công nghệ Trung Quốc.

Nhân vât trong bản demo đã sử dụng các hành động của diễn viên Alexa Lee để tạo ra bản sao kỹ thuật số của nữ diễn viên Bingjie Jiang theo phong cách photorealistic, và thế là Siren ra đời.

Các bản scan gương mặt 3D và 4D của Jiang do 3Lateral đảm nhận dựa trên tính năng facial solver Rig Logic theo thời gian thực của hãng.

Cubic Motion chịu trách nhiệm xử lý ghi lại toàn bộ hoạt động của gương mặt, tracking, solving, animation và ghi hình video nhân vật Lee – phiên bản trình làng tại GDC đã được ghi hình trước show diễn để tạo ra nhân vật CG.

Những chuyển động toàn thân của Lee đã được ghi lại qua hệ thống motion-capture Vantage của Vicon và stream qua chức năng liên kết trực tiếp với phần mềm Shōgun 1.2 và Unreal Engine 4.19.

Vicon đã thực hiện solving (quá trình ghi dữ liệu mocap quang dưới dạng file c3d) trực tiếp từ animation theo khung xương Siren bằng tái cấu trúc dữ liệu và phát triển một thuật toán mới giúp animate các ngón tay của nhân vật CG thực tế hơn.

Những bước tiến mới khi render tóc, đôi mắt và làn da theo thời gian thực

Dù không hoành tráng như màn thể hiện trực tiếp như game Hellblade: Senua’s Sacrifice của Ninja Theory tại sự kiện GDC 2016 nhưng bản demo này đã cho thấy được Unreal Engine đã có những bước tiến mới.

CTO Kim Libreri của Epic Games đã đi theo những cải tiến mới của Unreal để render đôi mắt, tóc và làn da bao gồm cả phản chiếu và tương phải trên bề mặt dái tai.

Ông chia sẻ: “Đứng ở góc độ render, chúng tôi tin rằng mình đã vượt qua hiện tượng Uncanny Valley khi render trong thời gian thực”.

Hệ thống tái cấu trúc cơ mặt, Meta Human của 3Lateral tạo ra phiên bản Andy Serkis kỹ thuật số

Render chỉ là một phần trong những thách thức gặp phải khi khắc phục hiện tượng Uncanny Valley: facial animation là yếu tố giúp tạo nên hình ảnh nhân vật kỹ thuật số chân thật nhất.

Giám đốc điều hành 3Lateral, Vladimir Mastilovic đã thực hiện hai bản demo theo thời gian thực tại studio, và render theo thời gian thực lần nữa qua Unreal Engine.

Video cho thấy được quá trình tái cấu trúc kỹ thuật số của diễn viên motion – capture nổi tiếng, Andy Serkis nhờ vào quá trình ghi hình nhân vật Gollum trong loạt phim the Lord of the Rings và Snoke trong Star Wars đã cho thấy được cảm xúc chân thật nhất qua lời thoại ‘Tomorrow, and tomorrow, and tomorrow’ c ủa nhân vật Macbeth.

Nhân vật CG được tạo ra nhờ sử dụng mô hình Meta Human framework của 3Lateral cho các công việc ghi hình volumetric, tái cấu trúc gương mặt và nén dữ liệu: Mastilovic lưu ý dữ liệu có thể nén đến một triệu lần.

Dữ liệu cũng sẽ được làm sạch trong quá trình steaming: Hệ thống sẽ tự động ước tính các đường cong khi co cơ.

Những điều kiện khả thi mới cho quá trình retarget dữ liệu facial animation

Mastilovic nhấn mạnh công nghệ này sẽ mở ra nhiều điều khả thi mới từ nhân vật ảo tiếp cận với người xem trực tiếp thông qua trải nghiệm VR đến quá trình retarget dữ liệu facial animation sẽ tốt hơn.

Để chứng minh cho điều này, 3Lateral cũng đã cho thấy các chuyển động mặt của Serkis đã được retarget sang CG character với tỷ lệ hình dáng gương mặt khác nhau đôi chút qua nhân vật alien, Osiris Black.

Nhiều người cho rằng phiên bản Alien này nhìn thực hơn phiên bản CG của Serkis không phải vì output cho ra tốt mà là não bộ sẽ nhìn ra các điểm bất cân xứng trên gương mặt con người nhiều hơn là các loài khác.

Cũng theo cách đó đã chứng minh được dù cho dạng ghi hình facial capture tối tân nhất hay khi Andy Serkis vào vai một diễn viên bình thường thì việc anh hóa thân thành các nhân vật giả tưởng lại tốt hơn khi diễn chính bản thân mình.

 Nguồn www.cgchannel.com

Post Author: Tu Vo