Đây là video dùng Deep Fake để apply cho ông CEO, behind the scene của NVIDIA
Watch Nvidia’s Deep Fake of CEO Jensen Huang at GTC (Behind the Scenes).
Sử dụng các phần mềm hỗ trợ như Maya, Substance Painter, 3DS Max, Houdini, và Davinci Resolve. Toàn bộ phần back render thực hiện bởi Ominiverse farm. Có thể tạo ra hình ảnh photo-realism chỉ trong tuần thay vì mất cả tháng , toàn bộ việc này NVIDIA sẽ show ở sự kiệ Siggraph 2021, hôm nay ngày cuối.
Đầu tiên có 3D Scan ông CEO của NVIDIA. Sau đó dùng Zbrush để clean data đã scan cho đẹp. Sử dụng phần mềm Audio2Gesture để match audio vào animation, phần mềm này có khả năng nhận dạng audio và tạo ra gesture animation điệu bộ tương ứng với luận điệu của voice đang nói, ứng dụng hoàn toàn bằng AI.
Audio To Gesture
Một cái mã nguồn mở tương tự cho ai quan tâm: https://github.com/GestureGeneration/Speech_driven_gesture_generation_with_autoencoder
Như vậy AI sẽ quyết định hình thái cử chỉ của pose và shape từ voice, ví dụ đang hùng biện, đang thuyết minh sẽ có những gesture tay chân phù hợp. Sau đó đẳng cấp của NVIDIA là có cái app công nghệ VID2VID nhằm ứng dụng AI lên talking head, điều này giúp tạo ra avatar vạn vật cho người đại diện.
Video To Video
Đây là link về video Vid2Vid, nếu ai đang dùng Nvidia Broadcast để hội thảo và trò chuyện qua mạng, ví dụ như ZOOM, thì đều biết khả năng áp dụng AI vào hỗ trợ hình ảnh, âm thanh của phần mềm này rất tốt, tôi rất hạnh phúc khi thấy mình điển trai và âm thanh nhiễu trong phòng bị cắt hoàn toàn, chỉ cần Nvidia Broacast thì giờ cái Vid2Vid này giúp đẹp dã man lộng lẫy luôn, nếu muốn làm thành con animation stylize talking head cũng ok.
đây là video chi tiết mô tả về kỹ thuật chuyên sâu của ứng dụng công nghệ Vid2Vid
Một cái Paper được phát hành 2 năm trước về tài này Video to Video
Và một số thử nghiệm đáng yêu từ năm 2018 áp dụng sơ khai của paper nghiên cứu Video To Video
Omniverse
Omniverse là phần mềm layout, render, set dressing có khả năng thực hiện photo-realism tới mức thực tế, ứng dụng real-time path tracing.
Đây là phần mềm đang được Nvidia thúc đẩy sử dụng trong nền công nghiệp giải trí, nghiên cứu y khoa, ứng dụng khoa học và nghành thiết kế chế tạo rất nhiều chứ không chỉ phuc vụ trong làm phim ảnh hay animation.
Trong phần mềm này sử dụng Material X làm shader/material, có các simulation dynamic như fluid, như cloth, tất cả sử dụng GPU. Đặc biệt nhất vẫn là phần render real-time như thật
Khả năng của Omniverse có thể thể hiện nhiều poly hơn cả Unreal Engine 5, gấp rất nhiều lần
Hiện tại đang beta cho sử dụng, ai cũng tải về dùng được. Hoàn toàn GPU platform. Một số thông tin thêm về Omniverse
https://lamphimquangcao.tv/ai-gaugan-va-nvidia-omniverse-ket-hop-the-gioi-dien-anh-va-ai/
Phần AI của CEO tiếp tục được tiến hành thông qua scan cái nhà bếp mà CEO nvidia thường hay sử dụng để thuyết trình từ hồi bị covid hoành hành vào đầu năm 2020, sử dụng zbrush để clean data scan, thêm các chi tiết đạo cụ prop, sử dụng phần mềm tiêu chuẩn đúng bài về bố trí bối cảnh kiến trúc là 3DS Max để tạo dựng lại không gian, thực hiện set dressing, layout, và làm previsualization animation, sau đó tiến hành lighting render bên trong Omniverse.
và sau cùng là đóng gói phát hành trình diễn real-time. sử dụng AI để làm chuyện đó thông qua tính toán bởi GPU. Sức mạnh tổng lực dập một lần.
Và từ bữa tới giờ trước khi tung ra cái video behind the scene không ai biết ông Jesen Huang đang coi là do máy tính tạo ra.
Link lại video để anh em coi và chiêm ngưỡng các kỹ sư, artist tại Nvidia đã làm điều đó như thế nào cho keynote GTC tại Siggraph 2021.
