Ứng Dụng AI, Machine Learning / Deep Learning Trong Sản Xuất Hậu Kỳ Kỹ Xảo Phim Điện Ảnh, Giải Trí

Gần đây nhất chúng ta được biết một loại kỹ xảo mới do các hãng Scaneline VFX và Digital Domain cùng thực hiện trong quá trình làm phim Free Guy, các major studios này họ đã đẩy một level hoàn toàn mới về digital double, character effects, có thể nói là “raise the bar”.

Tài Sản Riêng Của Digital Domain

Digital Domain chơi hẳn con AI dữ dội ra sản xuất, render bằng neural để làm aging
https://www.fxguide.com/fxfeatured/level-up-free-guy/

Đây là một trong các test của Digital Domain về việc làm già đi, hay làm trẻ lại hoàn toàn bằng AI.




Và thêm remove hoàn toàn cái mask ra khỏi cái mặt, nói chung những con AI thế này ngày càng hoàn thiện thì công việc compositor ngày càng đỡ khổ, dĩ nhiên tình trạng mất việc ở một số bộ phận không hề nhỏ, đổi lại thì nhiều việc hơn cho những công tác làm cho những thứ như neural network và machine learning, deep learning sẽ phát triển hơn, công việc thợ ngày càng mất dần, công việc chuyên gia ngày càng nỗi lên, NHƯNG AI MÀ BIẾT ĐƯỢC TƯƠNG LAI.




Nhưng cần phải thấy một sự thật khủng khiếp đó là những năm về trước để lấy dữ liệu thế này thì phải mất cả ngày nhưng giờ đây chỉ mất 30 phút. Ở Digital Domain người ta đã gọi phần mềm này là Charlatan.

Cần phải hiểu, Free Guy đã được quay từ trước đó khá lâu, từ năm ngoái và với các dữ liệu hạn chế khi nhận từ đơn vị sản xuất là các footage 4K, phần mềm Charlatan đã tự tiến hóa để xử lý các dữ liệu hạn chế này. Và ở tại thời điểm Free Guy được công bố công chiếu cách đây 2 3 tuần rồi thì giờ chúng ta mới biết được việc này cũng đồng nghĩa hiện tại phần mềm đã được tiến xa thêm một giai đoạn, ít nhất tiến xa hơn những gì nó có trước khi làm phim Free Guy.

Foundry NUKE Và Sân Chơi Phổ Quát Thương Mại

Và cũng như vậy không chỉ những phần mềm đỉnh cao là tài sản riêng biệt như của Digital Domain mà ngay cả Foundry NUKE hiện nay cũng đã phát hành CopyCat, một cái node hoàn toàn nhằm mục tiêu áp dụng trí tuệ nhân tạo vào các thao tác thủ công, ví dụ như tách nền, xóa phông garbage matte.




Và việc CopyCat node của NUKE này dễ đến mức dễ dàng tìm thấy tutorial trên internet

https://youtu.be/ihrzkAS5BwI

Rồi chưa kể cách đây vài tháng đã từng có các youtuber làm rotoscoping và tracking một footage quay bình thường và ngồi làm trực tiếp




Ziva Dyanmic Và Cuộc Phiêu Lưu Machine Learning

Từ nhiều năm trước, Ziva Muscle là một hãng chuyên làm plugin để mô phỏng cơ thịt cho các sản phẩm nhân vật tạo ra từ CGI, tạo ra hình ảnh đáng tin hơn về animation (truely believable animation), plugin của hãng này chuyên và chỉ dành cho phần mềm Autodesk Maya, nó làm việc rất hiệu quả đến cả ngày nay không ngừng phát triển. Đỉnh cao marketing của sản phẩm này cùng với Intel và các hãng major studio là sản xuất kỹ xảo phim The Meg




Và gần đây nhất hãng đã ứng dụng machine learning trong việc xử lý dữ liệu motion capture để từ đó build ra được các các dữ liệu sau xử lý về biểu cảm khuôn mặt vô cùng chân thật, nó chân thật đến mức gần như 1:1 so với mesh được apply dữ liệu này real-time, điểm đột phá của phần mềm này là nó không cần các điểm marker để nhận diện




Lĩnh Vực Motion Capture

Đây có thể nói là một trong các lĩnh vực ứng dụng AI mạnh mẽ nhất từ những ngày đầu vì khối lượng dữ liệu quá lớn để xử lý bằng tay, việc này gây ra nhiều phiền hà và làm cho quá trình sản xuất chậm lại, cũng như trong thế giới làm video game, việc áp dụng locomotion và blend pose real-time là điều mong mỏi các character phải luôn ngay tức thì thay đổi pose nhưng phải tự nhiên nhất khi người chơi điều khiển.

Các hãng motion catpure luôn cố gắng phát triển phần mềm định hướng có hỗ trợ bởi AI nhằm tối thiểu công việc thủ công của các technical director. Dưới đây là một ví dụ để cho thấy, mỗi ngày đều có những phát minh mới trong lĩnh vực này. Có lẻ không cần AI để predict riêng trong lĩnh vực motion capture về việc phát triển.

https://youtu.be/T1vvokFnsbU

Các kiểu phần mềm xử lý motion capture này không chỉ thực hiện trên các hệ thống ghi nhận dữ liệu lớn như Vicon, Xsen mà nó còn xử lý cả trên video đã thu trước, video real-time như web cam




Nghành AI Va Cha Đẻ Từ IBM

Có lẽ, cha đẻ của ngành trí tuệ nhân tạo và cũng của cả các ngôn ngữ lập trình đó chính là John Mccarthy, bản thân chắc cũng không ngờ, nhờ covid mà sự tiến bộ vượt bậc trong lĩnh vực AI ngày nay tiến xa nhanh cũng phải hơn được 50 năm thông qua sự thúc đẩy toàn cầu.

John McCarthy Cha Đẻ Của Nghành AI Và Các Ngôn Ngữ Lập Trình

John Mccarthy là nhà khoa học đã dẫn đầu và dẫn dắt một team phát triển máy tính tại IBM, sáng tạo ra siêu máy tính Deep Blue vào năm 1997 và đánh bại (chơi lại lần 2, lần 1 huề) cờ thủ vô địch thế giới Garry Kasparov tại thời điểm đó, đem lại sự kinh ngạc không tưởng trong toàn cõi hệ máy tính mà con Ram 8Mb là vô cùng xa xỉ, lúc đó tôi chỉ là thằng nhóc, nghe về việc này rất háo hức, nghĩ AI nó như một con robot màu trắng với nhiều sợi dây cắm vào một bệ trung tâm và ngồi chơi cờ với Garry Kasparov.

Cao thủ cờ vua thế giới Garry Kasparov gặp phải đối thủ nặng cân Deep Blue

Ngoài John McCarthy thì còn cùng sánh vai với các nhà khoa học đồng hành gánh vác nhiệm vụ phát triển AI từ những ngày đầu của sự khai phá ra máy tính.

Starcraft Deepmind Alphastar

Sẵn nói về game, trước đây năm 2018 2019 đã từng có một con AI được viết ra để chuyên trị training thử nghiệm cho các cao thủ video game Starcraft 2, đó chính là Deepmind Alphastar, ban đầu hình thành AI model có ít dữ liệu xử lý đâu vào nên việc pre-train (AI luôn phải được đào tạo trước, sự khủng khiếp của AI là càng qua trận mạc nó càng khủng), ban đầu nhiều người dễ dàng thắng nó, càng về sau, nó hốt hết

https://youtu.be/jtlrWblOyP4

Đây là lịch sử của Alphastar




Nvidia và DLSS

Nói về AI thì phải nói các mảng giải trí là dễ dàng thấy nhất, với hệ thống real-time upscale không chỉ độ phân giải mà cả frame rate và sync với GPU của mình, NVIDIA với công nghệ DLSS tung ra đã giúp các game thủ sỡ hữu một trợ lý hình ảnh cứng khừ, đẩy chất lượng hình ảnh đến vĩ đại ngay tại năm nay 2021, phải dùng chữ “insane” để mô tả

https://youtu.be/0X1RtXCvPFQ

Ý tưởng sáng tạo và vô vàn của Nvidia cũng chưa dừng lại ở đó, với sức mạnh sẵn có từ GPU khả năng tính toán đồng loạt, Nvidia đã ra mắt không ít sản phẩm AI trong năm nay hỗ trợ trực tiếp lên sáng tạo

https://youtu.be/3XSFfaTmjpA

Một trong các sản phẩm trực tiếp hỗ trợ giới digital painting vẫn đang phát triển nhiều năm nay là Gaugan, quẹt quẹt vài nét có luôn cài hình mong muốn sau đó người họa sỹ chỉ cần paint over những chi tiết mong muốn

https://youtu.be/NKFrg9HMYaY

Audio To Face là một trong các plugin hiện nay được ứng dụng vào Maya đem qua Omniverse, giúp các animator có thể làm việc với nhân vật của mình tự động hóa việc biểu cảm và khớp thoại (lip-sync)




Tìm Hiểu Thêm Về AI Và VFX & Animation

Tại hội nghị Siggraph từ năm 2017 đã có rất nhiều tài liệu cho thấy các thành tựu phát triển AI ứng dụng vào VFX & Animation cả offline và real-time. Năm nay Siggraph đã có một loạt video thống kê và trao đổi thảo luận một cách chính thức về đề tài này. https://lasiggraph.org/event/ai-vfx

Playlist toàn bộ video Siggraph 2021 các paper được phát triển bao gồm có và không có AI: https://www.youtube.com/playlist?list=PLHFiqDkNCp1g5AW0QO_g9xDK-R1bsPF_l

Chưa hết chúng ta còn thấy real-time style transfer để cho ra sản phẩm chuyển đồ họa video game thành như thật trong lĩnh vực đồ họa video game: https://youtu.be/22Sojtv4gbg

Điểm qua các ứng dụng AI hỗ trợ VFX & Animation của NVIDIA: https://youtu.be/vkM94cHMuoo

Adobe Sensei hỗ trợ các designer và video grapher: https://youtu.be/r9E0_lM5l48

Các phát triển ứng dụng AI trên Unreal Engine: https://youtu.be/WRnpwRc94YI

Sử dụng AI để remaster game thông qua việc upscale texture: https://youtu.be/Fix6u4pksrg

Sử dụng Deep Learning ứng dụng trong việc phát triển render Arnold, có thể nói một phần của việc triển khai các phần mềm render ngày nay là không thể thiếu các tính năng Denoise, real-time hay offline cũng nhờ có denoise mà nhanh hơn rõ rệt.  https://youtu.be/EjtCHgOUP9g

Từ lâu Facebook cũng đã tham gia vào mảng ứng dụng xử lý hình ảnh, âm thanh và các phương án đoán trước ngữ cảnh https://youtu.be/0JEb7knenps

Ở Việt Nam hiện nay để coi thấy AI được phát triển và có sự đầu tư của người Việt với một nguồn lực lớn đáng kể thì chỉ có kênh truyền thông của VinAI là dễ biết nhất vì có đầu tư chặt chẽ, các thông tin AI khác của các trường đại học quốc gia có thể có nhưng rất khó biết vì không có một hệ thống truyền thông rõ rệt hay dễ truy cập: https://www.youtube.com/c/VinAIResearch

Houdini Công Cụ Chuyên FX TD Ứng Dụng AI

Đây là một công cụ Digital Content Creation đặc biệt, nó như một cái box mở và với các set tool từ cơ bản đến nâng cao đủ để các technical director thao tác thực hiện phát triển các set tool cá nhân hóa theo một pipeline thành nhưng hỗn tợp tool phức tạp, thông qua tính năng automate, procedural và khả năng modular của Houdini. Trong đó có việc phát triển những phương cách kết hợp AI, Machine Learning

https://youtu.be/EFBcIwEeJoA

Ứng dụng video style transfer thông qua sử dụng PDG (procedural graph) là bộ công cụ không chỉ phục vụ riêng cho Houdini mà còn có khả năng automate hay task graph cho bất cứ công việc nào bên ngoài phần mềm này cùng với sự hỗ trợ mạnh mẽ của ngôn ngữ Python.

https://youtu.be/zTdVaafoDow

Ngay cả việc ứng dụng đưa Tensor Flow vào trong Houdini để predit các node tương lai cần sử dụng trong stream đang làm, tức tự hình thành workflow: https://youtu.be/UzK__eO37_g

Hay để nhận dạng vật thể: https://youtu.be/jcl6u3PzUok

Và với Houdini việc ứng dụng AI là điều háo hức của các technical artist, technical developer, đây là một bài tập nhỏ mà technical artist đang thực hiện, đoán trước hình sin: https://youtu.be/QdqLqAnDVVo

Kết Luận

Dĩ nhiên hiện nay trong giới artist/designer làm CGI, VFX & Animation cho cả phim điện ảnh và video games đều chia ra nhiều luồng suy nghĩ, trong đó cũng không ít các luồng suy nghĩ chống lại việc phát triển của AI hay bĩu môi troll các tư liệu này chỉ là marketnig.

Có một sự thật phải công nhận yếu tố truyền thông marketing trong các sản phẩm cũng không ít nhưng khả năng hiện thực của sản phẩm là 100% và rành rành trên các kênh internet, mạng xã hội, ngay tức thì đe dọa đến công ăn việc làm hay nguồn thu của những người “thợ”, artist, designer thì “chưa”, nhưng việc biết và ứng dụng những gì đang có vào công việc hiện tại hoàn toàn là lợi ích lớn, nhất là các bạn trẻ đang muốn đơn giản hóa công việc thủ tục kỹ thuật, dành nhiều thời gian hơn cho việc sáng tạo, chế cháo thay vì phải ngồi làm thủ công.

Post Author: Vu Pham