Làm Phim Quảng Cáo

Motion Capture

Motion capture là quá trình ghi nhận lại chuyển động và số hóa chuyển động đó thành các dữ liệu từ các diễn viên thực hiện diễn xuất live performance với những bộ suite kỹ thuật được setup đặc biệt cho việc ghi nhận dữ liệu hoặc thông qua các hệ thống optical sử dụng camera/ánh sáng ghi nhận lại chuyển động.

Ứng dụng của mocap giúp các động tác animation trong video game, phim sẽ đầy năng lượng, uyển chuyển và tự nhiên. Để sử dụng được dữ liệu mocap sau khi capture sẽ cần thực hiện các công tác làm sạch (refine) và chuyển thành một đoạn clip animation ngắn.

Các optical camera khi thực hiện việc ghi nhận dữ liệu chuyển động sẽ liên tục bắn ra chùm tia đỏ, các bộ motion tracking được gắn nhiều điểm phản chiếu bật lại ánh sáng đỏ, các optical camera sẽ ghi nhận và lưu thành dữ liệu thô trước khi xử lý, mocap data. Các điểm tracking này thông thường được gọi là marker, tối thiểu ba marker một vị trí, giúp hệ thống ghi nhận tọa độ trong không gian 3D khi diễn viên di chuyển. Hệ thống optical sẽ phụ thuộc nhiều vào số lượng camera có trong một không gian, càng nhiều camera việc nhận càng chính xác.

Ngoài các hệ thống optical motion capture thì phổ biến còn có các bộ suite thực hiện dữ liệu ghi nhận thông qua wifi hoặc bluetooth. 

Ngoài ra hiện nay còn có facial motion tracking, là dạng ghi nhận dữ liệu tạo hình cảm xúc khuôn mặt, các biểu cảm được ghi nhận thông qua các hệ thống đội đầu hoặc chỉ cần thông qua smart phone như các Emoji trong môi trường chat vui vẻ.

Có rất nhiều các thể loại hệ thống về motion capture, từ thật rẽ, mã nguồn mở, cho đến những bộ suite mắc tiền được dùng trong các studio hoành tráng thực hiện cho các dự án thật qui mô. 

https://youtu.be/MFJ9Ub8TLGY?t=42

IPI Mocap Kinh Phí Cực Thấp Làm Phim Hoạt Hình, Làm Game

Một hệ thống giá thành cực rẽ, làm việc hiệu quả và tồn tại rất lâu dành cho dân làm game, làm phim hoạt hình, đó là IPI, hỗ trợ optical motion tracking thông qua các thiết bị kinet hoặc Sony camera của các máy Playstation. Cần một không gian tương đối rộng tầm 20m2 để thực hiện motion capture, tuy nhiên ngay cả khi trong không gian có đồ đạc, hệ thống vẫn làm việc tốt, các bạn có thể xem liên kết: https://youtu.be/Cc-HjT2Er5I.

Một sản phẩm hoàn thiện từ kết quả của Kinet. https://youtu.be/BMuZ3P1FCwk

Các bạn có thể thấy với chi phí giá thành mềm dẽo, và hoạt động mượt mà với các phần mềm miễn phí nhưng đầy mạnh mẽ như Blender. Giá một hệ thống như thế này cho phần mềm dao động tùy theo qui mô của người thực hiện, từ 200 USD ~ 2000 USD.

https://youtu.be/oqWawsxMwpY

Perception Neuron Trung Quốc – Mocap Giá Rẽ

Perception Neuron, một nhóm nhỏ Trung Quốc tự nghiên cứu và ra bộ suit về motion capture năm 2015, tư duy của người Trung Quốc thì chắc chắn VN tôi giống họ cũng phần nào, sản phẩm được làm ra phải giá rẽ và đi vào sản xuất hàng loạt được, ở Việt Nam còn bị thêm vụ là phải làm nhanh. Cái yếu tố nhanh vừa là thử thách để tiến bộ, cải tiến và liên tục học cộng bào không ngừng nghỉ. Mà chính nó cũng là thứ không hứng thú, càng nhanh thì đồ càng không đẹp, không chất, tạm bợ, runable thôi chứ không đạt được đầy đủ công năng và không thật sự hoàn thiện. Lại nói về bộ suite motion capture của Trung Quốc rất rẽ, mà lại rất ngon lành, tôi được biết vài người bạn ở trời Tây đã và đang dùng, có điều tụi nó dùng cho mod game hay chế ra mấy cái video fan made world of warcraft hay mấy clan monster hunter. Khác với những cty như Vicon thông thường dùng optical tracking tức dùng hệ thống camera khổng lồ dò theo sự chuyển động của diễn viên có gắn các vị trí tracking. Neuron dùng transmitter và transceiver tức như cái micro và cái thiết bị thu phát không dây của nó. Các bạn xem bộ Perception Neuron motion capture, rất thú vị nếu ai nghĩ đến việc làm gọn nhẹ và rẽ tiền cũng như để cho sản xuất tiến độ được nhanh. Video đầu tiên của họ năm 2015, nay thì họ khá hơn rất nhiều lần rồi, họ đã từng gọi vốn từ kickstarter vào năm đó. Perception Neuron https://youtu.be/RsDTvdRDMXEChannel của Perception Neuronhttps://www.youtube.com/channel/UCNrkkbkd_GV7b7cut_J8_pA Website:https://neuronmocap.com/ 

IPhone X Motion Capture

Cory Strassburger một artist ở Los Angeles làm việc tại studio Kite & Lightning đã vận dụng camera depth sensor của Iphone X và chế ra cái nón đội đầu gắn Iphone X capture biểu cảm khuôn mặt, toàn bộ mô hình motion capture được thực hiện như kiểu home made với phầ n mềm được viết riêng, body motion capture sử dụng Xsens MVN Link Performance đem vào Maya xử lý và ra đoạn video như dưới đây.

Tức ngoài những mô hình bom tấn face capture thì bản thân các artist và designer khắp thế giới cũng không ngừng nghĩ sáng tạo, sáng chế trong khả năng.

https://youtu.be/i51CizUXd7A

Digital Domain Với Công Nghệ Ghi Nhận Dữ Liệu Có AI Hỗ Trợ

Ở thời điểm này mà không có AI thì thật là nói chưa đầy đủ về tình hình motion capture chung, đặc biệt là thế giới facial motion capture. Digital Domain cách đây 2 tuần có tung ra một video dùng AI hỗ trợ motion capture trong điện ảnh và cho ra kết quả phi thường. Masquerade 2.0.

Phần mềm này ghi nhận lại sạch sẽ dữ liệu chuyển động của khuôn mặt, chớp mắt, hình thái da di chuyển. Dĩ nhiên một phần mềm làm phim điện ảnh sẽ rất đắt tiền, tuy nhiên cái thực tế đắt nhất là khi vận hành cần nguồn nhân lực phải xứng đáng và đủ khả năng vận hành, chi phí sẽ rất tốn kém để làm ra những clip phim ngoạn mục.

Từ năm 2018 Digital Domain đã sỡ hữu và phát minh ra công nghệ cho bộ tool này, giúp ứng dụng vào các phim điện ảnh bom tấn có sử dụng digital double mà studio thực hiện như các loạt phim Marvel, xem chi tiết nói về công cụ này ở đây: https://youtu.be/qvnJ_wBiKUI

Thêm nữa ở đây: https://youtu.be/d7pWHQX9QqA

https://youtu.be/MY1SmpyWsog

Kinh Nghiệm Xử Lý Motion Capture

Kinh nghiệm của tôi với đồ Trung Quốc thì nói chung là có nhiều đồ thay, hàng công nghệ của nó khi hỏng thì tôi tự mua thiết bị thay vào. Về mặt gia công mặc dù chi tiết kỹ thuật lắp ráp rất phức tạp nhưng anh em ve chai, lò mỗ về thiết bị điện tử ở VN cũng lành tay lắm.Neuron ở Siggraph 2020 với virtual camera #motioncapture #neuronhttps://youtu.be/-ibmccf46oYVấn đề của motion capture thông thường đến từ phần cứng rất nhỏ, vì hỏng là thay nguyên cái, không đáng ngại, không cần chỉnh sửa lặt vặt, rẽ tiền, nhanh chóng. Nhưng cái chính của motion capture là phần mềm, thường sẽ phải cần thời gian làm quen, có tính kỹ thuật đặc biệt các khâu xuất/nhập dữ liệu, làm sạch dữ liệu, hiểu về data hệ thống thường hay bị sao để khắc phục trên phim trường từ đầu, tức là không có vụ án “fix in post” sau khi nhận cái mớ mocap data đó. Ngoài ra clean tracking data thì cũng cần nhân lực animator hợp tác, trước đây tôi có dùng một system rất rất nhỏ, kinh phí thấp, motion tracking bằng kinet – tức là dạng optical (liên kết: http://ipisoft.com/). Đợt đó tôi với Lê Vĩnh Bảo “Tiger White” mày mò và làm ra data mocap rất tốt, nhưng các animator không biết xử lý sau đó – cả animator ngoài studio – được cho là có kinh nghiệp và ngay cả các bạn đang làm trong studio – các bạn cũng không quen với việc tiếng Anh, kỹ thuật thì xa lạ, học liệu thì cần đầu tư tìm hiểu đâm ra chán, lười và bài xích luôn – việc này xảy ra không chỉ ở người trẻ mà tôi thấy cả người lớn từng làm các công ty sản xuất cartoon lớn ở Tp. Hồ Chí Minh. Về cái neuron của Trung Quốc, nó là dạng reciever thì không rõ, có thể là chính xác cao hơn, cái này dùng rất ok, chỉ có điều bất cứ data motion capture nào cũng vậy, cũng phải đem về và animator smooth key lại, thông thường các animator thấy thời gian gấp sẽ ngại, họ không muốn đối diện với mớ keyframe đó, mà thực tế là smooth keyframe và clean key của tracking data là một kỹ thuật ít animator ở Việt Nam thực sự làm được.  Một trường hợp làm được mà tôi từng làm việc là với bạn Nguyễn Sơn Tùng (Tùng này làm animator chứ không phải anh ca sỹ nổi tiếng đâu), Tùng từ Hà Nội vào Tp. HCM để cùng chúng tôi làm dự án phim quảng cáo sử dụng chủ đề khoa học viễn tưởng có tí bắn phá không gian do chúng tôi tự sáng tạo ra, bản thân tôi thì lại luôn rất hứng thú với đề tài khoa học viễn tưởng này, lúc này chúng tôi có một VFX Supervisor từng làm việc ở Digital Domain hỗ trợ, Tùng được nhận nhiệm vụ làm sạch tracking data mà Bảo đã thực hiện thông qua phần mềm PFTrack khuôn mặt của diễn viên nữ, sau đó với độ độc của mình, Tùng đã tạo ra một cái rig gắn với body của nhân vật 3D và chuyển động theo khuôn mặt đã được thực hiện Tracking Data là gương mặt thật. Rất thú vị. Link dự án phim quảng cáo khoa học viễn tưởng chúng tôi đã thực hiện. Thường khi đã dùng tới motion tracking là động tác của animation sẽ rất fluently, nó rất natural nên thường ứng dụng cho feature hay cinematic, tức là kiểu dày công và đòi hỏi có kỹ thuật 1 tí ở animator, làm quen cartoon lâu ngày, nhìn data của tracking là hoảng ngay và hoàn toàn không biết làm. Ngoài ra tôi còn làm mocap kinet optical cho dự án phim hoạt hình cổ tích, tuy nhiên dữ liệu đó đã không được sử dụng tốt nhất để tối thiểu thời gian sản xuất. Lúc này khoảng năm 2013 ~ 2014. Tuy nhiên cũng đừng nghĩ sai tôi đã viết, có rất nhiều animator giỏi ở Việt Nam, chẳng qua là tôi chưa được diện kiến qua các mối quan hệ cũng như thời kỳ tôi dùng các công cụ này cũng cách đây hơn 5 năm.  Một vài trường hợp thì ngay cả đạo diễn mà không có kinh nghiệm làm việc với 3D, hay các nhà làm phim chưa từng biết về mocap, chắc chắn họ cũng phát hoảng và thiếu bản lĩnh ngay khi ghi nhận dữ liệu đầu tiên của mocap. Mấy cái này thì đỏi hỏi đã từng làm việc qua, quen với các công việc tiếp xúc hậu kỳ dữ liệu thô. Các bạn khi làm cũng cần chú ý an ủi đạo diễn. 

Xử Lý Mocap Data – Clean Up

Những mocap data này thường dạng partial, nó có noise, các animator chuyên nghiệp họ sẽ biết cách xử lý hoặc studio thì có tool nhưng vẫn phải manual một phần vì dynamic force thì chỉ animator nhìn thấy. Kỹ thuật chỉnh sửa thì hoàn toàn phụ thuộc vào trình độ animator nhận biết được key pose và các in between interpolation của animation frame. Animator chuyên nghiệp thì vì họ làm mô hình chuẩn và tiếp thu tư liệu nhiều chứ cũng không phải họ chuyên nghiệp vì họ già hay họ sống lâu hay làm lâu năm quá sức tưởng tượng…. đầu tiên là phải đọc tài liệu. [box]Có những khóa học về xử lý mocap data rất đơn giản, chủ yếu dùng kiến thức nền tảng của animator để thực hiện: https://www.skillshare.com/classes/Character-Animation-Animate-with-Motion-Capture-in-Autodesk-Maya/1161025867[/box] Các vị trí rung rẫy (jitter noise) cũng sẽ thường xảy ra khi thực hiện các động tác nhanh. Ở đây có video xử lý noise data mocap tracking từ Maya #mocap https://youtu.be/QSDg6azNsNcMột video nữa xử lý mocap data trong Motion Builderhttps://youtu.be/htd04F0ILV8Xử lý mocap data trong iclone cho video game (dùng kinet capture) https://youtu.be/Q_2N_IthX74Clean mocap kinet data trên Blenderhttps://youtu.be/5hRz60MaQIk

Tổng hợp và biên tập bởi Vũ Phạm (www.rainstormfilm.com)

[button icon=”fa-twitter-square” url=”https://twitter.com/lamphimquangcao” scheme=”blue” border_color=”#e5d35b” border_width=”2px” size=”small”]Follow Vũ Trên Twitter[/button]

Vũ là nhà sáng lập, điều hành công ty làm phim quảng cáo và 3D hoạt hình Rainstorm Film. Chuyên môn của Vũ lâu năm kinh nghiệm trong lĩnh vực làm đạo diễn, thiết kể sản xuất phim quảng cáo, phim diễn họa kiến trúc giới thiệu dự án bất động sản, hậu kỳ hiệu ứng kỹ xảo, thiết kế.

Hiện Vũ đang hứng thú với các kiểu hiệu ứng VFX Houdini, Real Time VFX và lập trình tương tác và game với Unreal Engine và Unity.

Vũ có lập một FB group dành cho các bạn yêu thích Tech Art, VFX, Real Time VFX và nghành phim, nghành game nói chung cùng tham gia giao lưu học hỏi: https://www.facebook.com/groups/YeuFxTD