Robot nhìn thấy thế giới thực qua bằng cách thu thập dữ liệu (survey) từ nhiều loại cảm biến như camera RGB, LiDar, camera hồng ngoại, radar… sau đó xử lý các dữ liệu này qua công nghệ “Thị Giác Máy Tính” (Computer Vision) và kết hợp AI để tạo ra mô hình 3D hoặc bản đồ môi trường. Từ đó, robot có thể nhận diện vật thể, với ước lượng khoảng cách, và lập kế hoạch di chuyển hay thao tác.
Thị giác máy tính là một nghành của môn khoa học máy tính trong lĩnh vực trí tuệ nhân tạo (AI), nghiên cứu cách để máy móc “nhìn”, hiểu và phân tích hình ảnh hoặc video từ thế giới thực.
Ứng dụng gồm:
- Nhận diện vật thể (object detection)
- Phân loại hình ảnh (image classification)
- Xây dựng bản đồ 3D (3D reconstruction) (Link xem 3D reconstruction Gaussian Splatting là gì)
- Theo dõi chuyển động (motion tracking)
- Nhận dạng khuôn mặt, biển số xe…
Có một vài yếu tố, việc nhìn của robot cũng như trong video game, cách robot nhìn thấy ngoài việc chuẩn xác, ví dụ xe tự hành thì tính chuẩn xác tối quan trọng cho việc an toàn khi giao thông, tránh được tai nạn và không tự gây ra tai nạn là ứng dụng. Để làm được việc này thì framerate phải cao, thời gian thu thập dữ liệu xong tái tạo lại không gian phải tức thời “real-time”.
Đây là cách mà phần mềm của robot nổi tiếng HD Atlas do Boston Dynamic “nhìn thấy”
Và đây cũng là link một video ứng dụng Computer Vision mà các chú chó của Boston Dynamic nhìn thấy qua phần mềm
Các Nghiên Cứu Ứng Dụng Gaussian Splatting Cho Robot Vào Thực Tiễn
Như vậy để có thể cho Robot nhìn thấy sẽ cần thiết bị hỗ trợ việc nhìn như các kỹ nghệ camera, kết hợp phần mềm “tracking” thời gian thực các dữ liệu thu thập được, tuy nhiên để mang tính không gian tích hợp thì việc biểu đồ hóa không gian có sẵn tức là hình thành bản đồ cũng rất quan trọng, một số phương án là lập sẵn bản đồ, hoặc thu thập và tạo dựng bản đồ ngay tức thì. Lúc này các kỹ nghệ xây dựng dữ liệu hiện nay như:
- Sử dụng 3D Gaussian Splatting làm bản đồ thực tế ảo (SLAM) monocular hoạt động trực tiếp “live”, chỉ cần một camera và chạy được ở khung hình 3fps. (liên kết đến Paper về phương án SLAM ứng dụng 3D Gaussian Splatting)
- Phương pháp Touch-GS dùng cảm biến chạm quang học (optical tactile sensors) và camera RGB-D để đào tạo việc tạo mô hình Gaussian Splatting, cải thiện độ chính xác so với dùng Computer Vision các phương án riêng rẽ. (liên kết đến paper học thuật và thử nghiệm Touch-GS)
- Online Gaussian Splatting Maps lập bản đồ với SAFER-Splat là một phương pháp an toàn hơn khi di chuyển robot, tạo bản đồ 3D Gaussian Splatting thời gian thực, phương án này được nhắm đến cho các kiểu robot như DRONE flycam bay khi có biên được số hóa để ngăn robot đâm vào vật cản. (Link liên kết ứng dụng và có cả video để xem thực hành của 3D Gaussian Splatting vào bản đồ thời gian thực)
Ứng Dụng Thực Tế Gaussian Splatting Trong Diễn Họa 3D Kiến Trúc
Trong các lĩnh vực như thiết kế kiến trúc có phần việc diễn họa kiến trúc 3D, nay cũng dễ dàng hơn với việc nhúng công trình thiết kế mới vào khu đất hiện trạng thông qua ứng dụng 3D reconstruction Gaussian Splatting với phiên bản phần mềm render chân thực V-ray 7. Chức năng mới được hãng Chaosgroup đưa ra ứng dụng vào làm phim, render ảnh 3D kiến trúc là có thể loại bỏ công trình hiện trạng ngay trong khu đất, thay thế với công trình kiến trúc mới thể hiện tính ứng dụng cao của phần mềm render này khi sử dụng công cụ tạo tác 3D là Autodesk 3DS Max, xem video:
Với nhiều khả năng mở rộng cho việc trình diễn, các kỹ nghệ real-time như Unreal Engine trên web, vào các mobile app cũng dần dà bắt đầu ứng dụng nhiều Gaussian Splatting, như đưa tới công chúng, các chuyên gia thể hiện của các công trình cổ, bảo tàng qua nền tảng số:
Hoặc ứng dụng vào tạo dựng bối cảnh phim trường để làm phim điện ảnh, một dạng kỹ xảo phổ biến hiện. Tức là khi đã có thông tin thu thập 3D reconstruction thì sau đó sẽ trình diễn virtual production qua Unreal Engine
