Công ty mẹ của TikTok tung ứng dụng biến mọi ảnh thành mô hình 3D

ByteDance , công ty mẹ của TikTok, vừa ra mắt một sản phẩm quan trọng cho tương lai của việc sáng tạo nội dung 3D. Sản phẩm này có tên gọi Seed3D 1.0, và nó không phải là một công cụ tạo mô hình thông thường. Công cụ này có thể biến một hình ảnh 2D đơn lẻ thành một mô hình 3D hoàn chỉnh, đạt chuẩn mô phỏng, với hình học chi tiết, kết cấu chân thực và vật liệu kết xuất dựa trên vật lý (PBR).

Đây là một quy trình khép kín được xây dựng trên kiến ​​trúc Diffusion Transformer ngày càng phổ biến, được đào tạo trên các tập dữ liệu khổng lồ và rõ ràng hướng tới mục tiêu thống trị trong không gian 3D tạo sinh. Trong khi các công cụ như Gaussian Splatting và các dự án nguồn mở như Hunyuan3D đã vượt qua mọi giới hạn, ByteDance tuyên bố Seed3D 1.0 vượt trội hơn cả các đối thủ nguồn mở lẫn nguồn đóng về chất lượng kết cấu và độ trung thực hình học. Nó đạt được điều này chỉ với 1,5 tỷ tham số, vượt trội hơn cả các mô hình lớn hơn như Hunyuan3D 2.1, vốn sử dụng 3 tỷ tham số.

Cải tiến cốt lõi nằm ở sự kết hợp giữa Bộ chuyển đổi khuếch tán (Diffusion Transformer) đa phương thức và chiến lược tạo từng bước. Quy trình này đầu bằng việc phân tích hình ảnh bằng mô hình ngôn ngữ thị giác để trích xuất các tín hiệu không gian và cấp độ vật thể. Sau đó, nó tạo ra các mô hình 3D riêng lẻ và lắp ráp chúng thành một khung cảnh hoàn chỉnh. Điều này cho phép nó mở rộng quy mô từ một chiếc ghế đơn lẻ đến một văn phòng chi tiết đầy đủ, hoặc thậm chí là một cảnh quan đô thị quy mô lớn.

Seed3D 1.0 còn vượt trội trong việc duy trì tính nhất quán của kết cấu trên nhiều góc nhìn. Thay vì dựa vào các kết cấu chung chung, nó tạo ra các vật liệu đồng nhất với góc nhìn, đảm bảo tính chân thực và độ chính xác về cấu trúc cho mục đích mô phỏng. Kết quả đầu ra không chỉ phục vụ mục đích nghiên cứu; các mô hình được tạo bằng Seed3D có thể được tích hợp trực tiếp vào các nền tảng mô phỏng như Isaac Sim để đào tạo AI hiện thân.

Khi ranh giới giữa nội dung thực và nội dung tổng hợp ngày càng mờ nhạt, Seed3D 1.0 đánh dấu bước tiến đáng kể cho ByteDance và có khả năng là cho cả những người sáng tạo nội dung 3D, nhà phát triển robot và nền tảng điện toán không gian trên toàn thế giới.

Trường Giang