Bo mạch mở rộng trí tuệ nhân tạo Raspberry Pi HAT+ 2 trình làng với sức mạnh suy luận 40 TOPS

Trước đó khoảng một năm, AI HAT+ thế hệ đầu tiên đã ra mắt nhưng nhanh chóng bộc lộ giới hạn khi không thể đáp ứng yêu cầu ngày càng cao của các mô hình tạo sinh hiện đại. Phiên bản AI HAT+ 2 lần này được thiết kế lại hoàn toàn cho Raspberry Pi 5, với mục tiêu trọng tâm là đưa khả năng chạy các mô hình ngôn ngữ lớn (LLM) và mô hình ngôn ngữ thị giác (VLM) lên thiết bị cục bộ. Nhờ vậy, người dùng có thể khai thác sức mạnh AI hiệu quả hơn, đảm bảo quyền riêng tư và giảm phụ thuộc vào các dịch vụ đám mây tốn kém.

Về mặt phần cứng, AI HAT+ 2 sử dụng bộ tăng tốc mạng thần kinh Hailo-10H mới cho hiệu năng suy luận đạt tới 40 TOPS ở chuẩn INT4. Điểm nâng cấp đáng chú ý nhất so với thế hệ trước chính là việc tích hợp sẵn 8GB bộ nhớ trong chuyên dụng. Dung lượng bộ nhớ này giúp bộ tăng tốc xử lý các mô hình có kích thước lớn hơn một cách trơn tru, mở rộng đáng kể phạm vi ứng dụng thực tế.

Nhờ những cải tiến đó, AI HAT+ 2 không chỉ vận hành mượt mà các mô hình LLM mà còn duy trì hiệu năng ngang bằng phiên bản 26 TOPS trước đây trong các tác vụ thị giác máy tính quen thuộc như YOLO. Bo mạch cũng tương thích hoàn toàn với các hệ sinh thái phần mềm camera hiện có, bao gồm libcamera, giúp việc triển khai trở nên đơn giản và liền mạch.

Ở khía cạnh phần mềm, ngay từ khi ra mắt, AI HAT+ 2 đã hỗ trợ nhiều mô hình mã nguồn mở phổ biến như DeepSeek-R1-Distill (1.5B), Llama 3.2 (1B) và các phiên bản Qwen2.5 dành cho lập trình và hướng dẫn. Khi kết hợp hệ thống backend Hailo-ollama với giao diện Open WebUI, người dùng có thể trải nghiệm tương tác dạng hội thoại trực tiếp trên trình duyệt, tương tự như ChatGPT.

Theo các bản trình diễn chính thức, AI HAT+ 2 có thể thực hiện mượt mà nhiều tác vụ đa dạng như viết mã, dịch tiếng Pháp sang tiếng Anh hay mô tả hình ảnh từ camera theo thời gian thực, tất cả đều diễn ra trong môi trường hoàn toàn ngoại tuyến. Điều này cho thấy tham vọng rõ ràng của Raspberry Pi trong việc đưa AI tạo sinh đến gần hơn với cộng đồng nhà phát triển và người dùng phổ thông, ngay trên những thiết bị nhỏ gọn và tiết kiệm chi phí.

Tùng Dương