CrankGPT: Hộp AI quay tay biến câu trả lời thành… bài tập thể lực

Giữa lúc nhiều người ngày càng lo ngại các mô hình AI đang chạy trong những trung tâm dữ liệu khổng lồ tiêu tốn điện năng và nước làm mát, hai nhà phát triển Katrin Tomanek và Alex Kauffmann đã đưa ra một màn trình diễn khác thường: CrankGPT, một thiết bị AI chạy bằng tay quay. Thay vì phụ thuộc vào đám mây hay hạ tầng hyperscaler — thuật ngữ chỉ các nhà cung cấp trung tâm dữ liệu siêu quy mô như Google, Microsoft hay Amazon — cỗ máy này buộc người dùng phải tự tạo điện để duy trì cuộc hội thoại với AI.

CrankGPT là một hộp AI tích hợp tác nhân giọng nói, tức hệ thống có thể nghe câu hỏi bằng lời nói, xử lý nội dung và phản hồi lại bằng âm thanh. Thiết bị còn có khả năng dịch ngôn ngữ theo thời gian thực. Tuy nhiên, để nó hoạt động, người dùng phải liên tục quay tay phát điện. Một bảng tụ điện tùy chỉnh được gắn bên trong để tích trữ năng lượng tạm thời; tụ điện là linh kiện có thể lưu trữ điện trong thời gian ngắn, nhưng ở đây chỉ đủ cho khoảng 20 giây vận hành mà không cần quay tiếp. Theo nhóm phát triển, từ lúc bắt đầu quay đến khi có thể trò chuyện với máy mất khoảng 30 giây.

Theo Kauffmann, CrankGPT không chỉ là trò vui. Nó là cách minh họa cho triết lý của startup Squeez: xây dựng các mô hình AI chuyên biệt, gọn nhẹ, riêng tư và có thể chạy cục bộ trên phần cứng rẻ tiền. Chạy cục bộ, hay local AI, nghĩa là mô hình xử lý trực tiếp trên thiết bị thay vì gửi dữ liệu lên máy chủ từ xa. Cách tiếp cận này giúp giảm chi phí tính toán, tăng quyền riêng tư và vẫn đáp ứng tốt các tác vụ hẹp như nhận diện giọng nói có giọng địa phương nặng, hỗ trợ người nói khó, hay làm chuyên gia cho những chủ đề cụ thể như làm vườn hoặc sửa xe.

Phần cứng của CrankGPT khá khiêm tốn nhưng được tối ưu kỹ. Trung tâm của hệ thống là Raspberry Pi 5, một máy tính đơn bảng (SBC, viết tắt của single-board computer) cỡ nhỏ, giá rẻ, thường được dùng cho các dự án nhúng và DIY. Máy dùng phiên bản 8 GB RAM, đi kèm quạt tản nhiệt qua một bo mạch HAT — phụ kiện gắn mở rộng dành riêng cho Raspberry Pi. Âm thanh đầu vào và đầu ra cũng được xử lý qua một HAT I/O chuyên cho trợ lý giọng nói. Nguồn điện đến từ tay quay phát điện 20W, loại sạc khẩn cấp USB bán sẵn trên thị trường, kết hợp với bộ tụ điện do nhóm tự thiết kế.

Một điểm thú vị của CrankGPT là người dùng có thể “cảm” được lúc AI đang xử lý. Kauffmann cho biết lực cản của tay quay thay đổi theo khối lượng công việc tính toán. Khi bo mạch đang thực hiện suy luận, hay inference — quá trình mô hình AI tạo ra câu trả lời từ dữ liệu đầu vào — tay quay sẽ nặng hơn rõ rệt so với lúc máy đang chờ lệnh. Nói cách khác, thay vì chỉ nhìn thanh tiến trình trên màn hình, người dùng cảm nhận trực tiếp chi phí tính toán bằng cơ bắp.

Về phần mềm, thiết bị chạy một bản DietPi được lược giản tối đa. DietPi là hệ điều hành nhẹ dựa trên Linux, tối ưu cho các máy tính nhỏ như Raspberry Pi, giúp hệ thống khởi động nhanh và tiết kiệm tài nguyên. Nhóm phát triển cho biết bản dựng này có thể vào môi trường người dùng chức năng chỉ trong khoảng 3 giây. Tác nhân giọng nói trên máy được viết mới hoàn toàn từ đầu và đã được đưa lên GitHub để cộng đồng thử nghiệm.

Khâu nhận diện giọng nói do Moonshine đảm nhiệm, một công cụ ASR (automatic speech recognition, tức nhận dạng giọng nói tự động) được chọn vì tốc độ cao. Phần chuyển văn bản thành giọng nói sử dụng Piper, hệ thống text-to-speech nổi bật nhờ khả năng chạy hiệu quả ở biên, hay edge inference — thuật ngữ chỉ việc suy luận AI trực tiếp trên thiết bị đầu cuối thay vì trong đám mây. Về mô hình ngôn ngữ, CrankGPT dùng Liquid LFM2 1.2B cho vai trò trợ lý hội thoại đa dụng và Gemma 3 1B cho tác vụ dịch. Con số 1.2B hay 1B ở đây chỉ số lượng tham số của mô hình, tức quy mô các trọng số học được; mô hình càng lớn thường càng mạnh nhưng cũng càng tốn tài nguyên.

Thiết bị có một núm xoay bên hông để chuyển giữa các chế độ như dịch thuật, hỏi đáp chung hoặc các trò chơi lời nói kiểu “hai thật một giả”. Nhóm phát triển nói hệ thống rất linh hoạt, nhờ được bổ sung thêm nút bấm và công tắc vật lý để thử nghiệm nhiều kiểu tương tác. Đáng chú ý, chức năng dịch hoạt động tốt ngay cả khi không tinh chỉnh thêm mô hình. Fine-tuning, hay tinh chỉnh, là quá trình huấn luyện bổ sung để mô hình thích nghi tốt hơn với một nhiệm vụ cụ thể. Theo Kauffmann, ở đây chỉ cần một lời nhắc ngắn là đã cho kết quả tốt với nhiều ngôn ngữ phổ biến. Ngoài âm thanh, cùng cấu hình này còn có thể tạo ảnh nhỏ, làm thơ và viết mã, dù tốc độ phản hồi sẽ phụ thuộc vào thời gian người dùng sẵn sàng quay tay.

Dù trang web của CrankGPT mang màu sắc hài hước, Squeez không có kế hoạch biến ý tưởng này thành một hệ thống AI thương mại vận hành bằng lớp đạp xe tập thể. Kauffmann thừa nhận các máy phát điện gắn xe đạp bán sẵn khá đắt và khó triển khai, nhưng cũng đùa rằng một người đạp khỏe có thể duy trì công suất khoảng 120W, và một lớp 20 người thậm chí có thể đủ sức cấp điện cho Blackwell — nền tảng GPU AI thế hệ mới của Nvidia, vốn nổi tiếng với hiệu năng cực cao và mức tiêu thụ điện cũng không hề nhỏ.

Nhóm phát triển cho biết sẽ sớm công bố đầy đủ sơ đồ và bản thiết kế để cộng đồng có thể tự dựng CrankGPT. Phần khó nhất không nằm ở phần mềm mà ở nguồn điện: các SBC như Raspberry Pi đôi khi hút dòng đủ lớn để kích hoạt cơ chế bảo vệ quá dòng của máy phát nhỏ. Chi phí lắp máy hiện được ước tính khoảng 300 USD, tăng mạnh so với 150 USD của năm trước do giá RAM leo thang. Dù vậy, nếu dự án được mở hoàn toàn, CrankGPT có thể trở thành biểu tượng thú vị cho làn sóng micro LLM — các mô hình ngôn ngữ cỡ nhỏ — đang nổi lên như một giải pháp AI tiết kiệm, riêng tư và bền vững hơn.