Startup chip AI Hàn Quốc Rebellions tăng tốc ra toàn cầu với hệ thống rack-scale, gọi thêm 400 triệu USD trước IPO

Trong khi Nvidia và AMD vẫn thống trị hạ tầng AI toàn cầu, Rebellions – một startup chip AI đến từ Hàn Quốc, thành lập cuối năm 2020 – đang tìm cách chen chân vào thị trường quốc tế bằng chiến lược khá thực dụng: mang những gì đã triển khai thành công trong nước ra nhân rộng ở nước ngoài. Công ty cho biết các bộ tăng tốc AI của họ đã được dùng trong nhiều kịch bản thực tế tại Hàn Quốc, từ tổng đài chăm sóc khách hàng, trung tâm dịch vụ đến hệ thống giám sát CCTV cho mạng lưới cao tốc quốc gia. Theo lãnh đạo kinh doanh Marshall Choy, đây không phải một màn “khởi động lại từ đầu”, mà là quá trình lặp lại một công thức đã được kiểm chứng.

Sau khi giới thiệu dòng tăng tốc Rebel Quad, nay được đổi tên thành Rebel100, Rebellions đã nhanh chóng mở văn phòng tại Nhật Bản, Saudi Arabia, Đài Loan và Mỹ. Mục tiêu tiếp theo là thuyết phục doanh nghiệp triển khai các hệ thống mới mang tên RebelRack và RebelPod. Đây là các nền tảng “rack-scale”, tức thiết kế tính toán ở cấp độ cả tủ máy chủ thay vì chỉ một máy đơn lẻ, nhằm tối ưu hiệu năng, mật độ xử lý và khả năng mở rộng cho AI. Điểm đáng chú ý là Rebellions nhắm đến những trung tâm dữ liệu doanh nghiệp hiện có, thay vì yêu cầu khách hàng phải xây mới hạ tầng quá đặc thù.

Ở cấp độ con chip, Rebel100 được mô tả có nhiều nét tương đồng với Nvidia H200, một GPU tăng tốc AI cao cấp ra mắt cuối năm 2023. Rebellions cho biết chip này đạt khoảng 1 petaFLOP ở phép toán FP16 dày đặc và gấp đôi ở FP8. PetaFLOP là đơn vị đo năng lực tính toán ở mức một triệu tỷ phép tính dấu phẩy động mỗi giây, còn FP16 và FP8 là các định dạng số dấu phẩy động 16-bit và 8-bit, thường dùng trong huấn luyện hoặc suy luận AI để cân bằng giữa tốc độ và độ chính xác. Khác với thiết kế “monolithic” – tức một khuôn chip lớn duy nhất – của H200 do TSMC sản xuất, Rebel100 dùng kiến trúc “chiplet”, nghĩa là chia bộ xử lý thành nhiều khuôn nhỏ hơn, ở đây là bốn die tính toán do Samsung chế tạo và đóng gói. Cách tiếp cận này thường giúp cải thiện tỷ lệ thành phẩm và giảm phụ thuộc vào năng lực sản xuất đang rất khan hiếm của TSMC.

Một trong những thành phần quan trọng nhất của chip AI hiện đại là HBM3e, viết tắt của High Bandwidth Memory thế hệ mới – loại bộ nhớ băng thông cực cao được xếp chồng theo chiều dọc để phục vụ các tác vụ AI ngốn dữ liệu. Rebel100 sử dụng bốn stack HBM3e, đạt tổng dung lượng 144 GB và băng thông bộ nhớ cộng gộp 4,8 TB/giây. Trong bối cảnh HBM toàn cầu đang thiếu hụt nghiêm trọng, việc Rebellions là công ty Hàn Quốc có quan hệ gần với Samsung và hệ sinh thái SK trở thành lợi thế không nhỏ. Samsung và SK Hynix hiện là hai nhà cung cấp HBM lớn nhất thế giới, giúp Rebellions có vị thế tốt hơn trong cuộc đua giành nguồn cung bộ nhớ vốn đang rất căng thẳng.

Thay vì đóng gói chip theo các mô-đun quen thuộc như OAM hay SXM – vốn thường thấy trong các hệ thống AI hiệu năng cao – Rebellions hiện đưa Rebel100 lên card PCIe với mức TDP 600 W. TDP, hay Thermal Design Power, là mức công suất nhiệt mà hệ thống làm mát cần xử lý khi chip hoạt động. Thiết kế tham chiếu của công ty đặt tám card trong một node làm mát bằng không khí. Đây là lựa chọn rất đáng chú ý, bởi nhiều hệ thống AI thế hệ mới đang chuyển sang làm mát chất lỏng do mật độ điện năng quá cao. Rebellions lại đi theo hướng dùng chassis tiêu chuẩn 19 inch và làm mát gió hiệu suất cao, qua đó cho phép doanh nghiệp triển khai vào trung tâm dữ liệu sẵn có mà không phải cải tạo quá sâu, trái ngược với một số cụm GPU mới cần hạ tầng chất lỏng chuyên biệt.

Phù hợp cho các thiết bị tính toán biên (Edge Computing) như: Máy tính công nghiệp, Vision AI, Máy quét mã vạch AI, ESL

Một hệ thống RebelRack sẽ gồm bốn node như trên, kết nối với nhau bằng mạng quad-400 Gbps, tức bốn liên kết mạng tốc độ 400 gigabit/giây. Tổng cộng, hệ thống mang lại 32 bộ tăng tốc, 64 petaFLOPS hiệu năng FP8, 4,6 TB HBM3e và băng thông bộ nhớ tổng 153,6 TB/giây. Với các triển khai lớn hơn, Rebellions phát triển RebelPod có thể mở rộng từ 8 đến 128 node, mỗi node chứa 8 chip Rebel100 và liên kết bằng Ethernet 800 Gbps. Theo công ty, thị trường sắp chuyển từ tư duy tối ưu ở cấp độ một rack sang cấp độ cả một hàng rack, thậm chí toàn trung tâm dữ liệu. Dù vậy, xét theo chuẩn các hệ thống GPU hiện nay, mật độ kết nối mạng của Rebellions vẫn còn khá khiêm tốn, và chính công ty cũng thừa nhận “network fabric” – tức lớp hạ tầng mạng nội bộ kết nối các bộ tăng tốc và máy chủ thành một cụm thống nhất – sẽ là trọng tâm phát triển tiếp theo.

Trong AI hiện đại, phần cứng mạnh là chưa đủ; hệ thống còn cần một ngăn xếp phần mềm đủ hoàn chỉnh để gắn kết tài nguyên tính toán, bộ nhớ và mạng. Rebellions cho biết nền tảng của họ dựa trên các công nghệ mã nguồn mở quen thuộc như PyTorch, vLLM và Triton. PyTorch là framework học máy phổ biến cho phát triển và chạy mô hình AI; vLLM là công cụ tối ưu suy luận cho mô hình ngôn ngữ lớn; còn Triton thường được dùng để viết và tối ưu kernel tính toán hiệu năng cao cho GPU hoặc bộ tăng tốc. Với suy luận phân tách tài nguyên, công ty sử dụng llm-d, một framework mã nguồn mở cho phép tách phần “prefill” – giai đoạn nạp và xử lý ngữ cảnh ban đầu, thiên về sức mạnh tính toán – sang một nhóm chip, còn phần “decode” – giai đoạn sinh từng token đầu ra, thường phụ thuộc nhiều vào băng thông bộ nhớ – sang nhóm chip khác. Rebellions cũng nhấn mạnh khả năng tương thích với Red Hat và OpenShift, nền tảng Kubernetes cho doanh nghiệp, nhằm tạo cảm giác quen thuộc cho đội ngũ vận hành CNTT.

Để hỗ trợ tham vọng mở rộng sang phương Tây và tiếp tục phát triển các bộ tăng tốc AI hiệu quả hơn, Rebellions vừa huy động được 400 triệu USD trong vòng gọi vốn tiền IPO, tức vòng đầu tư diễn ra trước khi công ty niêm yết công khai trên sàn chứng khoán. Dẫn đầu vòng này là Mirae Asset Financial Group và Korea National Growth Fund. Theo các báo cáo gần đây, Rebellions có thể nộp hồ sơ IPO ngay trong năm nay hoặc đầu năm sau. Trong bối cảnh thị trường chip AI ngày càng khốc liệt, khoản vốn mới không chỉ giúp công ty tăng hiện diện quốc tế mà còn cho thấy nhà đầu tư vẫn sẵn sàng đặt cược vào những đối thủ nhỏ hơn của Nvidia, miễn là họ có sản phẩm đủ khác biệt và một chiến lược triển khai thực tế.