Startup mạng AI tăng tốc thách thức NVLink của Nvidia bằng các chuẩn mở và phần cứng mới

Khi Nvidia tiếp tục mở rộng ảnh hưởng với NVLink Fusion, một công nghệ kết nối tốc độ cao giúp nhiều GPU hoạt động gần như một bộ tăng tốc duy nhất, các đối thủ trên thị trường mạng AI đang gấp rút đưa ra lựa chọn thay thế. Tại AI Infra Summit tuần này, Cornelis Networks và Delos Data đã chính thức bước vào cuộc đua xây dựng hạ tầng “scale-up networking” — tức mạng kết nối bên trong các cụm tăng tốc nhỏ, nơi hàng chục đến hàng trăm GPU phải phối hợp cực kỳ chặt chẽ để huấn luyện và suy luận mô hình AI. Đây là lớp công nghệ đã giúp Nvidia ghép 8, 72, thậm chí 576 GPU thành một hệ thống tính toán khổng lồ.

Khác với “scale-out”, mô hình mở rộng bằng cách thêm nhiều máy chủ hoặc nhiều cụm độc lập, “scale-up” tập trung tăng quy mô bên trong một miền tính toán thống nhất để các bộ xử lý trao đổi dữ liệu với độ trễ rất thấp. Trong AI hiện đại, điều này đặc biệt quan trọng vì GPU thường không bị giới hạn bởi khả năng tính toán thuần túy mà bởi tốc độ truyền dữ liệu giữa các chip. Nếu liên kết đủ nhanh, nhiều GPU có thể chia sẻ tham số, bộ nhớ đệm và khối lượng công việc như thể chúng là một siêu bộ xử lý duy nhất. Đó chính là lợi thế cốt lõi mà NVLink và NVSwitch của Nvidia đã mang lại trong nhiều năm qua.

Hiện nay, một số giao thức mới như UALink, viết tắt của Ultra Accelerator Link — chuẩn kết nối mở hướng đến liên kết bộ tăng tốc AI — vẫn chủ yếu được “đường hầm hóa” qua các switch Ethernet tiêu chuẩn. Nói đơn giản, dữ liệu AI vẫn đi qua hạ tầng mạng quen thuộc, nhưng được đóng gói theo cách để phục vụ các tác vụ tăng tốc chuyên biệt. Ví dụ, AMD đang dùng switch Ethernet Tomahawk 6 của Broadcom với băng thông 102,4 Tbps để kết nối tới các khối I/O tùy biến trên dòng tăng tốc MI455X. Tuy nhiên, thị trường vẫn thiếu các switch UALink và kết nối vật lý được thiết kế riêng cho AI, và đây chính là khoảng trống mà Cornelis cùng Delos muốn lấp đầy.

Cornelis Networks, công ty tách ra từ Intel vào năm 2020, đã giới thiệu Active Compute Fabric, hay ACF. Đây là một kiến trúc mở nhằm kết hợp năng lực tính toán lập trình được ngay bên trong mạng. Khái niệm này có thể gây khó hiểu, nhưng ý tưởng khá rõ ràng: thay vì chỉ để switch làm nhiệm vụ chuyển tiếp dữ liệu, một phần xử lý có thể diễn ra ngay trong hạ tầng mạng để giảm tải cho GPU và cắt bớt thời gian chờ. Cornelis vốn nổi lên từ Omni-Path, công nghệ liên kết dành cho HPC — tức điện toán hiệu năng cao, lĩnh vực chuyên vận hành siêu máy tính và các tác vụ mô phỏng quy mô lớn.

Điểm nhấn của ACF là “in-network compute”, nghĩa là tính toán ngay trong mạng. Công nghệ nền tảng tương tự từng xuất hiện trong SHARP, một cơ chế cho phép switch ASIC — chip chuyên dụng bên trong switch — xử lý các phép toán tập thể như cộng gộp dữ liệu từ nhiều GPU. Những tác vụ này thường xuất hiện trong huấn luyện AI phân tán. Khi chuyển bớt việc đó sang switch, GPU có thể tập trung hơn vào suy luận hoặc huấn luyện thay vì chờ đồng bộ dữ liệu. Theo Cornelis, ACF không chỉ nhắm tới tăng tốc collectives mà còn muốn tạo ra một chuẩn tối thiểu chung để phần cứng từ nhiều nhà cung cấp có thể hỗ trợ các năng lực tương tự.

Cornelis cho rằng mạng AI tương lai có thể xử lý nhiều việc hơn là chỉ chuyển gói tin. Công ty nêu ra một số ví dụ như offload KV cache — tức đưa việc lưu và truy xuất bộ nhớ khóa-giá trị của mô hình ngôn ngữ ra khỏi GPU để tối ưu tài nguyên; điều phối chuyên gia trong MoE, viết tắt của mixture-of-experts, một kiểu mô hình chỉ kích hoạt một phần nhỏ mạng nơ-ron cho mỗi yêu cầu nhằm tiết kiệm chi phí tính toán; offload MPI, tức Message Passing Interface, chuẩn giao tiếp phổ biến trong HPC; và checkpointing ngay trong fabric, nghĩa là lưu trạng thái huấn luyện ở lớp mạng để khôi phục nhanh khi có lỗi. Đây đều là các khái niệm khá kỹ thuật, nhưng tựu trung đều nhắm tới một mục tiêu: giảm thời gian GPU phải ngồi chờ dữ liệu.

Cornelis đưa ra nhận định rằng trong một hệ thống 100.000 GPU, gần một nửa tổng số giờ hoạt động có thể đang bị lãng phí chỉ vì chờ dữ liệu và đồng bộ hóa. Công ty ước tính điều đó tương đương 1,68 tỷ USD giá trị năng lực tính toán bị bỏ phí mỗi năm cùng 500 GWh điện năng. Dù đây là mô hình hóa từ dữ liệu công khai và cần được nhìn nhận thận trọng, thông điệp rất rõ: nếu giảm được độ trễ giao tiếp và các điểm nghẽn đồng bộ, các trung tâm dữ liệu AI có thể tiết kiệm chi phí cực lớn. Vấn đề là loại bỏ toàn bộ nút thắt trong thực tế phức tạp hơn rất nhiều so với các con số lý thuyết.

Trong khi Cornelis tập trung vào kiến trúc và chuẩn hóa, Delos Data — startup do các cựu lãnh đạo Barefoot Networks và Intel sáng lập — lại nhắm vào lớp phần cứng vật lý. Dưới thương hiệu Nonstop AI, công ty đang phát triển loạt thiết kế tham chiếu cho giao tiếp dữ liệu, từ kết nối đồng đóng gói với chip đến các card mạng truyền thống. “Thiết kế tham chiếu” ở đây có thể hiểu là bộ khung kỹ thuật sẵn có để khách hàng hoặc nhà sản xuất chip rút ngắn thời gian phát triển sản phẩm. Mục tiêu của Delos là giúp dữ liệu di chuyển nhanh hơn giữa các điểm cuối và mở rộng miền tính toán AI vượt ra ngoài phạm vi một rack máy chủ.

Sản phẩm đáng chú ý nhất của Delos là một I/O die — chiplet chuyên xử lý vào/ra dữ liệu — với băng thông tổng vượt 30 Tbps, tương đương khoảng 8 TB/s theo hai chiều. Con số này cao hơn đáng kể so với mức khoảng 3,6 TB/s trên các bộ tăng tốc mới nhất của Nvidia và AMD. Tuy nhiên, lợi thế trên giấy chỉ thực sự có ý nghĩa nếu chiplet này được triển khai thương mại sớm và tích hợp thành công vào gói đóng chip của bộ tăng tốc. Việc này đòi hỏi mức đồng thiết kế rất cao giữa nhà cung cấp I/O và nhà thiết kế chip AI, nên thời gian ra thị trường sẽ là yếu tố quyết định.

Một điểm Delos muốn nhấn mạnh là tính “protocol agnostic”, tức không phụ thuộc vào một giao thức kết nối duy nhất. Theo cách tiếp cận này, chiplet của Delos có thể hoạt động với UALink, ESUN hoặc các giao thức khác, thay vì buộc khách hàng phải đi theo một hệ sinh thái khép kín. Đây là khác biệt quan trọng so với cách Nvidia đang mở rộng NVLink Fusion, nơi khách hàng vẫn phải phụ thuộc đáng kể vào NVSwitch và tài sản trí tuệ đi kèm. Với Delos, các nhà thiết kế chip — đặc biệt là hyperscaler, tức các tập đoàn vận hành hạ tầng đám mây siêu quy mô — có thể cấp phép thiết kế chiplet và tập trung nguồn lực vào phần xử lý AI cốt lõi.

Delos cũng phát triển công nghệ NPO, viết tắt của near-packaged optics, tức quang học đặt gần gói chip thay vì tích hợp trực tiếp vào bộ tăng tốc. Công nghệ này kết hợp giao tiếp dữ liệu hơn 10 Tbps với các động cơ quang học từ nhà cung cấp chuyên dụng. Trong các hệ thống AI hiện nay, kết nối đồng vẫn phổ biến trong phạm vi một rack vì tiêu thụ điện thấp hơn và triển khai đơn giản hơn. Nhưng khi quy mô tăng từ 72 GPU mỗi rack lên các cụm theo hàng với 576 hoặc 1.152 GPU, kết nối quang gần như trở thành bắt buộc để duy trì băng thông và khoảng cách truyền. NPO được xem là giải pháp dung hòa: dùng đồng trong rack, dùng quang giữa các rack, đồng thời giữ mô-đun quang ở dạng có thể thay thế để giảm rủi ro khi hỏng hóc.

Ngoài chiplet và quang học, Delos còn phát triển NIC trên 400 Gbps. NIC, hay network interface card, là card giao tiếp mạng kết nối máy chủ hoặc bộ tăng tốc với hạ tầng chuyển mạch. Dù đây là hạng mục ít gây bất ngờ nhất, nó vẫn rất quan trọng vì các cụm huấn luyện lớn luôn cần mạng scale-out cho truy cập phía trước, lưu trữ và kết nối giữa nhiều miền tính toán. Delos cho biết các giao tiếp phần cứng mới sẽ hoạt động cùng nền tảng phần mềm Nonstop AI để cấu hình, giám sát và điều phối các fabric hoặc mesh — tức các cấu trúc mạng liên kết dày đặc — cho phép định tuyến lại lưu lượng động khi một liên kết gặp sự cố. Dữ liệu telemetry, tức số liệu giám sát thời gian thực thu thập từ phần cứng, sẽ giúp phát hiện lỗi và phục hồi nhanh hơn.

Sự quan tâm của nhà đầu tư cho thấy thị trường đang rất khát những đối thủ đủ sức tạo cạnh tranh trong mảng kết nối AI quy mô lớn. Cùng với các công bố sản phẩm, Cornelis cho biết đã huy động khoảng 205 triệu USD để đưa thế hệ mạng scale-up và scale-out tiếp theo ra thị trường. Trong khi đó, Delos Data thông báo tổng vốn gọi được đã vượt 100 triệu USD, với sự hậu thuẫn từ các quỹ như Matrix, Playground và Socratic Partners. Dòng tiền này phản ánh một thực tế ngày càng rõ: khi AI bước sang giai đoạn triển khai ở quy mô trung tâm dữ liệu khổng lồ, cuộc chiến không còn chỉ là GPU nào mạnh hơn, mà còn là ai kiểm soát được mạng kết nối giữa chúng.