Delos Data muốn rút ngắn đường đua cho startup chip AI bằng nền tảng máy chủ mô-đun quy mô rack

Trong cuộc đua phần cứng AI, các công ty khởi nghiệp từ lâu đã phải vật lộn với hai đối thủ khổng lồ là Nvidia và AMD ở khâu thiết kế chip. Nhưng đến năm 2026, thách thức đã lớn hơn nhiều: muốn cạnh tranh thực sự, họ không chỉ cần bộ tăng tốc AI mạnh mà còn phải xây dựng được cả hệ thống quy mô rack. “Rack-scale” là cách thiết kế trong đó cả một tủ máy chủ hoạt động gần như một siêu bộ xử lý thống nhất, kết nối hàng chục bộ tăng tốc với nhau bằng mạng nội bộ siêu tốc. Điều đó kéo theo hàng loạt bài toán cơ khí, tản nhiệt, cấp nguồn và đặc biệt là kết nối mạng mật độ cực cao.

Tại Computex 2026, Delos Data, một startup được hậu thuẫn bởi các cựu lãnh đạo từ Intel và Barefoot Networks, đã giới thiệu nền tảng máy chủ mô-đun nhằm giúp các công ty chip AI rút ngắn thời gian đi đến quy mô rack. Thay vì buộc startup phải tự phát triển toàn bộ khung máy, hệ thống điện, làm mát và liên kết nội bộ như Nvidia NVL hay AMD Helios, Delos cung cấp một thiết kế tham chiếu có thể dùng như nền móng sẵn có. Nói ngắn gọn, đây là bộ khung để các hãng tập trung vào con chip của mình thay vì phải tự phát minh lại cả trung tâm dữ liệu.

Theo Delos, một trong những rào cản lớn nhất khi chuyển sang kiến trúc rack-scale là lượng cổng mạng cần triển khai ngay trong từng hệ thống. Với một nút HGX 8 GPU điển hình, mỗi GPU chỉ cần một hoặc hai cổng kết nối. Nhưng với hệ thống GB300 NVL72 của Nvidia, mỗi GPU cần tới 18 cổng 400 Gbps. Gbps, hay gigabit mỗi giây, là đơn vị đo băng thông truyền dữ liệu. Con số này cho thấy khi mở rộng AI ở cấp độ rack, mạng không còn là thành phần phụ trợ mà trở thành xương sống quyết định hiệu năng.

Khác với các rack tùy biến sâu của Nvidia và AMD vốn tích hợp sẵn backplane, cấp điện và làm mát, Delos chọn cách tiếp cận đơn giản và linh hoạt hơn. Hệ thống của hãng, ít nhất ở mặt trước, trông giống một thiết bị chuyển mạch mạng hơn là máy chủ GPU. Thiết kế tham chiếu này có 36 cổng OSFP, chia thành 9 cổng cho mỗi trong số 4 socket OAM ở trung tâm hệ thống. OSFP là chuẩn module quang/cáp tốc độ cao thường dùng trong mạng datacenter; lợi thế của nó là hỗ trợ các đầu nối tiêu chuẩn và dễ thay thế. OAM, viết tắt của Open Accelerator Module, là chuẩn socket mở dành cho bộ tăng tốc hiệu năng cao, cung cấp nhiều băng thông liên kết và công suất điện hơn so với card PCIe thông thường.

Nếu dùng SerDes 200 Gbps, tức mạch truyền nhận nối tiếp tốc độ cao giúp đẩy dữ liệu qua các liên kết vật lý, mỗi chip trong hệ thống Delos có thể đạt 3,6 TB/s băng thông liên kết. TB/s là terabyte mỗi giây, thước đo khổng lồ cho lượng dữ liệu có thể trao đổi giữa các bộ tăng tốc. Theo Delos, mức này tương đương băng thông liên kết trên GPU Rubin mới của Nvidia. Việc dùng OSFP cũng cho phép khách hàng linh hoạt chọn cáp đồng DAC, tức Direct Attach Cable, hoặc module thu phát cắm rời để truyền tín hiệu quang, tùy quy mô cụm máy muốn xây dựng.

Một lợi thế đáng chú ý trong thiết kế của Delos là các cổng OSFP không bị trói buộc vào riêng Ethernet. Dù OSFP thường gắn với mạng Ethernet, hệ thống này có thể mang nhiều giao thức khác nhau như UALink, Ultra Ethernet, PCIe hoặc các chuẩn liên kết khác. Ultra Ethernet là nỗ lực xây dựng Ethernet tối ưu hơn cho tải AI và HPC, còn PCIe là giao tiếp tiêu chuẩn lâu đời để kết nối CPU với GPU, SSD và nhiều thiết bị tăng tốc khác. Cách tiếp cận này giúp startup chip AI có thể chọn loại mạng phù hợp với phần cứng và phần mềm của mình, thay vì phải đi theo một hệ sinh thái đóng.

Theo Giám đốc công nghệ Dan Daly, thiết kế mô-đun của Delos cho phép doanh nghiệp xây dựng miền “scale-up” rất linh hoạt. Scale-up là cách mở rộng bằng cách tăng số bộ tăng tốc gắn kết chặt chẽ trong cùng một miền tính toán, nơi các chip giao tiếp với nhau ở độ trễ thấp. Tùy số lượng cáp và loại switch sử dụng, khách hàng có thể tạo hệ thống nhỏ chỉ gồm một cụm, hoặc mở rộng lên quy mô hàng trăm chip. Delos cho biết nếu dùng switch gói tin thương mại từ Broadcom hoặc Marvell, hệ thống có thể hỗ trợ từ 512 đến 1.024 bộ tăng tốc trong một lớp fabric. Fabric là lớp kết nối mạng tốc độ cao liên kết nhiều thiết bị thành một miền truyền thông thống nhất.

Không dừng ở đó, Delos nói rằng khi kết hợp fabric nhiều lớp, OCS và các topo như lưới 2D hoặc 3D torus, miền tính toán còn có thể mở rộng hơn nữa. OCS, hay Optical Circuit Switch, là chuyển mạch mạch quang, công nghệ cho phép tạo các đường kết nối quang trực tiếp giữa các điểm để giảm độ trễ và tăng hiệu quả cho một số kiểu tải công việc. Trong khi đó, torus 2D/3D là kiểu topo mạng trong đó các nút được nối thành lưới có vòng khép kín, giúp dữ liệu có nhiều đường đi thay thế. Đây là những khái niệm vốn quen thuộc trong siêu máy tính, nhưng nay đang dần trở thành nền tảng cho hạ tầng AI thế hệ mới.

Sự linh hoạt của OSFP cũng đi kèm một đánh đổi rõ rệt: tiêu thụ điện. Khi hệ thống mở rộng lớn và cần nhiều kết nối quang cắm rời, tổng điện năng dành cho phần truyền dẫn có thể tăng mạnh. Đây cũng là một trong những lý do Nvidia chưa chuyển hoàn toàn sang mô hình scale-up quang học. Cáp đồng tuy bị giới hạn về khoảng cách truyền, nhưng lại tiêu thụ điện thấp hơn đáng kể. Trong bối cảnh trung tâm dữ liệu AI đang chịu áp lực lớn về công suất điện và làm mát, bài toán năng lượng của liên kết quang là yếu tố không thể xem nhẹ.

CEO Ed Doe cho biết công ty đang nghiên cứu các phiên bản hệ thống dùng near-package optics hoặc co-packaged optics thay cho OSFP truyền thống. Near-package optics là cách đặt phần quang học rất gần gói chip xử lý, còn co-packaged optics tiến thêm một bước khi tích hợp phần quang học sát hoặc cùng gói với chip chuyển mạch hay bộ xử lý. Mục tiêu là giảm suy hao tín hiệu, tiết kiệm điện và tăng mật độ kết nối. Các kết nối này có thể đi ra ngoài qua đầu nối kiểu MPO, một chuẩn đầu nối sợi quang nhiều lõi thường dùng trong hạ tầng mạng mật độ cao.

Điểm đáng chú ý là Delos không chỉ bán một bộ khung phần cứng. Công ty còn phát triển nền tảng phần mềm điều phối để cấu hình và giám sát các fabric hoặc mesh chuyển mạch. Mesh là mô hình mạng trong đó nhiều nút có thể kết nối theo nhiều hướng, tạo ra các đường đi dự phòng. Trong môi trường AI quy mô lớn, topo vật lý, tức cách dây cáp được đấu nối thật, và topo logic, tức cách lưu lượng thực sự được định tuyến giữa các thiết bị, có thể rất khác nhau tùy ứng dụng. Vì vậy, phần mềm điều phối đóng vai trò cực kỳ quan trọng.

Tại Computex, Delos trình diễn nền tảng mang tên Nonstop AI network, cho phép người xem rút ngẫu nhiên các liên kết mạng và quan sát hệ thống tự động phản ứng, định tuyến lại lưu lượng và duy trì hoạt động. Khả năng này đặc biệt quan trọng trong các cụm AI lớn, nơi chỉ một liên kết lỗi cũng có thể làm giảm hiệu suất huấn luyện hoặc khiến cả tác vụ bị gián đoạn. Về bản chất, đây là lớp tự động hóa giúp mạng AI có tính đàn hồi cao hơn, tương tự cách các hyperscaler vận hành hạ tầng đám mây ở quy mô cực lớn.

Delos cho biết họ còn đang chuẩn bị thêm nhiều sản phẩm khác, dù chưa công bố chi tiết. Một hướng đi được giới quan sát đánh giá là hợp lý sẽ là phát triển switch số cổng lớn, hay high-radix switch, dựa trên merchant silicon. High-radix switch là thiết bị chuyển mạch có rất nhiều cổng, phù hợp cho các mạng AI cần kết nối dày đặc. Merchant silicon là chip mạng thương mại có sẵn từ các nhà cung cấp lớn, giúp rút ngắn thời gian phát triển và giảm chi phí so với tự thiết kế ASIC riêng. Nếu Delos đi theo hướng này, hãng có thể hoàn thiện một hệ sinh thái từ khung máy, kết nối đến phần mềm điều phối cho startup chip AI.

Trong bối cảnh thị trường AI ngày càng nghiêng về các hệ thống tích hợp trọn gói, rào cản gia nhập với startup bán dẫn đang tăng nhanh. Delos Data đang cố gắng biến phần khó nhất của bài toán, tức đưa chip từ bo mạch đơn lẻ lên quy mô rack hoàn chỉnh, thành một dịch vụ nền tảng có thể tái sử dụng. Nếu thành công, công ty này có thể giúp nhiều nhà phát triển bộ tăng tốc AI mới bước vào thị trường nhanh hơn, với ít vốn hơn và không phải tự mình giải quyết toàn bộ mê cung về cơ khí, mạng, điện và quang học.