Ayar Labs bắt tay Wiwynn phát triển rack quang tử có thể gom 1.024 GPU vào một hệ thống AI khổng lồ

Ayar Labs, công ty khởi nghiệp chuyên về silicon photonics (quang tử tích hợp trên chip, dùng ánh sáng thay vì tín hiệu điện để truyền dữ liệu), vừa công bố hợp tác với đối tác ODM Wiwynn để xây dựng một nền tảng rack-scale tham chiếu có thể liên kết hơn 1.024 GPU trong cùng một hệ thống thống nhất. ODM là nhà sản xuất thiết kế gốc, tức doanh nghiệp chuyên thiết kế và chế tạo phần cứng cho các thương hiệu hoặc nhà vận hành trung tâm dữ liệu. Nếu các hệ thống 72 GPU của Nvidia hay AMD vốn đã được xem là rất lớn, tham vọng của Ayar Labs đang đẩy giới hạn này lên một nấc hoàn toàn mới.

Theo Ayar Labs, rào cản lớn nhất của các rack AI hiện đại là kết nối bằng đồng. Ở tốc độ cực cao, cáp đồng chỉ truyền hiệu quả trong khoảng cách ngắn trước khi tín hiệu suy hao, tức chất lượng tín hiệu giảm dần theo chiều dài dây dẫn. Điều này buộc GPU, CPU và switch phải bị nhồi vào cùng một rack. CPU là bộ xử lý trung tâm, còn switch là thiết bị chuyển mạch mạng dùng để điều phối luồng dữ liệu giữa các thành phần. Khi tất cả bị dồn vào một chỗ, mật độ điện năng và nhiệt tăng vọt, dẫn tới những rack công suất hàng trăm kilowatt ngày càng khó làm mát.

Thay vì tạo ra một siêu rack đơn lẻ ngốn trên 600 kW điện, thiết kế của Ayar Labs và Wiwynn được cho là chỉ tiêu thụ khoảng 100 đến 200 kW cho mỗi rack, tương đương mặt bằng các hệ thống rack đương đại. Để đạt mốc 1.024 accelerator, tức bộ tăng tốc xử lý như GPU hoặc XPU phục vụ AI và tính toán hiệu năng cao, hai công ty sẽ mở rộng bằng cách thêm nhiều rack. Đây là điều khó thực hiện với kiến trúc liên kết bằng đồng hiện nay. Nói cách khác, Ayar đang tìm cách biến nhiều rack vật lý thành một “máy chủ logic” khổng lồ hoạt động như một cụm thống nhất.

Công nghệ cốt lõi Ayar Labs theo đuổi là co-packaged optics, viết tắt CPO, tức quang học đồng đóng gói. Với cách tiếp cận này, thành phần quang được đặt sát ngay bên cạnh chip xử lý trong cùng một gói linh kiện, thay vì dùng module quang cắm rời như pluggable optics. Lợi ích là giảm đáng kể điện năng tiêu thụ cho truyền dữ liệu, đồng thời tăng tầm với và băng thông. Băng thông là lượng dữ liệu có thể truyền trong một đơn vị thời gian. Ayar cho biết giải pháp của họ có thể cải thiện tầm truyền và thông lượng lên tới gấp ba lần so với cách triển khai truyền thống.

Tại sự kiện Super Computing trước đó, Ayar Labs từng trình diễn một nguyên mẫu phát triển cùng Alchip, tích hợp 8 động cơ quang TeraPHY với tổng băng thông vượt 100 Tbps. Tbps là terabit mỗi giây, đơn vị đo tốc độ truyền dữ liệu cực cao thường dùng trong hạ tầng AI và mạng trung tâm dữ liệu. Công ty cũng từng hé lộ hình ảnh một XPU dùng các CPO chiplet. XPU là khái niệm chỉ bộ xử lý tổng quát cho tăng tốc, có thể bao gồm GPU, AI accelerator hoặc các kiến trúc lai. Chiplet là các khối chip nhỏ chuyên biệt được ghép lại trong cùng một gói, thay vì làm một con chip lớn duy nhất.

Dù chip quang có tiềm năng lớn, đưa nó vào rack thương mại lại là câu chuyện phức tạp hơn nhiều. Các hệ thống rack-scale hiện đại vốn đã có hàng loạt cáp, đầu nối blind mate và đường cấp nguồn, mạng, làm mát. Blind mate là kiểu đầu nối cho phép các mô-đun cắm khớp tự động mà không cần căn chỉnh thủ công quá kỹ, rất quan trọng trong máy chủ mật độ cao. Khi thêm photonics, tức công nghệ dùng photon hay ánh sáng để truyền tín hiệu, các quyết định thiết kế trở nên khó hơn, đặc biệt với làm mát chất lỏng. Ví dụ, kỹ sư phải xác định nước lạnh đi vào sẽ ưu tiên làm mát thành phần nào trước để bảo đảm hiệu suất và độ bền.

Một trong những điểm đáng chú ý của thiết kế tham chiếu là việc tích hợp các module laser SuperNova có thể thay thế bởi người dùng ở mặt trước hệ thống. Laser module là thành phần phát ánh sáng cho liên kết quang, đóng vai trò nguồn tín hiệu trong mạng quang nội bộ của máy chủ. Theo Ayar Labs, những chuẩn laser như ELSFP trước đây không được sinh ra cho môi trường làm mát bằng chất lỏng. Điều đó buộc hãng phải tinh chỉnh cả thiết kế cơ khí lẫn cách bảo vệ linh kiện để bảo đảm module laser hoạt động ổn định trong điều kiện rack AI công suất cao.

Một trở ngại lớn của CPO là cái gọi là blast radius, tức phạm vi ảnh hưởng khi xảy ra lỗi. Với module quang cắm rời, nếu một transceiver hỏng thì có thể thay riêng linh kiện đó. Transceiver là bộ thu phát tín hiệu mạng. Nhưng nếu optical engine, tức động cơ quang tích hợp sát chip, gặp sự cố, toàn bộ chip có thể phải ngừng hoạt động. Vì vậy, Ayar Labs và Wiwynn đang tập trung mạnh vào phần mềm giám sát, telemetry và firmware nhúng để xác định lỗi đến từ phần quang hay từ nguyên nhân khác. Telemetry là hệ thống thu thập dữ liệu vận hành theo thời gian thực, còn firmware là phần mềm mức thấp điều khiển trực tiếp phần cứng.

Lợi ích chiến lược của kết nối quang không chỉ là kéo dài khoảng cách truyền dữ liệu, mà còn cho phép xây dựng kiến trúc disaggregated. Đây là mô hình tách rời tài nguyên tính toán, chuyển mạch và bộ nhớ thành các rack riêng biệt thay vì gói chung tất cả trong một khối. Một rack có thể chỉ chuyên cho compute, tức tính toán; rack khác chuyên làm switch; và một rack khác nữa có thể mở rộng bộ nhớ. Cách tiếp cận này giúp nhà vận hành hyperscale, tức các hãng đám mây và trung tâm dữ liệu quy mô siêu lớn, linh hoạt hơn trong việc nâng cấp hạ tầng AI.

Theo những gì được hé lộ trước thềm hội nghị OFC, viết tắt của Optical Fiber Communication Conference, thiết kế tham chiếu của Ayar Labs và Wiwynn có vẻ gồm hai accelerator kết nối quang với nhau, một CPU và 16 module laser SuperNova ở mặt trước, kèm các giao diện mạng kiểu hyperscale. So với các compute blade của Nvidia hay AMD, thiết kế này có mật độ thấp hơn khoảng một nửa. Compute blade là bo mạch máy chủ dạng phiến mỏng, tối ưu cho việc cắm nhiều mô-đun vào cùng một khung. Tuy nhiên, Ayar không xem mật độ trong một khung là mục tiêu tối thượng, vì kết nối quang cho phép họ nối hàng trăm blade ở nhiều rack khác nhau thành một hệ thống logic duy nhất.

Thông báo hợp tác với Wiwynn đến chỉ ít ngày sau khi Ayar Labs hoàn tất vòng gọi vốn Series E trị giá 500 triệu USD để thúc đẩy sản xuất hàng loạt công nghệ CPO. Trước đó, công ty cũng đã hợp tác với GUC để phát triển các thiết kế tham chiếu dựa trên optical I/O chiplet, tức chiplet vào/ra quang dùng để truyền dữ liệu bằng ánh sáng. Nếu GUC giúp xử lý phía con chip, thì Wiwynn đang giải quyết nửa còn lại của bài toán: đóng gói tất cả thành một rack hoàn chỉnh, có thể triển khai thực tế trong trung tâm dữ liệu.

Điều đáng chú ý nhất trong bước đi mới của Ayar Labs không chỉ là con số 1.024 GPU, mà là cách công ty định nghĩa lại hạ tầng AI. Khi giới hạn của cáp đồng ngày càng bộc lộ rõ ở quy mô siêu lớn, cuộc cạnh tranh không còn chỉ xoay quanh việc ai làm GPU nhanh hơn, mà còn là ai xây được hệ thống kết nối hiệu quả hơn, mát hơn và dễ mở rộng hơn. Nếu thiết kế rack quang tử của Ayar Labs và Wiwynn chứng minh được tính khả thi, trung tâm dữ liệu AI tương lai có thể không còn là những khối máy chủ siêu đặc kín, mà là các cụm rack chuyên biệt liên kết bằng ánh sáng với hiệu suất cao hơn nhiều.