Huấn luyện AI phân tán bùng nổ, mạng liên trung tâm dữ liệu trở thành “nút thắt” mới

Huấn luyện các mô hình AI cỡ lớn, đặc biệt là LLM (Large Language Model – mô hình ngôn ngữ lớn), đang nhanh chóng rời khỏi phạm vi của một trung tâm dữ liệu đơn lẻ. Google cho biết Gemini được huấn luyện đồng bộ trên nhiều cụm máy ở các địa điểm khác nhau; Microsoft kết nối các trung tâm dữ liệu AI tại Wisconsin và Georgia thành một “siêu máy tính AI phân tán”; AWS cho phép liên kết các cụm tính toán AI trên diện rộng để Anthropic xây dựng dòng mô hình Claude; còn Meta và Google Cloud cũng đẩy mạnh kết nối liên trung tâm dữ liệu cho huấn luyện mô hình. Xu hướng này xuất phát từ thực tế rằng một cơ sở duy nhất ngày càng khó đáp ứng đồng thời nhu cầu điện năng, không gian và số lượng bộ tăng tốc cần thiết cho thế hệ mô hình mới.

Ở lõi của một LLM là mạng nơ-ron chứa hàng tỷ tham số, còn gọi là weights – các giá trị số được điều chỉnh liên tục trong quá trình huấn luyện. Dữ liệu được đưa qua mô hình, hệ thống tạo dự đoán, đo sai số rồi tính toán cách cập nhật các tham số. Quy trình này lặp đi lặp lại trên hàng nghìn GPU hoặc các bộ tăng tốc chuyên dụng như TPU của Google hay Trainium của AWS. Tuy nhiên, các GPU không thể hoạt động hoàn toàn độc lập. Chúng phải thường xuyên trao đổi gradients – tức các giá trị thể hiện hướng và mức độ cần điều chỉnh tham số – cùng các kết quả trung gian để đồng bộ trước khi bước sang vòng tính toán tiếp theo.

Trong huấn luyện đồng bộ, mọi nhóm GPU phải hoàn tất trao đổi dữ liệu gần như cùng lúc. Nếu một nhóm chậm hơn, các nhóm còn lại buộc phải chờ. Điều đó khiến độ trễ mạng không còn là vấn đề phụ trợ mà trực tiếp biến thành độ trễ tính toán. Lưu lượng trong kiểu huấn luyện này cũng có tính “burst” – bùng phát theo đợt – vì hàng nghìn bộ tăng tốc thường kết thúc một pha tính toán rồi đồng loạt gửi dữ liệu đi. Hệ quả là hiện tượng incast có thể xảy ra: rất nhiều nguồn cùng dồn lưu lượng về một đích, làm liên kết phía sau không xử lý kịp.

DCI, viết tắt của Data Center Interconnect, là hạ tầng kết nối giữa các trung tâm dữ liệu. Trước đây, DCI chủ yếu phục vụ sao chép dữ liệu, dự phòng hoặc phân phối ứng dụng giữa các hệ thống tương đối độc lập. Các luồng lưu lượng này thường bất đồng bộ, nghĩa là một luồng không cần hoàn thành cùng nhịp với luồng khác. Nhưng với huấn luyện AI phân tán theo kiểu scale-across – tức mở rộng một “fabric” AI phối hợp qua nhiều cơ sở – mạng liên vùng không còn chỉ là đường vận chuyển dữ liệu. Nó trở thành một phần của chính tiến trình tính toán phân tán, đòi hỏi băng thông cao và độ ổn định rất dễ dự đoán.

Bên trong một rack máy chủ, nhu cầu băng thông đã có thể lên tới 800Gbps hoặc thậm chí 1,6Tbps. Ở khoảng cách ngắn như vậy, hệ thống có thể dùng các kết nối tốc độ cao trên phạm vi rất nhỏ. Khi mở rộng ra toàn bộ trung tâm dữ liệu, các kết nối quang cắm nóng – còn gọi là pluggable optics, tức mô-đun quang có thể gắn trực tiếp vào thiết bị mạng – sẽ đảm nhiệm việc truyền tín hiệu từ vài trăm mét đến khoảng 2 km. Nhưng khi AI fabric trải dài qua nhiều cơ sở cách nhau hàng chục đến hàng trăm km, bài toán thay đổi hoàn toàn: hạ tầng cần đến coherent optics, tức công nghệ quang kết hợp điều chế tín hiệu phức tạp và xử lý tín hiệu số để giữ tín hiệu 400G hoặc 800G hoạt động ổn định trên các tuyến sợi quang đường dài.

Ngay cả khi đã có đủ băng thông và quang đường dài phù hợp, khoảng cách vật lý vẫn tạo ra độ trễ không thể xóa bỏ. Khi tắc nghẽn xuất hiện, mạng cần thời gian để báo cho bên gửi giảm tốc. Trên liên kết nội bộ trong trung tâm dữ liệu, phản hồi này đến rất nhanh. Nhưng trên tuyến sợi quang dài 100 km, một lượng dữ liệu rất lớn có thể đã được bơm lên đường truyền trước khi phía gửi biết có sự cố. Theo tính toán của Cisco, trên kết nối 800Gbps dài 100 km, khoảng 100 MB dữ liệu có thể đang “trên đường” trong thời gian chờ phản hồi. Đây là lý do các kiến trúc mạng cho AI phân tán cần deep buffering – bộ đệm sâu, tức dung lượng bộ nhớ gói tin lớn hơn đáng kể so với switch độ trễ siêu thấp trong nội bộ trung tâm dữ liệu.

Không chỉ cần bộ đệm sâu, mạng còn cần shared buffer – bộ đệm dùng chung, nghĩa là toàn bộ vùng nhớ đệm có thể được phân bổ linh hoạt cho cổng nào đang bị nghẽn thay vì chia cứng theo từng cổng. Cách tiếp cận này đặc biệt hữu ích khi lưu lượng AI tạo ra các đợt đồng bộ lớn và ngắn, khiến một vài liên kết đột ngột chịu tải cực cao. Bộ đệm dùng chung cho phép liên kết bận nhất “mượn” thêm vùng nhớ để tránh rơi gói. Nếu gói tin bị mất, hệ thống phải truyền lại, làm kéo dài các thao tác giao tiếp tập thể và khiến nhiều GPU khác phải chờ.

Dù phức tạp, huấn luyện AI vẫn có một đặc điểm thuận lợi so với nhiều dạng lưu lượng DCI truyền thống: các mẫu giao tiếp thường lặp lại. Điều đó mở đường cho proactive congestion management – quản lý tắc nghẽn chủ động, tức dự đoán trước các đợt bùng phát để điều phối hoặc sắp lịch lưu lượng trước khi hàng đợi trở thành vấn đề. Cách làm này không thay thế bộ đệm sâu mà bổ sung cho nó: một bên cố ngăn tắc nghẽn hình thành, bên còn lại đóng vai trò “lưới an toàn” khi biến động ngắn hạn hoặc sự cố bất ngờ, như lỗi liên kết, vẫn xảy ra.

Trong chiến lược của mình, Cisco giới thiệu kiến trúc scale-across dựa trên Silicon One P200 – bộ xử lý định tuyến lập trình được với thông lượng 51,2Tbps và khả năng bộ đệm sâu. Hãng kết hợp chip này với các nền tảng như Cisco 8223 và N9000, cùng mô-đun coherent pluggable 400G và 800G cho đường truyền xa. Ở đây, coherent pluggable có thể tạo trực tiếp các bước sóng DWDM – Dense Wavelength Division Multiplexing, công nghệ ghép nhiều bước sóng ánh sáng trên cùng một sợi quang để tăng dung lượng truyền tải. Cisco cho rằng việc đưa chức năng coherent trực tiếp vào cổng router hoặc switch giúp giảm nhu cầu dùng các thiết bị transponder DWDM rời, từ đó tiết kiệm điện, không gian rack và làm mát – những tài nguyên vốn đã rất căng thẳng trong các “nhà máy AI”.

Một điểm đáng chú ý khác là Cisco nhấn mạnh khả năng lập trình của bộ xử lý mạng và công cụ P4 – ngôn ngữ cho phép mô tả cách thiết bị mạng xử lý gói tin. Trong bối cảnh các nhà vận hành vẫn đang thử nghiệm nhiều topology – tức cách bố trí và kết nối các nút mạng – cũng như nhiều phương pháp điều phối lưu lượng khác nhau, khả năng cập nhật tính năng bằng phần mềm thay vì chờ thế hệ chip mới có thể giúp hệ thống thích nghi nhanh hơn. Cisco cũng bổ sung cơ chế mã hóa phần cứng cho lưu lượng liên trung tâm dữ liệu, nhằm tránh việc bảo mật trở thành một nút thắt hiệu năng mới.

Dù các triển khai đầu tiên đã xuất hiện, mạng cho huấn luyện AI phân tán vẫn còn ở giai đoạn sớm. Mỗi nhà vận hành đang thử nghiệm những tổ hợp khác nhau về khoảng cách, kiến trúc mạng, cách phân bổ tải và thiết kế khối lượng công việc. Tuy nhiên, điểm chung đã rất rõ: khi mô hình AI ngày càng lớn, giới hạn không còn nằm riêng ở GPU mà chuyển dần sang cách kết nối hàng chục nghìn GPU qua nhiều địa điểm như một hệ thống thống nhất. Nói cách khác, tương lai của AI không chỉ được quyết định bởi sức mạnh tính toán, mà còn bởi khả năng xây dựng mạng liên trung tâm dữ liệu đủ nhanh, đủ ổn định và đủ thông minh để không cản bước quá trình huấn luyện.