Meta để hàng chục nghìn GPU chờ việc nhằm giữ siêu cụm AI Prometheus không ngừng chạy

Tại siêu cụm Prometheus ở New Albany, bang Ohio, hơn 11% số GPU của Meta đang hỏng hoặc được để sẵn nhằm thay thế thiết bị gặp sự cố. Hàng chục nghìn bộ xử lý đồ họa Nvidia vì thế không trực tiếp tham gia huấn luyện AI — một sự đánh đổi có chủ đích để bảo vệ tiến độ của những tác vụ tính toán khổng lồ.

Theo thông tin Meta công bố trong tuần này, Prometheus hiện sử dụng các hệ thống Nvidia GB200 và GB300, thuộc nền tảng Grace Blackwell. Trong tương lai, cụm máy dự kiến bổ sung nền tảng Vera Rubin, hướng tới khoảng một triệu bộ tăng tốc và quy mô công suất một gigawatt. Bộ tăng tốc là chip chuyên xử lý những phép tính nặng, chẳng hạn các phép toán song song phục vụ huấn luyện AI.

Với một máy chủ tám GPU, sự cố phần cứng có thể tương đối hiếm. Nhưng khi số chip tăng lên hàng trăm nghìn, hỏng hóc trở thành điều phải tính trước. Mục tiêu một triệu bộ tăng tốc của Meta còn đòi hỏi huấn luyện phân tán, tức chia công việc cho nhiều máy và nhiều trung tâm dữ liệu cùng xử lý.

Ở giai đoạn triển khai đầu tiên của Prometheus, Meta cho biết hệ thống ghi nhận khoảng 1.000 lần gián đoạn mỗi ngày trên mỗi 8.000 GPU. Đây không phải 1.000 GPU hỏng: một lần treo phần mềm, lỗi thiết bị hoặc phản hồi quá thời hạn đều có thể khiến tác vụ phải dừng và quay về trạng thái đã lưu. Sau khoảng một năm cải thiện, công ty tuyên bố đã giảm con số này 99%, xuống khoảng 11 lần mỗi ngày.

Một trong những biện pháp quan trọng là không khai thác toàn bộ GPU cùng lúc. Trong mỗi miền NVLink gồm 72 GPU, Meta chỉ sử dụng 64 chip; tám chip còn lại được giữ làm dự phòng sẵn sàng thay thế. NVLink là công nghệ kết nối tốc độ cao của Nvidia, giúp các GPU trao đổi dữ liệu để phối hợp xử lý như một hệ thống lớn hơn.

Trước đây, chỉ một GPU hỏng cũng có thể khiến cả tủ máy bị loại khỏi tác vụ huấn luyện. Với phần cứng dự phòng, Meta có thể chuyển công việc sang GPU khác mà không phải chờ kỹ thuật viên thay linh kiện. Tuy nhiên, cách này chưa tự nó xóa bỏ gián đoạn: quá trình chuyển đổi vẫn có thể khiến tác vụ dừng, dù thời gian chờ được rút ngắn.

Để giảm tác động sâu hơn, Meta tận dụng kỹ thuật song song dữ liệu. Với phương pháp này, nhiều bản sao của cùng một mô hình xử lý những phần dữ liệu khác nhau, rồi phối hợp cập nhật kết quả học.

Nếu lỗi được khoanh vùng trong một bản sao, hệ thống có thể tạm đưa phần đó ra ngoài. Các phần còn lại thực hiện lại bước tính toán liên quan rồi tiếp tục huấn luyện, trong khi phần lỗi khởi động lại trên máy dự phòng và đồng bộ trở lại. Thay vì toàn bộ siêu cụm ngừng hoạt động, hệ thống chỉ tạm thời giảm năng lực xử lý.

Khi sự cố vượt quá phạm vi có thể cô lập, Meta dùng cơ chế lưu điểm khôi phục phân tán, tương tự chức năng tự động lưu tài liệu. Trạng thái mô hình, gồm thông tin chỉ hướng điều chỉnh tham số và dữ liệu của thuật toán tối ưu, được lưu bất đồng bộ xuống nhiều tầng lưu trữ. Nhờ đó, hệ thống có thể tiếp tục từ mốc gần nhất thay vì học lại từ đầu.

Một thách thức lớn khác nằm ở mạng NVLink. Các hệ thống H100 và H200 trước đây thường có tám GPU trong mỗi miền kết nối; thế hệ Blackwell nâng con số đó lên 72. Quy mô lớn hơn giúp tăng khả năng phối hợp, nhưng cũng kéo theo nhiều đường truyền phải duy trì ổn định.

Theo Meta, với hơn 600.000 kết nối NVLink, ngay cả suy giảm tín hiệu nhỏ cũng có thể thường xuyên kích hoạt quá trình khôi phục liên kết. Công ty phải giám sát liên tục các chỉ số vận hành và chạy kiểm tra chịu tải để phát hiện đường truyền yếu trước khi đưa hệ thống vào sử dụng.

Điện năng cũng là rủi ro đáng kể. Khi hàng chục nghìn GPU đồng loạt tăng hoặc giảm tải, nhu cầu điện có thể biến động đột ngột. Những xung công suất ngắn này có khả năng gây quá tải thiết bị cấp nguồn nếu không được kiểm soát.

Meta cho biết các cải tiến về độ ổn định đã giúp mô hình Muse Wonder đạt tỷ lệ thông lượng hữu ích trên 85% ở giai đoạn tiền huấn luyện và trên 90% ở giai đoạn học tăng cường. Tiền huấn luyện giúp mô hình xây dựng năng lực nền tảng từ dữ liệu; học tăng cường tiếp tục điều chỉnh hành vi dựa trên tín hiệu thưởng hoặc phản hồi. Còn thông lượng hữu ích đo phần công việc thực sự đóng góp cho huấn luyện, thay vì chỉ phản ánh thiết bị đang bận.

Khi tiến tới quy mô một triệu GPU, Meta đặt mục tiêu giảm gián đoạn xuống còn hai lần mỗi ngày trên mỗi 8.000 GPU. Bài toán của Prometheus vì thế không chỉ là lắp thêm chip: thành công còn phụ thuộc vào khả năng chấp nhận hỏng hóc, cô lập sự cố và giữ phần lớn hệ thống tiếp tục làm việc.