Nvidia và Cerebras khoe tốc độ AI cực đại, nhưng khách hàng có thể sẽ không bao giờ chạm tới con số đó

Tại hội nghị Hot Chips ở California, Nvidia tuyên bố các rack LPX mới dựa trên công nghệ Groq-3 đã bước vào giai đoạn sản xuất, đồng thời đạt khoảng 3.400 token mỗi giây khi chạy mô hình Gemma 4 31B. Token là đơn vị văn bản nhỏ mà mô hình AI xử lý và sinh ra, có thể là một từ, một phần của từ hoặc ký tự. Theo Nvidia, con số này nhanh gấp 4 lần đối thủ Cerebras. Chỉ một ngày sau, Cerebras phản pháo khi cho biết hệ thống CS-4 thế hệ mới của hãng cũng đạt hiệu năng gần tương đương.

Vấn đề nằm ở chỗ các phép đo này chủ yếu phản ánh hiệu năng trong điều kiện rất lý tưởng, thường là batch size bằng 1. Batch size là số lượng yêu cầu được xử lý cùng lúc. Khi batch size chỉ có 1, hệ thống dồn toàn bộ tài nguyên cho một người dùng duy nhất, nhờ đó đạt tốc độ phản hồi cực nhanh. Tuy nhiên, trong môi trường thương mại thực tế, nhà cung cấp dịch vụ AI gần như không vận hành theo cách này vì mô hình kinh doanh cần phục vụ nhiều người dùng đồng thời để tối ưu chi phí và doanh thu.

So sánh dễ hiểu nhất là tốc độ tối đa của một chiếc xe đua. Nhà sản xuất có thể quảng bá chiếc xe đạt vận tốc rất cao, nhưng người dùng hằng ngày hiếm khi lái ở mức đó, và nếu cố duy trì liên tục thì chi phí nhiên liệu cùng độ bền hệ thống sẽ trở thành vấn đề. Với AI inference, tức giai đoạn mô hình đã được huấn luyện xong và bắt đầu tạo câu trả lời cho người dùng, các con số token/giây cực đại cũng mang ý nghĩa tương tự: gây ấn tượng mạnh về mặt truyền thông, nhưng không phản ánh cách hệ thống thường được triển khai ngoài đời thực.

Bài toán trở nên phức tạp hơn khi xét tới giới hạn bộ nhớ. Mô hình Gemma 4 31B có khoảng 31 tỷ tham số, tức các giá trị số mà AI dùng để biểu diễn tri thức đã học. Nếu chạy ở độ chính xác 8-bit, chỉ riêng trọng số của mô hình đã cần khoảng 31 GB bộ nhớ. Nvidia Groq-3 LPU, trong đó LPU là bộ xử lý chuyên tối ưu cho suy luận AI độ trễ thấp, được cho là có 500 MB bộ nhớ trên chip mỗi bộ gia tốc. Như vậy cần khoảng 64 LPU chỉ để chứa mô hình, chưa tính các dữ liệu phát sinh khi xử lý yêu cầu.

Một thành phần quan trọng khác là KV cache, viết tắt của key-value cache. Đây là vùng nhớ lưu lại thông tin trung gian trong quá trình mô hình đọc và ghi nhớ ngữ cảnh của đoạn hội thoại, giúp tăng tốc khi sinh token tiếp theo. Với đầu vào dài 100.000 token, KV cache ở độ chính xác 8-bit có thể ngốn thêm khoảng 8 GB cho mỗi chuỗi đầu vào. Điều đó có nghĩa là mỗi yêu cầu dài như vậy tiếp tục ăn thêm tài nguyên bộ nhớ đáng kể, khiến số phiên xử lý đồng thời bị giới hạn mạnh.

Theo phân tích trong bài gốc, một rack LPX với 256 LPU có thể chỉ xử lý được batch size khoảng 12 nếu mỗi yêu cầu đều có đầu vào dài 100.000 token, trước khi cạn bộ nhớ. Bên phía Cerebras, mỗi rack CS-4 chứa ba bộ gia tốc WSE-3T với tổng cộng khoảng 132 GB SRAM. SRAM là loại bộ nhớ tốc độ rất cao, thường đắt hơn và dung lượng thấp hơn DRAM nhưng cho băng thông vượt trội. Dù CS-4 có dư địa bộ nhớ tốt hơn đôi chút, kết luận chung vẫn tương tự: giới hạn thực tế vẫn vào khoảng 12 yêu cầu dạng này.

Cả Groq lẫn Cerebras đều theo đuổi thiết kế thiên về SRAM-heavy, tức dùng rất nhiều SRAM trên chip để tăng băng thông dữ liệu và giảm độ trễ. Nhờ vậy, chúng đặc biệt mạnh ở tác vụ sinh token cực nhanh cho từng người dùng. Tuy nhiên, chính lựa chọn kiến trúc này lại khiến việc mở rộng lên số lượng lớn người dùng đồng thời trở nên khó khăn hơn, vì bộ nhớ trên chip tuy nhanh nhưng không dồi dào như các hệ thống GPU truyền thống được ghép với bộ nhớ ngoài quy mô lớn.

Thay vì chỉ nhìn một điểm benchmark đẹp mắt, giới phân tích cho rằng cần đánh giá hệ thống trên toàn bộ Pareto frontier. Đây là đường cong thể hiện sự đánh đổi giữa nhiều mục tiêu, ở đây là giữa độ trễ thấp, số người dùng đồng thời và tổng thông lượng. Thông lượng, hay throughput, là tổng khối lượng công việc hệ thống xử lý được trong một khoảng thời gian. Ở phía trái đường cong là kiểu xử lý khối lượng lớn nhưng ít tương tác; phía phải là suy luận siêu nhanh cho từng người dùng nhưng sản lượng thấp; còn vùng giữa thường là điểm cân bằng có giá trị thương mại cao nhất.

Bài viết cho rằng khách hàng thực tế có lẽ sẽ không chạy LPX hay CS-4 như một hệ thống độc lập. Thay vào đó, phương án hứa hẹn hơn là kiến trúc heterogeneous compute, tức hạ tầng tính toán dị thể kết hợp nhiều loại chip khác nhau. Trong mô hình này, GPU hoặc XPU tổng quát như Nvidia, AMD hay Trainium của AWS sẽ gánh phần việc nặng về tính toán và quản lý ngữ cảnh, còn các bộ gia tốc như Groq LPU hoặc wafer-scale accelerator của Cerebras sẽ đảm nhận phần decode. Decode là giai đoạn mô hình sinh ra từng token đầu ra sau khi đã hiểu xong ngữ cảnh đầu vào.

Khi dùng chip chuyên dụng như bộ tăng tốc decode, gánh nặng KV cache và nhiều chi phí tính toán khác có thể được giảm bớt đáng kể, vì không phải mọi thứ đều nằm trên cùng một hệ thống SRAM hạn chế dung lượng. Đây là lý do Nvidia được cho là đã chi mạnh để tiếp cận công nghệ Groq, còn Cerebras cũng bắt tay với AWS và AMD. Điều khách hàng doanh nghiệp cần không phải một kỷ lục token/giây ở batch 1, mà là chi phí trên mỗi truy vấn, điện năng tiêu thụ, khả năng phục vụ đồng thời và hiệu quả mở rộng trong nhiều tình huống tải khác nhau.

Bài gốc cũng nhắc tới InferenceX của SemiAnalysis như một bộ benchmark phản ánh rõ hơn cách hệ thống vận hành trên toàn dải nhu cầu, từ xử lý khối lượng lớn đến suy luận cao cấp độ trễ thấp. Khác với phép thử đơn giản chỉ đưa ra một điểm dữ liệu batch 1, InferenceX cho thấy một nền tảng mạnh ở đâu trên đường cong Pareto và yếu ở đâu. Đây là thông tin quan trọng hơn nhiều đối với doanh nghiệp đang cân nhắc có nên thêm rack CS-4 hoặc LPX vào hạ tầng AI hiện có hay không.

Nvidia và Cerebras không nhất thiết công bố sai. Các con số họ đưa ra có thể tái lập trong điều kiện thử nghiệm phù hợp. Nhưng điều đó không đồng nghĩa khách hàng sẽ thấy đúng mức hiệu năng ấy khi triển khai sản phẩm ở quy mô thực tế. Bài học rút ra là mỗi khi một hãng AI tuyên bố đạt tốc độ suy luận cực nhanh, thị trường nên hỏi thêm một câu quan trọng: con số đó nằm ở đâu trên đường cong Pareto, chạy với bao nhiêu người dùng đồng thời, dùng bao nhiêu điện và tốn bao nhiêu tiền để duy trì.