Nvidia lần đầu công bố benchmark Groq 3 LPU: canh bạc 20 tỷ USD bắt đầu cho thấy sức nặng

Nvidia vừa hé lộ những kết quả hiệu năng đầu tiên của hệ thống LPX dùng chip Groq 3 LPU, cho thấy khoản đầu tư 20 tỷ USD vào công nghệ này có thể là một nước đi cực kỳ đúng thời điểm. Trong bài đo độc lập của Artificial Analysis, một rack LPX đạt tốc độ 3.400 token mỗi giây khi chạy mô hình Gemma 4 31B của Google với chuỗi đầu vào dài 100.000 token. Token là đơn vị văn bản nhỏ mà mô hình AI xử lý và tạo ra, nên chỉ số token/giây thường được xem là thước đo trực tiếp cho tốc độ suy luận AI. Theo Nvidia, kết quả này nhanh gấp khoảng 4 lần nền tảng gần nhất trong cùng điều kiện, nhiều khả năng là Cerebras với mức 882 token/giây.

Điểm cốt lõi nằm ở kiến trúc LPU, viết tắt của Language Processing Unit, một loại bộ tăng tốc được tối ưu riêng cho suy luận AI thay vì đồ họa hay huấn luyện đa mục đích như GPU. Groq sử dụng kiến trúc dataflow, tức kiểu thiết kế đẩy dữ liệu đi theo luồng xử lý cố định để giảm độ trễ và tránh lãng phí băng thông bộ nhớ. Quan trọng hơn, chip này dựa gần như hoàn toàn vào SRAM tích hợp ngay trên khuôn chip. SRAM là loại bộ nhớ cực nhanh nhưng rất tốn diện tích silicon, trong khi GPU trung tâm dữ liệu hiện nay thường dựa vào DRAM băng thông cao như GDDR7 hay HBM4. Với suy luận AI, đặc biệt ở giai đoạn sinh từng token, băng thông bộ nhớ thường là nút thắt lớn nhất, và đó chính là bài toán Groq nhắm tới.

Thế hệ Groq 3 được Nvidia đưa vào nền tảng Vera Rubin đầu năm nay có băng thông bộ nhớ lên tới 150 TB/giây, con số rất nổi bật nếu so với các giải pháp truyền thống. Tuy nhiên, cái giá phải trả là mỗi LPU chỉ có khoảng 500 MB SRAM, ít hơn rất nhiều so với 288 GB bộ nhớ trên một GPU Rubin cao cấp. Nói cách khác, LPU có tốc độ truy cập dữ liệu cực nhanh nhưng không thể chứa mô hình lớn trên một chip đơn lẻ. Để khắc phục, Nvidia phân tán mô hình qua nhiều bộ tăng tốc bằng Ethernet. Một rack LPX có thể gắn tối đa 256 LPU, tương đương 128 GB SRAM băng thông cao; với mô hình lớn hơn, nhiều rack có thể ghép lại thành một cụm.

Ở góc nhìn người dùng thông thường, 3.400 token/giây có thể là mức vượt quá nhu cầu. Nhưng với AI agent, tức các tác nhân AI có thể tự lập kế hoạch, gọi công cụ, thực hiện nhiều bước suy luận và phản hồi liên tục, tốc độ sinh token lại rất quan trọng. Mô hình càng tạo token nhanh, agent càng có thể suy nghĩ lâu hơn trong cùng một khoảng thời gian, xử lý nhiều lượt tương tác hơn và hoàn thành nhiều hành động hơn. Đây dường như là luận điểm chiến lược của Nvidia: trong thời đại agentic AI, máy chủ suy luận nhanh hơn có thể tạo ra agent “thông minh hơn” trên thực tế, vì chúng có nhiều thời gian vận hành hơn trong cùng giới hạn độ trễ.

Dù kết quả rất ấn tượng, Gemma 4 31B vẫn được xem là một kịch bản thuận lợi cho phần cứng của Nvidia. Mô hình này có 31 tỷ tham số, đủ nhỏ để nằm gọn trong một rack LPX. Nvidia cho biết họ chạy mô hình ở FP8, tức định dạng số thực 8 bit giúp giảm dung lượng lưu trọng số và tăng hiệu quả xử lý. Với FP8, mô hình cần hơn 31 GB bộ nhớ, tương đương chưa tới 64 LPU. Giới quan sát cho rằng Nvidia nhiều khả năng đang dùng pipeline parallelism, tức chia các lớp của mô hình thành từng đoạn chạy nối tiếp trên nhiều chip, có thể kết hợp thêm data parallelism, nghĩa là nhân bản pipeline để tăng số truy vấn chạy song song.

Gemma 4 31B là mô hình dense, nghĩa là mỗi lần sinh token, toàn bộ 31 tỷ tham số đều được kích hoạt. Điều này khiến bài test trở nên nặng theo cách khá ổn định và phù hợp để đo khả năng băng thông. Trong khi đó, nhiều mô hình hiện đại dùng MoE, viết tắt của Mixture of Experts, tức chỉ kích hoạt một phần nhỏ các khối tham số cho mỗi token để tiết kiệm tính toán. Ví dụ, DeepSeek V3 có tổng 671 tỷ tham số nhưng chỉ khoảng 37 tỷ tham số hoạt động ở mỗi bước. Dù vậy, MoE lại phát sinh chi phí điều phối phức tạp hơn, vì mỗi token có thể đi qua các ‘chuyên gia’ khác nhau, làm tăng overhead, tức phần chi phí phụ ngoài tính toán thuần túy.

Nhược điểm của cách tiếp cận SRAM là khi mô hình quá lớn, số lượng chip cần thiết tăng nhanh. Bài viết nguồn ước tính để phục vụ một mô hình như DeepSeek V3 trên hệ LPX, Nvidia có thể cần tới 1.342 bộ tăng tốc, tương đương hơn 5 rack LPX. Điều đó đặt ra bài toán về kết nối, đồng bộ và quản trị tài nguyên ở quy mô rất lớn. Nói cách khác, benchmark với Gemma 4 31B cho thấy trần hiệu năng rất cao, nhưng vẫn chưa trả lời đầy đủ câu hỏi quan trọng hơn: kiến trúc này sẽ mở rộng ra sao khi gặp các mô hình lớn, phức tạp và có hành vi truy cập bộ nhớ khó đoán hơn.

Điểm đáng chú ý nhất không chỉ là LPU chạy nhanh, mà là cách Nvidia ghép LPU với GPU trong một kiến trúc dị thể, tức hệ thống dùng nhiều loại bộ xử lý khác nhau cho các phần việc khác nhau. Trong suy luận AI, Nvidia tách quy trình thành hai pha. Pha prefill là lúc mô hình đọc và xử lý toàn bộ prompt đầu vào, đồng thời tạo ra key-value cache, bộ nhớ đệm lưu trạng thái ngữ cảnh để phục vụ các bước sinh token tiếp theo; phần này cần nhiều năng lực tính toán nên phù hợp với GPU. Pha decode là lúc mô hình sinh từng token một, thường bị giới hạn bởi băng thông bộ nhớ, nên được chuyển sang Groq 3 LPU. Cách phân vai này giúp Nvidia tận dụng điểm mạnh của cả hai thế giới: GPU cho khối lượng xử lý lớn, LPU cho độ tương tác cực cao.

Trong hạ tầng AI, các nhà vận hành thường phải đánh đổi giữa throughput và interactivity. Throughput là tổng lượng công việc hệ thống xử lý được, còn interactivity là mức phản hồi nhanh cho từng người dùng, thường đo bằng token/giây trên mỗi phiên. Nvidia cho rằng việc kết hợp GPU Rubin với LPU Groq có thể đẩy đường cong Pareto, tức tập hợp các điểm tối ưu giữa hai mục tiêu cạnh tranh, lên cao hơn: vừa giữ được thông lượng lớn cho nhiều người dùng đồng thời, vừa cải thiện tốc độ phản hồi. Con số 3.400 token/giây phản ánh đầu cực đại về tương tác, nhưng mục tiêu thương mại thực sự là giữ được một phần đáng kể hiệu năng đó ngay cả khi số lượng người dùng đồng thời tăng mạnh.

Nvidia cũng cho biết Nebius, nhà cung cấp hạ tầng đám mây AI có trụ sở tại Hà Lan, sẽ là một trong những đơn vị đầu tiên đưa hệ thống kết hợp GPU và LPU này vào trung tâm dữ liệu. Đây là tín hiệu cho thấy công nghệ không chỉ dừng ở mức trình diễn benchmark mà đã bắt đầu bước vào giai đoạn thương mại hóa thực tế. Với các nhà cung cấp ‘neocloud’ chuyên xây hạ tầng mới cho AI, khả năng phục vụ agent, trợ lý lập trình và các ứng dụng suy luận thời gian thực có thể trở thành lợi thế cạnh tranh rõ rệt.

Tuy nhiên, tuyên bố ‘nhanh hơn 4 lần’ của Nvidia vẫn cần được nhìn trong bối cảnh rộng hơn. Dữ liệu từ Artificial Analysis đúng là xác nhận khoảng cách hiệu năng ở chuỗi đầu vào 100.000 token, nhưng số lượng chip cần dùng lại rất khác nhau. Theo phân tích từ bài gốc, Cerebras có thể chỉ cần một hoặc hai bộ tăng tốc CS-3 dung lượng 44 GB để chứa toàn bộ Gemma 4 31B ở cấu hình mixed precision, tức dùng kết hợp nhiều mức độ chính xác số học như 8 bit và 16 bit để cân bằng tốc độ và độ chính xác. Trong khi đó, Nvidia cần ít nhất khoảng 64 LPU. Vì vậy, nếu chỉ nhìn vào token/giây mà bỏ qua mật độ triển khai và số lượng chip, phép so sánh có thể khiến người đọc hiểu chưa đầy đủ.

Một yếu tố nữa là benchmark của Nvidia có thể không ‘già đi’ đẹp, bởi Cerebras đã công bố thế hệ tăng tốc mới CS-4 dựa trên WSE-3T. WSE, hay Wafer-Scale Engine, là kiến trúc chip kích thước gần bằng cả tấm wafer bán dẫn, cho phép tích hợp lượng tài nguyên tính toán và bộ nhớ cực lớn trên một khối đơn. Theo Cerebras, CS-4 sẽ tăng gấp đôi năng lực tính toán, băng thông I/O, tốc độ fabric và băng thông bộ nhớ, đồng thời tăng gấp ba số bộ tăng tốc trên mỗi rack. Hãng này cũng đang chuẩn bị mô hình triển khai dị thể kết hợp GPU với WSE, tương tự hướng đi GPU + LPU của Nvidia, bao gồm hợp tác với AMD và cả AWS.

Dù còn nhiều câu hỏi về khả năng mở rộng với các mô hình MoE rất lớn, benchmark đầu tiên của Groq 3 LPU dưới mái nhà Nvidia vẫn cho thấy một tín hiệu rõ ràng: cuộc đua AI đang chuyển từ chỉ tăng sức mạnh huấn luyện sang tối ưu suy luận ở quy mô thực tế. Nếu trước đây GPU là trung tâm gần như tuyệt đối, thì nay các bộ tăng tốc chuyên biệt như LPU hay WSE đang nổi lên như lời giải cho bài toán độ trễ, băng thông và phục vụ agent. Nvidia dường như không chỉ đặt cược vào một con chip mới, mà đang tái định nghĩa cả kiến trúc máy chủ AI cho giai đoạn tiếp theo.