Khách hàng được trực tiếp kiểm chứng lời hứa tiết kiệm

Qualcomm bắt đầu cho một số khách hàng được lựa chọn thử nghiệm Dragonfly AI200, hệ thống suy luận trí tuệ nhân tạo quy mô tủ máy, thông qua dịch vụ đám mây của Cirrascale. Đây là bước đi đưa đối thủ mới của Nvidia đến gần hơn với những doanh nghiệp đang tìm cách vận hành AI mà không để hóa đơn điện và chi phí hoạt động tăng quá cao.

Suy luận AI là quá trình một mô hình đã được huấn luyện xử lý yêu cầu mới để tạo câu trả lời, phân tích dữ liệu hoặc thực hiện tác vụ. Dragonfly AI200 hướng đến việc chạy các mô hình ngôn ngữ lớn, mô hình đa phương thức — có thể xử lý nhiều dạng dữ liệu như văn bản và hình ảnh — cùng những loại mô hình AI khác.

Theo Qualcomm, khách hàng có thể đánh giá hệ thống trên nền tảng AI Innovation Cloud của Cirrascale, sau đó tiến tới triển khai phục vụ hoạt động thực tế. Cirrascale cũng đã trình diễn Dragonfly AI200 tại sự kiện SC26 ở Chicago trong hai ngày 17 và 18/11. Tuy nhiên, mức tiết kiệm mà Qualcomm kỳ vọng vẫn cần được kiểm chứng qua các phép thử và khối lượng công việc cụ thể.

Khoảng 43 TB bộ nhớ trong một tủ máy

Điểm đáng chú ý của Dragonfly AI200 là dung lượng bộ nhớ. Mỗi thẻ tăng tốc AI200 — phần cứng chuyên xử lý các phép tính AI — được trang bị 768 GB bộ nhớ LPDDR. Một tủ máy làm mát bằng chất lỏng chứa 56 thẻ, cung cấp tổng cộng khoảng 43 TB bộ nhớ. Thiết kế quy mô tủ máy có nghĩa là nhiều thành phần được tổ chức thành một hệ thống tính toán thống nhất, thay vì chỉ hoạt động như những thẻ tăng tốc riêng lẻ.

Qualcomm cho biết hệ thống hỗ trợ các mô hình có từ 7 tỷ đến 10 nghìn tỷ tham số. Tham số là những giá trị mô hình học được trong quá trình huấn luyện, góp phần quyết định cách nó xử lý thông tin. Dải hỗ trợ mà hãng công bố bao gồm cả tác vụ ngữ cảnh dài, tức xử lý lượng lớn thông tin trong một lần làm việc; tạo sinh tăng cường truy xuất, hay RAG, cho phép mô hình tham khảo dữ liệu bên ngoài để xây dựng câu trả lời; và AI tác nhân, trong đó hệ thống có thể phối hợp nhiều bước để hoàn thành nhiệm vụ.

Nhiều bộ nhớ chưa đồng nghĩa nhanh hơn Nvidia

Lựa chọn bộ nhớ cho thấy khác biệt quan trọng giữa Qualcomm và Nvidia. Trong khi hệ thống NVL72 dựa trên kiến trúc Blackwell của Nvidia sử dụng HBM3e — bộ nhớ băng thông cao có tốc độ truyền dữ liệu lớn nhưng đắt đỏ — AI200 dùng LPDDR, loại bộ nhớ tiết kiệm điện thường xuất hiện trên thiết bị di động.

Dung lượng lớn giúp hệ thống chứa được những mô hình và dữ liệu có quy mô đáng kể, nhưng không tự động bảo đảm tốc độ xử lý ngang bằng đối thủ. Băng thông bộ nhớ, tức lượng dữ liệu có thể truyền trong một đơn vị thời gian, cũng là yếu tố quan trọng đối với hiệu năng AI. Vì vậy, việc AI200 có thực sự mang lại lợi thế về chi phí vận hành mà vẫn đáp ứng yêu cầu hiệu năng hay không sẽ là trọng tâm của các đợt đánh giá trên đám mây.

Tony Pialis, Phó chủ tịch điều hành kiêm Tổng giám đốc mảng trung tâm dữ liệu của Qualcomm, cho rằng suy luận AI đang trở thành một trong những khối lượng công việc lớn và quan trọng nhất tại trung tâm dữ liệu. Theo ông, AI200 đưa kinh nghiệm tính toán hiệu năng cao, tiêu thụ ít điện của hãng vào hạ tầng quy mô tủ máy, với kiến trúc được thiết kế xoay quanh yêu cầu về hiệu năng, bộ nhớ và chi phí của suy luận.

Không chỉ bán chip, Qualcomm xây cả nền tảng vận hành

AI200 thuộc dòng sản phẩm trung tâm dữ liệu Dragonfly, bên cạnh các bộ tăng tốc AI250, AI300 và bộ xử lý máy chủ C1000. Qualcomm đã phác thảo tham vọng rộng hơn của mình trong lĩnh vực này tại sự kiện dành cho nhà đầu tư hồi tháng 6.

Đi kèm phần cứng là bộ phần mềm Dragonfly AI Infrastructure Management Suite, phục vụ cấp phát tài nguyên, giám sát, điều phối tác vụ và xử lý sự cố trên các hệ thống quy mô tủ máy. Điều phối tác vụ là việc sắp xếp và phân bổ công việc đến tài nguyên tính toán phù hợp, giúp quản trị viên vận hành hạ tầng nhiều thành phần.

Dave Driggers, Giám đốc điều hành Cirrascale, cho biết khách hàng cần hạ tầng hiệu quả, có khả năng mở rộng để chạy những mô hình ngày càng phức tạp mà không bị giới hạn bởi điện năng và chi phí vận hành. Với chương trình thử nghiệm lần này, cuộc cạnh tranh giữa Qualcomm và Nvidia có thêm một điểm kiểm chứng thực tế: hiệu quả của kiến trúc mới khi đặt vào chính các tác vụ AI mà khách hàng cần chạy.

Danh mục máy quét mã vạch

Máy quét mã vạch - Quét mã Qr - Quét mã vạch sản phẩm.

DÒNG MÁY CÓ DÂY

máy quét mã vạch không dây

DÒNG MÁY KHÔNG DÂY

DÒNG MÁY KIỂM KHO PDA

DÒNG MÁY FITMOUNT