HPE muốn giảm gánh nặng bộ nhớ AI: lưu lại ngữ cảnh thay vì bắt GPU tính lại

Một phần chi phí vận hành trí tuệ nhân tạo không đến từ việc giải quyết nhiệm vụ mới, mà từ việc xử lý lại những thông tin hệ thống từng đọc. HPE đang nhắm vào khoản lãng phí này bằng cách giao thêm nhiệm vụ cho Alletra Storage MP X10000: lưu giữ trạng thái tính toán phục vụ suy luận, thay vì để dữ liệu đó bị loại khỏi bộ nhớ GPU rồi phải tạo lại khi cần. GPU là bộ xử lý tăng tốc thường được dùng để chạy mô hình AI; còn suy luận là quá trình mô hình xử lý yêu cầu để tạo câu trả lời. Theo nội dung do HPE cung cấp, thử nghiệm được Kamiwaza xác nhận ghi nhận thời gian chờ đến đơn vị đầu ra đầu tiên được rút ngắn tới 20 lần và thông lượng suy luận hiệu dụng tăng tới 17 lần so với cấu hình không chuyển bộ nhớ đệm KV sang hệ thống lưu trữ. Đây là kết quả trong điều kiện thử nghiệm cụ thể, không phải mức cải thiện mặc định cho mọi ứng dụng.

Vấn đề trở nên rõ hơn khi doanh nghiệp chuyển từ công cụ hỏi đáp sang quy trình có nhiều tác nhân AI — những thành phần phần mềm có thể đảm nhiệm các bước như tìm tài liệu, đánh giá thông tin và kiểm tra kết quả. Nhiều tác nhân thường phải đọc lại cùng hướng dẫn hệ thống, tài liệu hoặc lịch sử hội thoại. Bộ nhớ đệm KV lưu các giá trị khóa và giá trị trong cơ chế chú ý của mô hình, cho phép yêu cầu tương thích tận dụng một phần tính toán đã thực hiện. Tuy nhiên, bộ nhớ GPU có giới hạn. Khi ngữ cảnh dài và nhiều phiên hoạt động đồng thời cùng tranh tài nguyên, phần đệm còn hữu ích có thể bị loại bỏ. Nếu cần đến nó lần nữa, hệ thống phải tính lại, làm tăng thời gian chờ mà không bổ sung thông tin mới.

Cách tiếp cận của HPE là chuyển bộ nhớ đệm KV ra một tầng lưu trữ dùng chung trên X10000. Khi cần ngữ cảnh đã xử lý, hệ thống có thể lấy lại trạng thái tính toán thay vì yêu cầu GPU dựng lại từ đầu. Giải pháp sử dụng RDMA cho S3 để tăng tốc đường truyền dữ liệu. RDMA là kỹ thuật truy cập trực tiếp bộ nhớ từ xa, giúp giảm công việc xử lý trung gian khi truyền dữ liệu; S3 là giao diện phổ biến để truy cập lưu trữ đối tượng. Dù vậy, chuyển bộ đệm ra ngoài GPU không tự động đem lại lợi ích. Hiệu quả phụ thuộc vào việc lấy dữ liệu đã lưu có nhanh hơn tính lại hay không, cũng như mức độ các yêu cầu thực sự dùng chung ngữ cảnh.

Thử nghiệm sử dụng GPU NVIDIA H200, nền tảng AI Kamiwaza, hệ thống HPE Alletra MP X10000 và mô hình NVIDIA Nemotron 70B, với hơn 30 tác nhân hoạt động đồng thời trong tác vụ suy luận có ngữ cảnh lớn. Đây là dạng tải có nhiều cơ hội tái sử dụng dữ liệu, khác đáng kể với những câu hỏi ngắn và ít liên quan đến nhau. Chỉ số thời gian đến đơn vị đầu ra đầu tiên đo khoảng chờ trước khi mô hình bắt đầu trả kết quả; đơn vị này có thể là một từ hoặc một phần của từ. Thông lượng phản ánh lượng công việc suy luận hệ thống xử lý được trong một khoảng thời gian. Độ dài ngữ cảnh, số yêu cầu đồng thời, tỷ lệ tìm thấy dữ liệu trong bộ đệm và chi phí truyền dữ liệu đều có thể thay đổi kết quả. Vì vậy, doanh nghiệp cần so sánh cùng một tải công việc khi bật và tắt cơ chế chuyển bộ đệm, thay vì chỉ nhìn vào hệ số tăng tốc.

Lưu bộ đệm chỉ giải quyết việc tính toán lặp lại. Nó không khắc phục được một hệ thống truy xuất đưa quá nhiều tài liệu không liên quan vào yêu cầu gửi tới mô hình. Trong đề xuất rộng hơn, HPE kết hợp X10000 với Data Fabric để hỗ trợ truy cập dữ liệu phân tán có quản trị. Nút xử lý thông minh dữ liệu của X10000 tạo siêu dữ liệu, phân loại và các biểu diễn nhúng ngay khi tiếp nhận dữ liệu. Siêu dữ liệu mô tả đặc điểm của tài liệu; biểu diễn nhúng chuyển nội dung thành các dãy số để hỗ trợ tìm kiếm theo ý nghĩa. Mục tiêu là giúp ứng dụng tìm đúng thông tin, giảm nội dung thừa và hạn chế việc phải thử lại. Quyền truy cập cũng phải được kiểm soát: tài liệu phù hợp với câu hỏi chưa chắc là tài liệu mà tác nhân được phép đọc.

HPE đang đặt cược vào sự kết hợp giữa chuẩn bị dữ liệu, quản trị truy cập và tái sử dụng bộ đệm, thay vì chỉ cung cấp thêm một tính năng lưu trữ. Với doanh nghiệp, phép thử đáng giá nhất là trên chính ứng dụng của mình: tỷ lệ truy cập trúng bộ đệm ra sao, mô hình bắt đầu trả lời nhanh đến mức nào, và thông lượng có được duy trì khi số tác nhân tăng lên hay không. Chất lượng truy xuất và khả năng hoàn thành đúng nhiệm vụ cũng quan trọng không kém tốc độ. Cần phân biệt rõ hai lợi ích: truy xuất tốt có thể giảm độ dài yêu cầu và số lần thử lại, còn tái sử dụng bộ đệm giúp giảm tính toán lặp. Cơ chế này không tự làm câu trả lời ngắn đi, cũng không bảo đảm nhà cung cấp dịch vụ AI sẽ giảm hóa đơn. Tiềm năng tiết kiệm nằm ở lượng công việc thực sự tránh được, không chỉ ở một biểu đồ hiệu năng.