AMD dùng AI để giảm một nửa RAM máy chủ, hứa hẹn giữ tới 99% hiệu năng

AMD đang đưa ra một lời chào hàng đáng chú ý cho doanh nghiệp: máy chủ có thể chỉ cần một nửa dung lượng DRAM mà vẫn giữ tới 99% hiệu năng trong một số tác vụ. Chìa khóa là Mext, công nghệ dùng trí tuệ nhân tạo để chuyển dữ liệu qua lại giữa bộ nhớ và thiết bị lưu trữ, thay vì giữ mọi thứ trong RAM đắt đỏ.

AMD mua lại công nghệ này từ Mext hồi tháng 6. Giờ đây, hãng đang chuẩn bị đưa phần mềm vào hệ sinh thái máy chủ Epyc thông qua giấy phép thương mại. Tuy nhiên, mức hiệu năng được quảng bá không phải lời bảo đảm cho mọi ứng dụng: kết quả phụ thuộc vào đặc điểm công việc và lượng bộ nhớ được thay thế.

DRAM là bộ nhớ truy cập ngẫu nhiên động, nơi máy chủ giữ dữ liệu để bộ xử lý lấy ra nhanh chóng. Nhưng dung lượng được hệ điều hành đánh dấu là đang sử dụng không đồng nghĩa toàn bộ dữ liệu ấy liên tục được truy cập.

Gary Smerdon, cựu giám đốc điều hành Mext và hiện là phó chủ tịch phụ trách phát triển kinh doanh tại AMD, dẫn một nghiên cứu của Meta cho thấy 50–80% số trang bộ nhớ có thể không được truy cập trong năm phút, mười phút hoặc lâu hơn. Trang bộ nhớ là các khối dữ liệu mà hệ điều hành quản lý khi phân bổ và di chuyển bộ nhớ.

Mext nhắm đến những trang ít được dùng này, thường gọi là dữ liệu “nguội”, để chuyển chúng sang bộ nhớ flash trên thiết bị lưu trữ NVMe. NVMe là giao thức truy cập lưu trữ tốc độ cao thường dùng trên ổ SSD. Theo Smerdon, tính trên mỗi bit, flash có thể rẻ hơn DRAM khoảng 50 lần và tiêu thụ điện ít hơn khoảng 30 lần, nhưng lại chậm hơn khoảng 500 lần. Chính khoảng cách tốc độ đó là bài toán khó nhất.

Ý tưởng dùng ổ lưu trữ để bổ sung cho RAM vốn không mới. Cơ chế hoán đổi bộ nhớ, hay swap, đã làm điều này từ lâu. Điểm yếu là khi ứng dụng cần một trang đang nằm trên ổ đĩa, thời gian chờ có thể khiến hiệu năng sụt mạnh.

Mext cố tránh tình huống ấy bằng cách dự đoán trước trang nào sắp được truy cập và đưa nó trở lại DRAM kịp thời. Nếu dự đoán đúng, ứng dụng và hệ điều hành gần như không nhận thấy dữ liệu từng rời khỏi bộ nhớ chính.

Theo Smerdon, mô hình chủ lực là một biến thể của kiến trúc transformer, nền tảng cũng được dùng trong những hệ thống AI như ChatGPT hay Claude. Thay vì dự đoán từ tiếp theo trong câu, mô hình của Mext dự đoán trang bộ nhớ tiếp theo mà hệ thống sẽ cần.

AMD cho biết mô hình được huấn luyện ban đầu trong chưa đầy một giây bằng một nhân xử lý Epyc, sau đó tiếp tục được tinh chỉnh theo hoạt động thực tế. Quá trình này không cần GPU, tức bộ xử lý đồ họa thường được dùng để tăng tốc AI.

Con số 99% xuất hiện trong thử nghiệm Apache Spark, nền tảng xử lý dữ liệu quy mô lớn: nhóm Mext cho biết hệ thống vẫn đạt mức hiệu năng này sau khi thay một nửa DRAM bằng flash.

Với PrimeTime của Synopsys, công cụ thuộc nhóm tự động hóa thiết kế điện tử, hay EDA, kết quả thấp hơn. Theo thử nghiệm do AMD công bố, cấu hình chuyển một nửa bộ nhớ sang flash giữ được khoảng 95% hiệu năng so với cấu hình chỉ dùng DRAM. Khi tỷ lệ còn 25% DRAM và 75% flash, hiệu năng giảm xuống khoảng 80%.

Những số liệu này cho thấy Mext không biến flash thành DRAM có tốc độ tương đương. Công nghệ tìm cách che giấu độ trễ bằng dự đoán và luân chuyển dữ liệu. AMD cho biết phạm vi ứng dụng đã mở rộng từ thiết kế chip, sáng tạo nội dung sang cơ sở dữ liệu và các quy trình AI tác tử, trong đó phần mềm AI thực hiện nhiều bước công việc liên tiếp.

Smerdon cho rằng với một số máy chủ có dung lượng bộ nhớ rất lớn, RAM có thể chiếm 60–90% giá thành hệ thống. Theo ước tính ông đưa ra, Mext có thể giúp giảm chi phí máy chủ doanh nghiệp tới 83% bằng cách thay bớt RDIMM, loại mô-đun DRAM có thanh ghi thường dùng trong máy chủ, bằng lưu trữ flash.

Ông cũng ước tính 145 hệ thống triển khai ban đầu đã giúp khách hàng tránh được khoảng 5 triệu USD chi phí mua DRAM. Đây là các con số từ phía nhà cung cấp, không nên được hiểu là mức tiết kiệm mặc định cho mọi doanh nghiệp.

Ngoài phí giấy phép và mức suy giảm hiệu năng có thể xảy ra, doanh nghiệp còn phải tính đến tài nguyên xử lý. Trong môi trường ảo hóa, phần mềm cần một nhân CPU cho mỗi máy ảo hoặc môi trường đám mây riêng ảo. Vì thế, chi phí tài nguyên có thể tăng theo số lượng môi trường được triển khai.

Mext sẽ chỉ dành cho phần cứng AMD và được bán dưới dạng giấy phép thông qua các nhà sản xuất thiết bị gốc, tức những đối tác cung cấp hệ thống máy chủ hoàn chỉnh. Với Linux, AMD cho biết chỉ cần bổ sung một trình điều khiển ở nhân hệ điều hành để sử dụng công nghệ.

Hãng còn cung cấp ứng dụng RAM View nhằm giúp doanh nghiệp xác định hệ thống và tác vụ nào phù hợp để bật Mext. Ở giai đoạn đầu, AMD đang làm việc với các đối tác như HPE để chuẩn bị những hệ thống sẵn sàng hỗ trợ công nghệ này. Giai đoạn tiếp theo mới hướng đến bán giấy phép và xuất xưởng nền tảng Epyc cài sẵn RAM View.

Trong bối cảnh nhu cầu xây dựng trung tâm dữ liệu AI gây sức ép lên nguồn cung bộ nhớ, việc giảm lượng DRAM cần mua có sức hấp dẫn rõ rệt. Nhưng thước đo thực tế vẫn là tổng chi phí sau khi tính cả giấy phép, tài nguyên CPU và mức hiệu năng phải đánh đổi trên chính ứng dụng của khách hàng.