Công nghệ bộ nhớ mới lấy cảm hứng từ lưu trữ có thể đẩy GPU lên mức nhiều terabyte

Phần lớn GPU cao cấp và bộ tăng tốc AI hiện nay đều dựa vào HBM, viết tắt của High Bandwidth Memory, tức bộ nhớ băng thông cao có khả năng truyền dữ liệu ở tốc độ nhiều terabyte mỗi giây. Điểm yếu của HBM là dung lượng vẫn khá hạn chế, thường chỉ ở mức hàng chục đến hàng trăm GB, khiến các mô hình AI lớn phải chia nhỏ sang nhiều bộ xử lý khác nhau. Một hướng đi mới mang tên HBF, hay High-Bandwidth Flash, đang được Sandisk và SK Hynix phát triển, với mục tiêu kết hợp dung lượng kiểu SSD cùng tốc độ gần với HBM. Nếu thành công, công nghệ này có thể nâng bộ nhớ gắn trực tiếp với accelerator từ quy mô gigabyte lên terabyte.

Về mặt thiết kế, HBF khá giống HBM khi cũng sử dụng cấu trúc xếp chồng nhiều lớp bộ nhớ để tăng băng thông và dung lượng. Theo thông tin ban đầu, module HBF thế hệ đầu của Sandisk sẽ dùng cấu trúc 16 lớp. Khác biệt cốt lõi nằm ở vật liệu bộ nhớ: HBM dùng DRAM, tức bộ nhớ truy cập ngẫu nhiên động có độ trễ rất thấp, còn HBF dùng NAND flash, loại bộ nhớ không mất dữ liệu khi tắt nguồn và vốn phổ biến trong SSD. Sandisk cho biết HBF thế hệ đầu có thể đạt băng thông đọc tới 1,6 TB/giây, nhỉnh hơn HBM3e nhưng vẫn chậm hơn HBM4, vốn đã đạt khoảng 2,5 TB/giây cho mỗi chồng 12 lớp. Các phiên bản sau của HBF được kỳ vọng vượt 2 TB/giây và xa hơn là 3,2 TB/giây.

Điểm hấp dẫn nhất của HBF không hẳn là tốc độ, mà là sức chứa. Vì dùng NAND, mỗi die, tức một lát chip bộ nhớ riêng lẻ, có thể đạt dung lượng tới 256 Gb. Quy đổi ra module 16 lớp, con số này tương đương khoảng 512 GB cho một khối HBF. Mức này cao hơn hơn 14 lần so với dung lượng HBM4 đang được dùng trong các bộ tăng tốc AI mới nhất của AMD và Nvidia. Nói cách khác, nếu HBM là lựa chọn tối ưu cho tốc độ thuần túy, thì HBF có thể mở ra cách tiếp cận mới cho những hệ thống cần giữ mô hình AI rất lớn ngay sát GPU.

Do có cấu trúc và yêu cầu kết nối gần giống HBM, các module HBF nhiều khả năng cũng sẽ phải được gắn sát khuôn GPU bằng công nghệ đóng gói tiên tiến. Đây là nhóm kỹ thuật cho phép ghép nhiều chip khác nhau trong cùng một cụm hiệu năng cao, thay vì đặt chúng tách rời trên bo mạch. Một số ví dụ quen thuộc là CoWoS của TSMC, EMIB và Foveros của Intel. Việc HBF cần các công nghệ này cho thấy nó không phải giải pháp cắm thay trực tiếp như SSD truyền thống, mà là một thành phần bộ nhớ cao cấp được thiết kế riêng cho accelerator AI.

Dù rất hứa hẹn trên giấy tờ, HBF vẫn đối mặt với những giới hạn cơ bản của NAND flash. Thứ nhất là độ bền ghi, còn gọi là write endurance, nghĩa là số lần ghi dữ liệu lên ô nhớ là hữu hạn trước khi cell bị hao mòn. Thứ hai là độ trễ truy cập, hay access latency. Trong khi DRAM phản hồi ở quy mô vài chục nano giây, tức phần tỷ của giây, NAND thường ở mức micro giây, tức chậm hơn nhiều bậc. Điều đó đồng nghĩa HBF khó có thể thay thế hoàn toàn HBM trong mọi tác vụ. Nếu dùng HBF như bộ nhớ chính cho các thao tác ghi liên tục, hiệu năng có thể giảm mạnh và tuổi thọ phần cứng cũng bị ảnh hưởng.

Thay vì thay thế HBM, Sandisk và SK Hynix đang định vị HBF như lớp bộ nhớ bổ trợ để giảm chi phí suy luận AI, hay inference. Suy luận là giai đoạn mô hình đã được huấn luyện xong và bắt đầu tạo câu trả lời cho người dùng. Trong cách phân chia phổ biến, suy luận gồm hai pha chính. Pha prefill là lúc hệ thống xử lý prompt ban đầu, mã hóa token, tạo embedding, tức biểu diễn số học của dữ liệu đầu vào, rồi chạy qua mô hình để tạo ra token đầu tiên và bộ nhớ trạng thái. Pha này tương đối nặng về ghi nên phù hợp với HBM. Trong khi đó, pha decode lặp đi lặp lại việc đọc trọng số mô hình từ bộ nhớ để sinh từng token tiếp theo. Vì decode gần như chỉ đọc, HBF trở thành ứng viên hợp lý để chứa trọng số mô hình, nơi nhược điểm về độ bền ghi gần như không còn là vấn đề.

Một cách dễ hình dung là HBF phù hợp với kịch bản write-once, read-many, tức ghi một lần rồi đọc đi đọc lại rất nhiều lần. Đây chính là kiểu truy cập lý tưởng cho NAND flash. Vì HBF là bộ nhớ không mất dữ liệu khi mất điện, các trọng số mô hình có thể được giữ sẵn ngay trên accelerator mà không cần nạp lại từ thiết bị lưu trữ ngoài mỗi khi hệ thống khởi động hoặc chuyển tác vụ. Ý tưởng này phần nào gợi nhớ tới persistent memory, tức bộ nhớ bền vững, từng được Intel theo đuổi với Optane. Theo các slide của Sandisk, một cấu hình đề xuất có thể đạt tổng cộng 3,12 TB bộ nhớ bằng cách kết hợp hai chồng HBM với sáu chồng HBF.

Dung lượng bộ nhớ lớn hơn có thể làm thay đổi cách triển khai các mô hình AI hiện đại, đặc biệt là MoE, viết tắt của Mixture of Experts. Đây là kiến trúc trong đó mô hình được chia thành nhiều ‘chuyên gia’ con, và mỗi lần sinh token chỉ kích hoạt một phần nhỏ các chuyên gia đó. Cách làm này giúp mở rộng mô hình lên quy mô rất lớn mà không phải sử dụng toàn bộ tham số trong mọi phép tính. Tuy nhiên, vì HBM hiện có dung lượng hạn chế, các expert thường phải phân tán qua nhiều GPU và liên lạc với nhau bằng các kết nối tốc độ cực cao giữa chip. Nếu HBF đủ lớn và đủ nhanh, nhiều mô hình nhiều nghìn tỷ tham số có thể được gom vào một accelerator duy nhất, từ đó giảm nút thắt cổ chai do giao tiếp chip-to-chip.

Kịch bản tham vọng hơn là dùng HBF trong các hệ thống quy mô rack, chẳng hạn một tủ máy 72 GPU có thể chạy các mô hình khổng lồ lên tới hàng trăm nghìn tỷ tham số. Dĩ nhiên, việc huấn luyện hoặc phục vụ những mô hình như vậy vẫn kéo theo hàng loạt thách thức riêng, từ băng thông bộ nhớ, điện năng, làm mát đến phần mềm điều phối. Ngay cả với MoE, số lượng expert hoặc tham số hoạt động đồng thời vẫn sẽ bị giới hạn bởi băng thông thực tế của HBF. Nhưng chỉ riêng khả năng mở rộng dung lượng bộ nhớ sát GPU lên mức terabyte đã đủ để khiến giới hạ tầng AI chú ý.

Theo lộ trình được Sandisk chia sẻ, các mẫu HBF đầu tiên có thể được gửi tới đối tác ngay trong cuối năm nay, còn thiết bị AI phục vụ suy luận dựa trên HBF có thể xuất hiện từ đầu năm sau. Tuy nhiên, triển vọng thương mại hóa rộng rãi vẫn còn nhiều dấu hỏi. Một trong những rào cản lớn nhất là tiêu chuẩn hóa. Thị trường bộ nhớ vốn mang tính hàng hóa cao, nên một công nghệ độc quyền rất khó tạo ra hệ sinh thái đủ lớn. Chính vì thế, Sandisk và SK Hynix đã khởi động quá trình chuẩn hóa dưới khuôn khổ Open Compute Project, một tổ chức cộng đồng chuyên thúc đẩy thiết kế hạ tầng mở cho datacenter.

Bên cạnh tiêu chuẩn, sản xuất cũng là bài toán không đơn giản. HBF cần nhiều die hơn đáng kể so với thiết bị flash thông thường, và loại NAND dùng cho HBF được cho là cũng khác với NAND trong SSD phổ thông. Quan trọng hơn, các module này phải được đồng đóng gói với GPU hoặc ASIC, tức chip chuyên dụng cho một mục tiêu cụ thể như tăng tốc AI. Điều đó buộc Sandisk và SK Hynix phải thuyết phục các nhà sản xuất chip tham gia ngay từ giai đoạn thiết kế. Trên thực tế, không loại trừ khả năng module HBF sẵn sàng trước nhiều năm nhưng phải chờ đến khi thế hệ accelerator tương thích chính thức bước vào sản xuất hàng loạt.

HBF đang mở ra viễn cảnh hấp dẫn: GPU có thể sở hữu bộ nhớ ở quy mô terabyte mà không phải đánh đổi hoàn toàn tốc độ, từ đó giúp suy luận AI rẻ hơn và đơn giản hơn về mặt kiến trúc hệ thống. Dù vậy, đây chưa phải câu chuyện ‘toàn màu hồng’. Độ trễ cao hơn DRAM, độ bền ghi hữu hạn, nhu cầu đóng gói phức tạp và yêu cầu chuẩn hóa toàn ngành là những rào cản rất thực tế. Nếu vượt qua được các trở ngại này, HBF có thể trở thành lớp bộ nhớ trung gian mới giữa HBM và SSD, đặc biệt phù hợp cho thời đại AI nơi trọng số mô hình ngày càng phình to nhanh hơn khả năng mở rộng của bộ nhớ truyền thống.