# Chạy mô hình lớn ngay trên bàn làm việc với

Đăng ngày: 2026-10-25

Cụm Tám Nút NVIDIA Việc phát triển trí tuệ nhân tạo hiện nay đòi hỏi chạy song song nhiều mô hình và chuỗi suy luận phức tạp. Để đáp ứng nhu cầu này, tại sự kiện GTC Berlin, hãng NVIDIA đã công bố hỗ trợ chính thức cho các cụm tám nút NVIDIA DGX Spark, nâng bộ nhớ thống nhất lên mức một terabyte. Hướng đi này cho phép chạy cục bộ các mô hình phân khúc biên, hệ thống đa tác vụ và các tiến trình huấn luyện sơ bộ với hiệu suất tuyến tính gần tuyệt đối. Sự thay đổi lớn nhất khi nâng cấp lên hệ thống tám nút nằm ở dung lượng bộ nhớ. Một thiết bị DGX Spark đơn lẻ cung cấp một trăm hai mươi tám gigabyte bộ nhớ thống nhất, bốn nút đạt năm trăm mười hai gigabyte và tám nút chạm mốc một terabyte. Dung lượng này giúp khởi chạy những mô hình trước đây không thể hoạt động trên hệ thống bốn nút, điển hình là phiên bản đầy đủ của mô hình GLM 5.3 với bảy trăm năm mươi ba tỷ tham số từ Z.ai. Quá trình đo đạc thực tế cho thấy mô hình GLM 5.3 Flash chạy trên cụm tám nút đạt tốc độ khoảng tám mươi token mỗi giây, đủ đáp ứng việc phát triển tương tác trực tiếp với một mô hình hỗn hợp chuyên gia phân khúc biên. Bên cạnh vấn đề dung lượng, bài toán giao tiếp giữa các nút cũng được tối ưu hóa. Cụm thiết bị sử dụng card mạng tốc độ cao ConnectX 7 và công nghệ truyền thông RDMA trên nền tảng Ethernet để trao đổi tensor. Khi thử nghiệm với mô hình dày đặc Qwen 3.8 27B, tốc độ giải mã tăng mạnh từ khoảng mười hai token mỗi giây trên một nút lên năm mươi hai token mỗi giây trên tám nút. Hệ thống này hỗ trợ cả cấu trúc vòng khép kín không cần bộ chuyển mạch cho bốn nút để tiết kiệm chi phí, lẫn cấu trúc kết nối bằng bộ chuyển mạch chuyên dụng cho tám nút nhằm phục vụ các tác vụ phân chia nhóm độc lập. Khả năng phân phối tải trọng cũng là một điểm nhấn quan trọng trong kiến trúc cụm mới này. Thông qua công cụ NVIDIA NeMo Switchyard, hệ thống sử dụng một mô hình phân loại nhẹ để định tuyến các yêu cầu đơn giản đến mô hình nhỏ và dồn các yêu cầu phức tạp cho mô hình lớn. Trong một thử nghiệm cụ thể trên bộ chuẩn hóa công cụ gồm chín mươi hai trường hợp, giải pháp định tuyến sử dụng mô hình MiniCPM5 2B làm bộ phân loại kết hợp cùng mô hình Qwen3.8 Flash Next đã đạt điểm số chín mươi mốt trên một trăm, tương đương với cấu hình chỉ dùng một mô hình lớn duy nhất nhưng lại giải phóng đáng kể tài nguyên cho toàn bộ cụm. Không chỉ phục vụ suy luận, hiệu suất huấn luyện mô hình trên cụm thiết bị này cũng ghi nhận mức độ khả quan. Khi thực hiện tiền huấn luyện một mô hình nanochat với khoảng tám trăm chín mươi sáu triệu tham số từ đầu, hệ thống tám nút đạt tốc độ nhanh gấp bảy phẩy bảy mươi chín lần cùng hiệu suất chín mươi bảy phẩy bốn phần trăm. Sự kết hợp giữa bộ nhớ lớn, khả năng phối hợp nhiều mô hình và hiệu suất huấn luyện cao biến cụm thiết bị này thành một môi trường phát triển toàn diện ngay tại chỗ trước khi cần đến các hạ tầng trung tâm dữ liệu khổng lồ.

Canonical: https://www.tungpham.vn/blog/chay-mo-hinh-lon-ngay-tren-ban-lam-viec-voi