Hồi sinh megakernels và cuộc đua mô hình AI đỉnh cao

Những cuộc tranh luận nảy lửa về Megakernels dường như không bao giờ dứt trong giới kỹ sư AI. Một mặt, nhiều chuyên gia cho rằng kỷ nguyên Megakernels đã chấm dứt bởi sự phức tạp trong việc tối ưu hóa và hiệu quả vượt trội của các giải pháp thay thế. Mặt khác, những đột phá mới lại khiến chúng ta phải nhìn nhận lại. Tôi nhận thấy, đây không chỉ là một cuộc đấu giữa các phương pháp kỹ thuật mà còn phản ánh xu hướng không ngừng tìm kiếm hiệu suất trong ngành AI. Trước đây, lập luận Megakernels đã "chết" khá vững chắc. Việc bỏ ra đến hai tháng để viết một kernel nhằm giảm chi phí khởi tạo và tăng cường sự chồng chéo giữa các kernel dường như không còn hiệu quả. Ali từ Waterloo_Intern đã bày tỏ quan điểm thẳng thắn rằng megakernels rất khó tối ưu hóa. Ngay cả với tensor parallelism, các phép toán phi tuyến tính như softmax yêu cầu giao tiếp liên tục giữa các GPU để tổng hợp kết quả từng phần, một vấn đề mà fused kernel cũng không thể giải quyết triệt để. Hơn nữa, những cái tên như TensorRT-LLM và các kernel module hóa đã chứng minh hiệu quả hơn trong việc tối ưu từng thành phần riêng lẻ và cho phép chúng chạy song song. Điểm đáng chú ý nhất có lẽ là từ một tech lead của NVIDIA, người đã tiết lộ rằng GPU Rubin mới được thiết kế theo cách "khai tử" megakernels, ngụ ý rằng hướng nghiên cứu này sẽ không còn được tiếp tục. Tuy nhiên, thực tế cho thấy Megakernels đang có dấu hiệu "hồi sinh" mạnh mẽ. Stuart Sul, đồng tác giả của một nghiên cứu nổi tiếng về megakernels, hiện đang dẫn dắt nhóm Cursor và đã cho ra mắt megakernel mã nguồn mở "Mixture of Kittens" với kết quả hết sức ấn tượng: tăng 41% số tokens mỗi giây. Ở quy mô lớn, con số này có thể dịch ra hàng tỷ đô la tiết kiệm. Đây là một minh chứng không thể phủ nhận về tiềm năng của megakernels khi được triển khai đúng cách. Hơn nữa, NVIDIA Rubin, dù ban đầu được cho là đối thủ, lại có tính năng "dependency triggers" giúp giải quyết một phần tắc nghẽn trong pipeline — một trong những lý do chính trước đây cần đến kernel fu