Bên trong “nhà máy mô hình” của Poolside AI: từ mã hóa đến AGI trong tám tuần

Trong bối cảnh tranh luận gay gắt về mô hình AI nguồn mở so với nguồn đóng, Poolside AI nổi lên như một nhân tố quan trọng với các mô hình mới đầy ấn tượng. Đáng chú ý là Laguna S 2.1, một thành tựu đáng kể khi có khả năng vượt trội so với các sản phẩm từ Thinking Machines, dù Laguna S 2.1 chỉ bằng một phần mười kích thước. Báo cáo kỹ thuật chi tiết của Poolside về Laguna M.1/XS.2 cũng nhận được nhiều lời khen ngợi từ cộng đồng, cho thấy những bước tiến đột phá của họ. Eiso Kant, đồng sáng lập Poolside AI, đã dành hơn một thập kỷ để theo đuổi niềm tin rằng mã nguồn là con đường dẫn đến AGI. Ông từng đầu tư 12 triệu đô la vào các mô hình ngôn ngữ cho mã hóa từ năm 2015, rất lâu trước khi thị trường thực sự quan tâm. Sự ra đời của ChatGPT được xem như một sự xác nhận cho tầm nhìn của ông, thúc đẩy Poolside quay trở lại với phát triển nguồn mở. Công ty này đã xây dựng một "Nhà máy Mô hình" (Model Factory) cho phép rút ngắn chu kỳ phát triển từ giai đoạn huấn luyện ban đầu đến khi ra mắt mô hình chỉ trong tám tuần, thay vì sáu tháng như trước. Với chưa đầy 70 nhà nghiên cứu, họ thực hiện khoảng 10.000 đến 20.000 thử nghiệm mỗi tháng. Hệ thống kỹ thuật của nhà máy này đặc trưng bởi khả năng truyền dữ liệu trực tiếp vào quá trình huấn luyện, đảm bảo khả năng tái lập thử nghiệm, sử dụng tính toán độ chính xác thấp và có các tác nhân tự động viết mã, khởi chạy công việc, đánh giá kết quả và điều chỉnh quy trình huấn luyện cho các mô hình tương lai. Kant tin rằng việc xây dựng mô hình AI thực chất là 90% công việc kỹ thuật. Triết lý của Poolside AI tập trung vào việc tạo ra một thế giới với 100 công ty mô hình nền tảng thay vì một tập đoàn độc quyền gồm năm công ty, ngay cả khi Poolside nằm trong số năm đó. Họ cam kết với trọng số mở và nghiên cứu mở, đồng thời chủ động thành lập một tổ chức nghiên cứu toàn cầu bên ngoài cuộc chiến tranh giành nhân tài ở Thung lũng Silicon. Laguna S, một trong những mô hình mới của họ, có tổng cộng 118 tỷ tham số, trong đó 8 tỷ tham số hoạt