AI và thế giới vật lý: khi dữ liệu không phải là tất cả

Trong khi cộng đồng AI đang mê mẩn với các mô hình ngôn ngữ khổng lồ, một lĩnh vực khác của khoa học lại âm thầm đặt ra những thách thức hoàn toàn khác biệt: thế giới vật lý liên tục. Tôi nghĩ, đây là nơi mà những ý tưởng "scaling law" quen thuộc bỗng chốc trở nên vô nghĩa. Giáo sư Anima Anandkumar từ Caltech, đồng sáng lập Accelerated Understanding, đã bắt tay vào phát triển mô hình thời tiết AI mã nguồn mở đầu tiên cách đây vài năm. Cô ấy gặp không ít hoài nghi từ giới chuyên gia, những người cho rằng thời tiết quá hỗn loạn, mô phỏng vật lý đòi hỏi siêu máy tính và dữ liệu thì không đủ. Tuy nhiên, chỉ trong vòng một năm, Anima và đội ngũ của mình đã cho ra đời FourCastNet, một mô hình dự báo cạnh tranh ngang ngửa với những mô phỏng dựa trên vật lý tốt nhất hiện có. Điều đáng nói là giờ đây, bất kỳ ai cũng có thể dự báo thời tiết chính xác trong thời gian ngắn chỉ bằng GPU dân dụng. Tôi thấy đây là một bước tiến quan trọng, bởi khác với ngôn ngữ, các hệ vật lý như thời tiết, phản ứng tổng hợp hạt nhân, hay dòng chảy chất lỏng lại vô cùng lớn, hỗn loạn và đa thang. Dữ liệu trong các lĩnh vực này cực kỳ hạn chế, chỉ vài chục đến vài trăm nghìn mẫu, không thấm vào đâu so với nhu cầu của các mô hình transformer "đói token". Thậm chí, độ phân giải mà vật lý yêu cầu đẩy độ dài ngữ cảnh lên đến hàng trăm tỷ, thậm chí nghìn tỷ, khiến cho việc "ném thêm token" không phải là lời giải. Để giải quyết những hệ thống phức tạp này, Anima đã tiên phong với kỹ thuật mang tên Neural Operators – một trong những phát triển lý thuyết đẹp mắt nhất của AI trong thập kỷ qua, theo tôi. Kỹ thuật này cho phép kết hợp dữ liệu và các định luật vật lý để xử lý đầu vào và đầu ra đa thang, thay vì mô hình hóa một lưới cố định, chúng ta mô hình hóa một hàm số tiến hóa qua nhiều thang đo. Nhờ đó, Anima và nhóm của cô có thể tích hợp các kiến thức vật lý tiên nghiệm. Ví dụ, để dự báo thời tiết toàn cầu, trái đất có hình cầu, và việc sử dụng cơ sở hàm cầu (Spherical Harmonics) phù hợp sẽ giúp mô hình