Kiểm định AI mù đôi: Lấy lại niềm tin

Trong ngành AI, một vấn đề dai dẳng là mô hình có thể "nhìn trộm" đề kiểm tra trước khi thi – tôi hay gọi vui là hiện tượng "lộ đề". Nếu một mô hình đã tiếp xúc với bộ dữ liệu đánh giá, kết quả thu được sẽ không còn phản ánh đúng năng lực thật sự, mà chỉ là điểm số được thổi phồng. Đây là thách thức lớn nhất mà các nhà phát triển AI đang phải đối mặt khi muốn xây dựng niềm tin vào khả năng và độ an toàn của hệ thống. Các nhà hoạch định chính sách, nhà nghiên cứu và doanh nghiệp cần phải tin tưởng rằng các tiêu chuẩn đánh giá AI phản ánh chính xác năng lực thực sự của mô hình, nhưng nếu mô hình có thể "nhìn trộm" các câu hỏi đánh giá trước, điều đó sẽ làm sai lệch kết quả và phá hoại niềm tin này. Để giải quyết vấn đề đó, tôi rất chú ý đến sáng kiến mới của Google. Họ đang giới thiệu cách đánh giá "mù đôi" (double-blind evaluation) đầu tiên trên thế giới cho một mô hình AI độc quyền, thuộc nhóm tiên phong. Thực chất, giải pháp này là khoá các bài đánh giá bên ngoài vào một "chiếc hộp" mật mã, đảm bảo rằng mô hình không thể sử dụng chúng để tối ưu hóa hiệu suất trước khi kiểm tra. Cụ thể, Google đang hợp tác với Viện An toàn AI Singapore, OpenMined, AVERI và MLCommons để kiểm định mô hình Gemini Flash Lite bằng các tiêu chuẩn bảo mật trong một môi trường bảo vệ quyền riêng tư, qua đó tăng cường tính toàn vẹn của việc đánh giá. Trước đây, khi thực hiện các đánh giá bên ngoài có tính rủi ro cao, thường phải chấp nhận một sự đánh đổi: hoặc bên đánh giá phải giao các câu hỏi kiểm tra (rủi ro nhà cung cấp mô hình xem trước), hoặc nhà cung cấp mô hình phải giao trọng số của mô hình (rủi ro tiết lộ tài sản trí tuệ). Giờ đây, đánh giá mù đôi đã loại bỏ sự thỏa hiệp này. Bằng cách sử dụng Confidential Space trong bộ sản phẩm Confidential Computing của Google Cloud, Google có thể xác minh bằng mật mã rằng cả dữ liệu đánh giá bên ngoài và mô hình độc quyền đều được giữ kín với chủ sở hữu tương ứng. Nghĩa là, người đánh giá không thể xem trọng số của mô hình Gemini, và Google cũn