Huấn luyện tác nhân AI biết tưởng tượng trước khi hành động

Trong các bài toán phức tạp như trò chơi đẩy hộp Sokoban, chỉ một bước đi sai lầm có thể khiến tình huống trở thành ngõ cụt không thể gỡ. Để tránh những cú sảy chân đó, các mô hình trí tuệ nhân tạo phải học cách lường trước hậu quả của hành động trước khi thực hiện, nhất là khi phản hồi từ môi trường thực tế rất hạn chế hoặc các bước đi không thể đảo ngược. Các nhà nghiên cứu vừa giới thiệu Agima, một khung huấn luyện mới giúp tác nhân trí tuệ nhân tạo có khả năng hình dung tương lai trước khi ra quyết định.

Khung huấn luyện này sử dụng một mô hình toàn diện duy nhất để thực hiện ba nhiệm vụ gồm đề xuất hành động, tạo hình ảnh minh họa kết quả của hành động đó, và suy luận dựa trên những tương lai tưởng tượng này để chọn ra bước đi tối ưu trong môi trường thực. Thay vì bám cứng vào một kế hoạch đơn độc, tác nhân có thể giả lập một chuỗi hành động, khám phá các phương án thay thế và so sánh những kịch bản có thể xảy ra. Quá trình này bắt đầu bằng việc tinh chỉnh có giám sát để tích hợp năng lực đưa ra chính sách và mô hình hóa thế giới vào chung một mô hình, qua đó giúp hệ thống dự đoán tương lai và thực hiện các hình thức tưởng tượng cơ bản như tư duy hướng tới phía trước hoặc phân nhánh phản thực tế.

Sau bước tinh chỉnh ban đầu, đội ngũ phát triển tiếp tục áp dụng phương pháp học tăng cường nhằm dạy tác nhân cách suy luận dựa trên những hình ảnh tưởng tượng để lập kế hoạch hiệu quả hơn. Khung huấn luyện này đã được thử nghiệm trên bốn môi trường gồm Maze2D, Sokoban, Pacman và PushT, cho thấy khả năng tổng quát hóa sang các bối cảnh khó hơn chưa từng xuất hiện trong giai đoạn huấn luyện.

Kết quả thực tế cho thấy sự cải thiện rõ rệt về hiệu suất hoạt động của hệ thống. Khi được huấn luyện chỉ bằng phương pháp tinh chỉnh có giám sát trên bài toán Sokoban hai hộp, tác nhân Agima có thể giải quyết được 40 phần trăm số câu đố dạng bốn hộp dù chỉ nhìn thấy bảng thật năm nước một lần, trong khi bộ lập kế hoạch chỉ dựa vào hành động thông thường chỉ đạt 2 phần trăm.

Bước sang giai đoạn học tăng cường, nhiều hành vi mới đã xuất hiện tự nhiên trong cách tác nhân tận dụng khả năng tưởng tượng của mình. Hệ thống tự học cách sử dụng một định dạng thống nhất hoàn toàn mới chưa từng có ở giai đoạn trước, biết cách chỉ suy duy tiến về phía trước khi thực sự cần thiết, đồng thời tăng tần suất phân nhánh tại các điểm ra quyết định mang tính chất sống còn. Khả năng tự vẽ ra bức tranh kết quả từ hành động giúp tác nhân hiểu rõ khi nào và ở đâu cần nhìn xa trông rộng để lập kế hoạch.