AI dần mô phỏng toàn bộ chu trình trí tuệ nhân tạo

Trong vài năm trở lại đây, tôi nhận thấy có một xu hướng rõ ràng: từng thành phần trong quy trình tạo ra trí tuệ máy móc đã chuyển từ do con người thực hiện sang do mô hình AI tự làm. Đây không phải là một quá trình từ từ mà là những cú "lật kèo" đầy bất ngờ, khi phiên bản tổng hợp lần đầu tiên chứng minh được giá trị cốt lõi tại các phòng thí nghiệm tiên tiến. Nếu nhìn kỹ, những gì chúng ta từng gọi là "dữ liệu tổng hợp", "tiêu chí tổng hợp", hay "môi trường học tăng cường đầu cuối" thực chất đang trở thành các dạng mô phỏng con người ngày càng tham vọng hơn – tuy ban đầu có thể kém hơn 10%, nhưng lại rẻ hơn 100 lần và nhanh hơn 10.000 lần. Quá trình này đã diễn ra theo từng giai đoạn rõ rệt. Năm 2022, tín hiệu khen thưởng là thứ đầu tiên được tổng hợp. InstructGPT đã đặt nền móng bằng cách thu thập ưu tiên của con người một lần, rồi huấn luyện một mô hình khen thưởng để các chính sách tối ưu hóa dựa trên đó thay vì con người trực tiếp. Constitutional AI còn đẩy xa hơn khi để AI tự phê bình dựa trên các nguyên tắc, và nghiên cứu của Lee cùng cộng sự sau này chỉ ra phản hồi của AI có thể sánh ngang với con người nhưng với chi phí thấp hơn nhiều. Đến khi LLM làm giám khảo trở thành phương pháp đánh giá mặc định (như MT-Bench, AlpacaEval), toàn bộ bộ máy phê duyệt đã chạy trên các mô hình tự đánh giá lẫn nhau. Năm 2023 chứng kiến sự chuyển dịch sang dữ liệu huấn luyện. Loạt Phi của Microsoft với thông điệp "Textbooks Are All You Need" đã chứng minh rằng một mô hình nhỏ huấn luyện trên dữ liệu tổng hợp, chất lượng sách giáo khoa do LLM tạo ra có thể vượt xa số lượng tham số của nó. Apple cũng có bước đi tương tự với WRAP, tổng hợp lại toàn bộ web bằng LLM để quá trình pre-training hiệu quả hơn gấp 3 lần. NVIDIA Nemotron-4 340B sau đó đã ra mắt với tính năng chính là pipeline tạo dữ liệu tổng hợp có giấy phép mở. Cùng năm đó, ngay cả "người thầy" cũng được AI thay thế. Stanford’s Alpaca chỉ với 600 USD tinh chỉnh trên các hướng dẫn do GPT tạo ra đã có thể sao chép phần