Fable 5.1 và bài toán bồ nông đạp xe: khi tư duy AI trở nên phức tạp

Anthropic vừa giới thiệu Claude Fable 5.1, phiên bản mà họ tự tin tuyên bố "thiết lập một tiêu chuẩn mới cho lập trình, công việc tri thức và các tác vụ giải quyết vấn đề dài hạn". Tôi đặc biệt chú ý đến khả năng xử lý các nghiên cứu khoa học của mô hình này, một lĩnh vực đòi hỏi sự chính xác và tư duy logic cao. Fable 5.1 đã đạt được điểm số 52.6% trên benchmark Terminal-Bench-Science 0.1 mới toanh (vừa được công bố vào ngày 27 tháng 8). Đây là một bước nhảy vọt đáng kể so với các mô hình trước: Fable 5 chỉ đạt 24.7%, Opus 5 là 29.0%, và ngay cả GPT-5.6 Sol cũng chỉ dừng ở mức 22.4%. Dù các benchmark khác chỉ ghi nhận cải thiện nhỏ, kết quả về khoa học này thực sự ấn tượng. Tuy nhiên, một chỉ số khác mà tôi thường dùng để đánh giá độ "nghĩ" của AI, đó là "bài toán bồ nông" (pelican benchmark), lại cho thấy nhiều điều thú vị hơn về cách mô hình này vận hành. Trong bài toán bồ nông kinh điển với lệnh "Generate an SVG of a pelican riding a bicycle", Fable 5.1 cung cấp năm cấp độ lý luận: thấp (low), trung bình (medium), cao (high), cực cao (xhigh) và tối đa (max), mà không có tùy chọn tắt hoàn toàn lý luận. Ở mức "low", mô hình trả về một hình ảnh sau 23.8 giây, với 1,998 output token và tiêu tốn 10.017 cent. Đáng ngạc nhiên là ở cả mức "low" và "medium", Fable 5.1 dường như bỏ qua hoàn toàn bước lý luận tóm tắt; mức "medium" cũng tương tự với 1,977 token, 23 giây và 9.912 cent. Tuy nhiên, mọi thứ bắt đầu thay đổi ở các mức cao hơn. Với mức "high", mô hình có thực hiện một chút lý luận, tập trung vào việc lập kế hoạch bố cục SVG (bầu trời, mặt đất, xe đạp, vị trí chim). Nó mất 29.6 giây, tạo ra 2,612 output token và chi phí 13.087 cent. Nhưng phải đến mức "xhigh", sự khác biệt mới thực sự rõ rệt: mô hình tiêu tốn 7 phút 51 giây, 36,767 output token và 1.83 đô la. Các dấu vết lý luận chi tiết hơn nhiều, bao gồm cả việc "thêm mắt, cánh duỗi xuống tay lái, chân màu cam chạm bàn đạp, lông đuôi nhỏ" và cố tình phóng đại kích thước bồ nông để tạo hiệu ứng hài hước. Ở mức "m