LLM đối mặt thử thách với thông tin sai lệch trong hội thoại y tế đa lượt

Trong bối cảnh công nghệ AI đang ngày càng tích hợp sâu rộng vào các lĩnh vực nhạy cảm như y tế, khả năng xử lý thông tin phức tạp và sai lệch của các mô hình ngôn ngữ lớn (LLM) trở thành một mối quan tâm hàng đầu. Một nghiên cứu mới trên arXiv đã đặt ra câu hỏi về việc liệu các LLM có thể đáng tin cậy trong việc phát hiện và chỉnh sửa những hiểu lầm cơ bản của bệnh nhân, đặc biệt là trong các cuộc trò chuyện kéo dài nhiều lượt. Đây là một vấn đề then chốt bởi lẽ giao tiếp y tế an toàn không chỉ là trả lời câu hỏi mà còn phải xác định và sửa chữa những niềm tin sai lệch ẩn sâu. Để đi sâu vào vấn đề này, các nhà nghiên cứu đã giới thiệu ThReadMed-QA, một bộ dữ liệu đối thoại y tế đa lượt hoàn toàn mới. Bộ dữ liệu này tổng hợp 2.437 chuỗi hội thoại giữa bệnh nhân và bác sĩ, bao gồm 8.204 cặp hỏi-đáp, được chắt lọc từ các tương tác thực tế của bệnh nhân trên AskDocs. Mục tiêu chính của ThReadMed-QA là cung cấp một công cụ đánh giá có hệ thống để xem xét khả năng của các mô hình trong việc phát hiện và hiệu chỉnh thông tin sai lệch trong bối cảnh đa lượt của cuộc trò chuyện. Sử dụng khuôn khổ đánh giá LLM-as-a-Judge dựa trên thang điểm, nghiên cứu đã tiến hành đánh giá năm mô hình ngôn ngữ lớn dựa trên khả năng của chúng trong việc xác định và chỉnh sửa thông tin sai lệch. Kết quả cho thấy một xu hướng đáng lo ngại: ngay cả các mô hình tiên tiến nhất cũng bị suy giảm đáng kể về hiệu suất qua các lượt đối thoại tiếp theo. Cụ thể, các mô hình như GPT-5 và Claude-Haiku có thể sửa chữa các giả định sai lệch ban đầu với tỷ lệ khoảng 85%, nhưng tỷ lệ này giảm xuống xấp xỉ 50% chỉ sau hai lượt hỏi tiếp theo. Phân tích sâu hơn, bao gồm cả phân tích oracle thay thế đầu ra của mô hình bằng phản hồi của bác sĩ, cho thấy phần lớn sự suy giảm hiệu suất này bắt nguồn từ sự lan truyền lỗi (error propagation) – tức là những lỗi từ các lượt trước tiếp tục ảnh hưởng đến các lượt sau. Đáng chú ý là ngay cả khi được cung cấp ngữ cảnh chính xác, hiệu suất của mô hình vẫn chưa hoàn hảo. Điều