Mô hình quyết định Jev: cơ chế AI mới của những con số

Tuần trước, TypeSafe AI đã giới thiệu Jev, một ví dụ đầu tiên cho loại mô hình mới mà họ gọi là "mô hình System One" — tôi thì thích cái tên "mô hình quyết định" hơn. Jev là một biến thể thú vị so với định dạng LLM thông thường: nó vẫn chấp nhận đầu vào là văn bản, nhưng thay vì cho ra văn bản, đầu ra lại là các số thập phân tương ứng với danh mục, câu hỏi có/không, điểm xếp hạng và cả điểm tự tin liên quan. TypeSafe mô tả Jev như một "cuộc gọi hàm trí tuệ tiên phong: đầu vào là dữ liệu không cấu trúc, đầu ra là các quyết định xác suất đã được phân loại". Điều đáng nói là Jev cực kỳ nhanh và rất rẻ. Các LLM thông thường tính phí dựa trên token đầu vào và đầu ra, với đầu ra thường có giá cao hơn đáng kể. Jev thì chỉ tính phí đầu vào, còn đầu ra miễn phí hoàn toàn, với mức giá cho mô hình đầu tiên là 0.042 USD cho mỗi triệu token đầu vào, thậm chí còn rẻ hơn GPT-5 Nano của OpenAI (0.05 USD/triệu token). Với Jev, bạn có thể đặt câu hỏi về văn bản hoặc dữ liệu bán cấu trúc. Tôi hình dung cách dùng là bạn tạo một đối tượng "state" chứa một chuỗi, một mảng chuỗi hoặc một tập hợp các cặp tên-giá trị, ví dụ như mô tả một bài báo, một khách hàng hay bất kỳ loại hồ sơ nào. Sau đó, bạn gửi đối tượng này đến API của Jev cùng với một hoặc nhiều câu hỏi, và sẽ nhận lại câu trả lời cho từng câu. Jev hỗ trợ ba loại câu hỏi: câu hỏi Yes/No (mà Jev gọi là "Noul", viết tắt của Bernoulli, theo phân phối Bernoulli) đưa ra một phát biểu và nhận lại một số thập phân từ 0 đến 1 thể hiện độ tự tin của mô hình về tính đúng đắn của phát biểu đó; câu hỏi lựa chọn, nơi mô hình chọn một trong các tùy chọn đã cung cấp và trả về điểm tự tin cùng phân phối xác suất trên tất cả các tùy chọn; và câu hỏi xếp hạng, nơi bạn cung cấp một chuỗi các mức độ số với mô tả, mô hình sẽ đưa ra một điểm thập phân trong phạm vi đó. API của Jev có thể nhận một tài liệu duy nhất (state) và nhiều câu hỏi như bạn có thể nhồi nhét vào cửa sổ ngữ cảnh, bởi các câu hỏi được đánh giá song song nên việc gửi nhiều câu hỏi m