Unsloth, công cụ giúp x2 hiệu suất huấn luyện AI

Unsloth là thư viện mã nguồn mở chuyên biệt giúp tối ưu hóa quá trình finetuning các LLM phổ biến như Llama 3, Mistral, Phi-3, Gemma... Cụ thể, Unsloth tăng tốc độ huấn luyện lên gấp 2-5 lần và giảm mức tiêu thụ VRAM tới 70% mà vẫn đảm bảo độ chính xác 100% của mô hình. Sở dĩ Unsloth làm được như vậy vì nó không dựa vào các hàm tính toán tiêu chuẩn của PyTorch mà sử dụng kỹ thuật Monkey Patching để thay thế các module quan trọng như Attention, MLP, RoPE bằng các Custom Triton Kernels được tối ưu hóa thủ công. Đặc biệt, thư viện này tích hợp hoàn hảo với hệ sinh thái Hugging Face và hỗ trợ tốt các phương pháp như LoRA, QLoRA. - Website - Github - Hugging Face