LOGIC là kết quả của hơn một năm làm việc chăm chỉ từ đội ngũ @inference_net. Đây là cách mạnh mẽ nhất để đảm bảo rằng nhà cung cấp suy diễn của bạn không làm điều gì mờ ám. Nó hoạt động ngay lập tức với @vllm_project, @OpenRouterAI và bất kỳ nhà cung cấp nào trả về logprops.
Inference
Inference8 thg 11, 2025
Hôm nay, chúng tôi phát hành LOGIC: Một phương pháp mới để xác minh suy diễn LLM trong các môi trường không tin cậy. - Phát hiện thay thế mô hình, lượng tử hóa và các cuộc tấn công thời gian giải mã - Hoạt động ngay lập tức với @vllm_project, @sgl_project, @OpenRouterAI, và nhiều hơn nữa (chỉ cần logprops) - Bền vững trên các loại GPU và cấu hình phần cứng khác nhau - Tải tính toán thấp (~1% tổng chi phí) Blog: Mã nguồn:
@inference_net @vllm_project @OpenRouterAI Đây là một vấn đề cực kỳ khó khăn để giải quyết, với nhiều sắc thái và trường hợp đặc biệt. Xin gửi lời cảm ơn đến @AmarSVS, @francescodvirga và @bonham_sol vì tất cả những nỗ lực của họ.
4,1K