LOGIC jest wynikiem ponad roku ciężkiej pracy zespołu @inference_net. To najrobustniejszy sposób, aby upewnić się, że twój dostawca wniosków nie robi nic podejrzanego. Działa od razu z @vllm_project, @OpenRouterAI i każdym dostawcą, który zwraca logprops.
Inference
Inference8 lis 2025
Dziś wydajemy LOGIC: nową metodę weryfikacji wnioskowania LLM w środowiskach bez zaufania. - Wykrywa substytucję modelu, kwantyzację i ataki w czasie dekodowania - Działa od razu z @vllm_project, @sgl_project, @OpenRouterAI i innymi (wystarczy logprops) - Solidna w różnych typach GPU i konfiguracjach sprzętowych - Niskie obciążenie obliczeniowe (~1% całkowitego kosztu) Blog: Kod:
@inference_net @vllm_project @OpenRouterAI To był niezwykle trudny problem do rozwiązania, z wieloma niuansami i przypadkami brzegowymi. Podziękowania dla @AmarSVS, @francescodvirga i @bonham_sol za ich ciężką pracę nad tym.
4,1K