Automatyzacja weryfikacji wniosków z wiedzą zerową w rozproszonych sieciach obliczeniowych @inference_labs , @OpenGradient , @nesaorg Problem weryfikacji, czy wyniki wnioskowania sztucznej inteligencji w rozproszonych sieciach obliczeniowych zostały poprawnie obliczone, ma inne złożone ograniczenia niż w środowisku centralnego serwera. W strukturze, w której wielu uczestników uruchamia ten sam model w różnych środowiskach sprzętowych i programowych, trudno jest z góry założyć wiarygodność wyników obliczeń. W tym kontekście wiedza zerowa w uczeniu maszynowym pojawiła się jako technologia, która kryptograficznie dowodzi, że określony wejściowy sygnał został przetworzony w ustalony sposób przez ustalony model, generując określony wynik. Ta metoda jest oceniana jako odpowiednie narzędzie w środowisku rozproszonym, ponieważ pozwala na weryfikację zasadności wykonania bez ujawniania procesu obliczeniowego na zewnątrz. Jednak wnioskowanie sztucznej inteligencji z natury zawiera elementy nieokreśloności. Z powodu nieodwracalności operacji zmiennoprzecinkowych, nawet te same operacje mogą prowadzić do drobnych różnic w wynikach w zależności od kolejności obliczeń lub implementacji sprzętowej, a w środowisku GPU, które korzysta z obliczeń równoległych, te różnice są jeszcze bardziej wyraźne. Sieci rozproszone obejmują różnorodne urządzenia, od konsumenckich GPU po specjalne akceleratory, co prowadzi do akumulacji odchyleń obliczeniowych spowodowanych różnicami w systemach operacyjnych, sterownikach, strukturze pamięci i zestawach instrukcji. Weryfikacja kryptograficzna wymaga zgodności na poziomie bitów, dlatego te różnice środowiskowe mogą prowadzić do natychmiastowej porażki weryfikacji. Aby rozwiązać ten problem, systemy zkML kwantyzują operacje zmiennoprzecinkowe do postaci stałoprzecinkowej i przekształcają operacje sieci neuronowych w formę obwodów arytmetycznych. Ramy takie jak JSTprove, EZKL, RISC Zero wyrażają konwolucje, mnożenie macierzy, funkcje aktywacji itp. jako zbiór ograniczeń, co czyni proces wnioskowania możliwym do udowodnienia. Proces ten gwałtownie zwiększa złożoność obwodu w zależności od głębokości i rozmiaru modelu, a czas i zużycie pamięci potrzebne do generowania dowodów rosną nieliniowo. Z rzeczywistych wyników pomiarów wynika, że dowody zkML dla całego modelu wymagają od kilku tysięcy do kilkudziesięciu tysięcy razy wyższych kosztów niż ponowne obliczenie tego samego wnioskowania. Taka struktura kosztów stanowi kluczowe ograniczenie przy projektowaniu zautomatyzowanej weryfikacji wniosków w sieciach rozproszonych. Jeśli koszt generowania dowodów jest wyższy niż wątpliwości co do wyników wnioskowania, weryfikacja traci sens ekonomiczny. W związku z tym rzeczywiste systemy przyjmują strategię selektywnej weryfikacji tylko kluczowych operacji lub wrażliwych części zamiast dowodzenia całego modelu. DSperse od Inference Labs dzieli model na wiele fragmentów i weryfikuje tylko te części, które są szczególnie ważne, co znacznie zmniejsza zużycie pamięci i koszty dowodów. Ta metoda nie zapewnia pełnego dowodu dla całkowitych obliczeń, ale przyczynia się do uzyskania efektywności weryfikacji w stosunku do kosztów. Zautomatyzowany pipeline weryfikacji oparty jest na tych strategiach selektywnej weryfikacji. Pipeline JSTprove od Inference Labs przekształca model do postaci stałoprzecinkowej, a następnie kompiluje graf w formacie ONNX do obwodów arytmetycznych i generuje dowody za pomocą systemu dowodowego opartego na GKR. Wygenerowane dowody są weryfikowane na łańcuchu lub poza łańcuchem, a w rzeczywistości w określonej sieci rozproszonej regularnie przetwarzane są liczne dowody. OpenGradient zaprojektował strukturę równoległego wykonania o nazwie PIPE, która umożliwia jednoczesne przetwarzanie wielu żądań wnioskowania i wybór jednego z trzech trybów: zkML, zaufane środowisko wykonawcze lub wykonanie bez weryfikacji dla każdego żądania. Dzięki temu koszty weryfikacji nie stają się bezpośrednim wąskim gardłem dla generacji bloków lub całkowitej przepustowości. Nesa przyjmuje podejście łączące automatyzację weryfikacji z ochroną obliczeń. Wykorzystuje strukturę, w której dane wejściowe są rozproszone w zaszyfrowanej formie na wielu węzłach, a wnioskowanie jest przeprowadzane w jednostkach zaszyfrowanych, a następnie wyniki są agregowane. W tym procesie wybór węzłów i podział ról są regulowane przez weryfikowalne liczby losowe i techniki kryptograficzne, a procedura składająca się z etapów zobowiązania i ujawnienia zapobiega oszustwom. Taki sposób zapewnia nie tylko integralność wyników wnioskowania, ale także poufność danych wejściowych i parametrów modelu. Integracja weryfikacji opartej na zkML w rozproszonych sieciach obliczeniowych wyraźnie oddziela role wykonania i weryfikacji. Strategia równoległego przetwarzania OpenGradient umożliwia jednoczesne przetwarzanie wielu wniosków, podczas gdy warstwa koordynacyjna Nesa odpowiada za podział ról i zachęt między węzłami. Warstwa dowodowa Inference Labs ma na celu kryptograficzne potwierdzenie, że rzeczywiste obliczenia zostały wykonane poprawnie. W ten sposób, gdy każda warstwa jest oddzielona, zautomatyzowana weryfikacja jest realizowana jako połączenie wielu komponentów, a nie jako pojedyncza technologia. Struktura zachęt jest również kluczowym elementem automatyzacji. Nesa zachęca uczestniczące węzły do uczciwego działania poprzez strukturę stakowania i ujawniania zobowiązań, a Inference Labs rozdziela nagrody na podstawie zdolności do generowania dowodów i dokładności. Usługa oparta na cyfrowym bliźniaku OpenGradient przekształca prawo dostępu do zweryfikowanych wyników wnioskowania w wartość ekonomiczną. Taka struktura została zaprojektowana tak, aby utrzymać pewien poziom zaufania nawet bez centralnego zarządcy. Niemniej jednak zautomatyzowana weryfikacja wniosków zkML ma wyraźne ograniczenia. Asymetria między kosztami generowania błędnych wyników a kosztami dowodzenia poprawnych wyników pozostawia możliwość ataku. Błędy w procesie konwersji obwodów, opóźnienia w generowaniu dowodów, zmowy między węzłami oraz odchylenia obliczeniowe spowodowane błędami sprzętowymi nie mogą być całkowicie wyeliminowane przy obecnej technologii. Systemy łagodzą te ryzyka poprzez replikację wykonania, reputację i sankcje ekonomiczne, ale zasadniczo ich nie eliminują. Podsumowując, automatyzacja weryfikacji wniosków z wiedzą zerową w rozproszonych sieciach obliczeniowych jest próbą kryptograficznego zapewnienia wiarygodności obliczeń, która wykazuje wyraźne osiągnięcia techniczne. Jednocześnie ujawnia strukturalne ograniczenia, takie jak wysokie koszty dowodów, ograniczenia środowiskowe i asymetria ekonomiczna. Obecne podejścia łączą selektywną weryfikację, równoległe wykonanie, zaszyfrowane obliczenia i projektowanie zachęt, aby wdrożyć rzeczywistą automatyzację, co jest oceniane jako przykład, który przybliża możliwość weryfikacji wniosków sztucznej inteligencji w rozproszonym środowisku do realistycznych granic. $NESA