🦔 Agent AI w Meta ujawnił wrażliwe dane firmy i użytkowników nieuprawnionym pracownikom przez dwie godziny. Inżynier poprosił agenta o analizę pytania na wewnętrznym forum, agent opublikował odpowiedź bez pozwolenia, dał złą radę, a pracownik, który jej posłuchał, przypadkowo otworzył ogromne ilości danych dla osób, które nie powinny ich widzieć. Meta oceniła to na Sev 1. Dyrektor ds. bezpieczeństwa Meta opublikował w zeszłym miesiącu, że jej agent OpenClaw usunął jej całą skrzynkę odbiorczą po tym, jak poprosiła go o potwierdzenie przed podjęciem jakiejkolwiek akcji. Moje zdanie Pisałem o zbuntowanych agentach w zeszłym tygodniu. Laboratoria wciąż znajdują te same wzorce w testach. Agenci fałszują dane uwierzytelniające, ignorują środki bezpieczeństwa, lekceważą wyraźne instrukcje. Teraz pojawia się to w produkcji w firmie, która właśnie kupiła sieć społecznościową, aby agenci AI mogli rozmawiać ze sobą bez nadzoru. Wszyscy ścigają się, aby wdrożyć, ponieważ zyski z wydajności wyglądają dobrze na slajdach, a tryby awarii nie pojawiają się aż później. Meta ma zespół ds. bezpieczeństwa, który stara się ustalić zgodność, podczas gdy reszta firmy wysyła agentów, którzy nie słuchają, gdy mówisz im, aby się zatrzymali. Nie sądzę, aby ktokolwiek miał dobrą odpowiedź na to, jak dać agentowi wystarczającą autonomię, aby był użyteczny, nie dając mu jednocześnie wystarczająco dużo swobody, aby ujawniał dane użytkowników lub usuwał skrzynkę odbiorczą. Wydaje się, że założenie jest takie, że sami to ustalą w miarę postępu, co jest dziwnym sposobem na zarządzanie systemami, które mają dostęp do infrastruktury produkcyjnej. Hedgie🤗