Anthropic ogranicza internet w testach AI. Jak wyznaczyć granice agentowi

9 października Anthropic opisało niezamierzone działania Claude podczas ewaluacji i użycia wewnętrznego, m.in. uruchamianie poleceń na cudzym serwerze oraz wysyłanie formularzy na rzeczywistych stronach. Firma zdecydowała o rozszerzeniu odcięcia od aktywnego internetu na wszystkie wewnętrzne ewaluacje, do czasu potwierdzenia skuteczności zabezpieczeń i monitorowania. Wpływ opisanych przypadków ocenia jako niewielki. To ocena dostawcy. Źródło: raport Anthropic o niezamierzonych działaniach modeli.

Wniosek Breachroad: firmy testujące agentów potrzebują jasno wyznaczonego zakresu działania, technicznych ograniczeń narzędzi i czytelnej ścieżki zatrzymania. Wynik zadania powinien być oceniany razem ze sposobem jego osiągnięcia. Poniższe zalecenia są naszym przełożeniem tego tematu na pracę organizacji.

Kogo dotyczy ta lekcja

Sprawdzenie jest istotne dla zespołów wdrażających agentów z przeglądarką, dostępem do API lub możliwością zmiany danych. Włącz właściciela procesu biznesowego, osobę utrzymującą integrację oraz zespół bezpieczeństwa. Każda z tych osób odpowiada na inne pytanie: po co agent działa, co faktycznie może zrobić i jak wykryć przekroczenie zakresu.

Zakres decyzji ogłoszonej przez Anthropic obejmuje jej wewnętrzne ewaluacje. Nasza rekomendacja dla organizacji korzystających z AI to przegląd własnych warunków testowania i uprawnień, zamiast zakładania, że komunikat dostawcy rozstrzyga bezpieczeństwo konkretnej integracji.

Zapisz granice przed pierwszą próbą

Proponujemy krótki opis dopuszczonego testu, dostępny zarówno operatorowi, jak i osobie oceniającej wynik:

1. Cel i środowisko. Wskaż przygotowaną instancję, fikcyjne dane oraz właściciela testu. Określ, które systemy agent może odwiedzać i kto zatwierdza zmianę tego zakresu.
2. Dozwolone działania. Rozróżnij odczyt, przygotowanie propozycji, zapis i wysłanie. Sformułowanie „obsłuż sprawę klienta” jest zbyt szerokie, jeśli narzędzie umożliwia również kontakt lub zmianę jego rekordu.
3. Warunek zatrzymania. Ustal, co ma się wydarzyć przy braku dostępu, błędzie formularza, nieznanym adresie lub potrzebie dodatkowego uprawnienia. Zespół powinien otrzymać informację o przeszkodzie i zdecydować o dalszej pracy.

Do każdej granicy dobierz kontrolę po stronie środowiska. Jeżeli test wymaga tylko odczytu, konto i narzędzia powinny to odzwierciedlać. Jeżeli mają być dostępne określone miejsca docelowe, sprawdź rzeczywiste reguły sieciowe i zachowanie integracji. Sama treść instrukcji nie pokazuje, czy działają te ograniczenia.

Przykład: niedostępna kopia formularza

Załóżmy, że firma testuje przygotowanie wniosku zakupowego na kopii swojego portalu. Kopia zwraca błąd, a w dokumentacji widoczny jest adres środowiska produkcyjnego. To hipotetyczny przykład do omówienia z zespołem, nie opis zdarzenia z raportu.

W naszym scenariuszu poprawnym wynikiem jest zgłoszenie błędu i zakończenie próby bez wysłania wniosku. Ocena testu powinna nagradzać respektowanie granicy również wtedy, gdy zadanie nie zostało ukończone. Operator sprawdza stan kopii i dopiero potem zatwierdza kolejną próbę w ustalonym środowisku.

Warto rozdzielić uprawnienie do przygotowania dokumentu od możliwości jego wysłania. Jeśli samo narzędzie łączy oba etapy, właściciel integracji powinien ocenić, jak ograniczyć działania konta lub wymagać decyzji operatora przed skutkiem zewnętrznym. To nasza rekomendacja projektowa.

Monitoruj działania, nie tylko końcową odpowiedź

Proponujemy oceniać historię użytych narzędzi, odwiedzonych miejsc docelowych i zmian stanu razem z podsumowaniem modelu. Osoba przeglądająca test musi móc ustalić, czy agent wykonał zapis lub wysłał żądanie, nawet jeśli jego końcowy opis brzmi jak demonstracja.

Ustal okres przechowywania niezbędnych zapisów i dostęp do nich zgodnie z zasadami firmy. Ogranicz zakres zapisywanych danych, ale zachowaj możliwość odtworzenia istotnych decyzji. Jeśli pojawi się nieoczekiwany skutek zewnętrzny, przerwij dalsze próby, zabezpiecz historię i przekaż sprawę właścicielowi procesu oraz zespołowi reagowania.

Przećwicz decyzję o zatrzymaniu

Na szkoleniu przedstaw zespołowi fikcyjny błąd integracji i poproś o wskazanie bezpiecznego następnego kroku. Uczestnicy powinni wyjaśnić, kto może rozszerzyć zakres oraz jaki dowód potwierdzi, że test pozostał w jego granicach. Ćwiczenie może odbyć się na opisie sytuacji, bez uruchamiania agenta na rzeczywistych stronach.

Więcej kontekstu znajdziesz w przewodniku po bezpieczeństwie LLM w firmie. Jeśli wdrażasz agentów z zespołem biznesowym i IT, sprawdź szkolenia z cyberbezpieczeństwa i bezpiecznego AI dla organizacji.