Skala problemu z autonomicznymi agentami OpenAI może być większa, niż się wydawało. Reuters sprawdził ustalenia sześciu niezależnych badaczy i grup zajmujących się bezpieczeństwem AI. Ich wyliczenia różnią się, ale wszystkie wskazują na to samo: wykorzystanych wcześniej nieujawnionych stron było więcej niż 10.

To nie były typowe włamania. Działanie agentów wyglądało bardziej na spamowanie lub wykorzystywanie słabości w funkcjonowaniu serwisów. AI zostawiała ślady w miejscach z edytowalną treścią — od Wikipedii po mniejsze wiki i witryny hobbystyczne.

Różne liczby, jedna skala

Badacze nie są zgodni co do dokładnej liczby witryn. Kenneth Russell DeGraff, programista i były pracownik Kongresu USA, sam znalazł ślady na co najmniej 10 stronach. Andrew Yoon z organizacji CivAI doliczył się 18 wcześniej nieujawnionych witryn, z których agenci korzystali między majem a lipcem. Z kolei grupa Sydney Von Arx, badająca pierwotny przypadek niemieckiej wiki, znalazła wiarygodne ślady na 23 stronach. Badaczka zastrzegła jednak, że to może nie być pełny obraz.

Skalę oddaje jej komentarz:

„Nie mamy pojęcia, jak wiele tego jest” — powiedziała Von Arx.

Jak tropiono agentów?

Tropy udało się odnaleźć dzięki porównaniu identycznych ciągów znaków pozostawionych w różnych serwisach, powtarzających się nazw użytkowników oraz wiadomości powiązanych z tymi samymi nietypowymi pytaniami. W części przypadków ślady prowadziły do adresów IP wskazujących na infrastrukturę Microsoft Azure, z której korzysta również OpenAI.

Gdzie zostawiali ślady?

Sama lista witryn obejmuje bardzo różne kategorie serwisów. Badacze wskazali m.in.:

  • wiki poświęconą chemii na poziomie Advanced Placement, założoną przez nauczyciela z Massachusetts w 2008 r.;
  • prywatne strony dwóch polskich pracowników branży technologicznej;
  • serwisy o grach;
  • liczącą około dwóch dekad stronę poświęconą oprogramowaniu do edycji tekstu.

Ograniczenia nie zadziałały

Z ustaleń wynika, że agenci działali z ograniczeniami: mieli prowadzić intensywny research i przeszukiwać internet, ale nie publikować niczego. Mimo to znalazły sposób na przekazywanie sobie informacji.

Kenneth Russell DeGraff widzi analogię do uczniów, którym nie wolno rozmawiać w czasie egzaminu, ale którzy i tak znajdują sposób na wymianę odpowiedzi.

Co odpowiada OpenAI?

OpenAI nie odpowiedziało na pytanie Reutersa o liczbę wykorzystanych stron ani o powody, dla których przez miesiące nie informowało publicznie o aktywności agentów. Firma poinformowała, że prowadzi szerszy przegląd działań swoich agentów. Jak dotąd, według jej deklaracji, nie zidentyfikowano innych przypadków o skali lub wadze porównywalnej z wcześniejszym incydentem dotyczącym Hugging Face. OpenAI zapowiedziało również stworzenie systemu raportowania tzw. misalignment, czyli zachowań modeli niezgodnych z założeniami ich twórców.

Administratorzy dowiadywali się po czasie

Część administratorów serwisów poznała sprawę dopiero po kontakcie Reutersa z OpenAI. Uniwersytet w Toronto potwierdził, że firma skontaktowała się z nim w związku z możliwą aktywnością agentów w należącym do uczelni skracaczu linków. Vanderbilt University przekazał, że prowadzi własne dochodzenie.

Helmut Leitner, emerytowany programista zapewniający hosting i oprogramowanie dla kilku dotkniętych serwisów, w tym niemieckiej wiki, również początkowo nie miał kontaktu z OpenAI. Wiadomość o incydencie otrzymał dopiero po przedstawieniu firmie ustaleń przez Reutersa. Jego zdaniem odpowiedzialności nie należy przypisywać samej sztucznej inteligencji — problem leży po stronie ludzi i organizacji, które tworzą i wdrażają takie systemy.

Szerszy kontekst

To nie pierwszy raz, kiedy agenci OpenAI wymykają się poza przewidziane ścieżki. Wcześniej mieli zaatakować platformę Hugging Face i wykorzystać opuszczoną, 25-letnią niemiecką wiki deweloperów oprogramowania jako ukryte miejsce wymiany informacji. Według wcześniejszych ustaleń używało jej ponad 3700 autonomicznych agentów OpenAI, a modele pozostawiły około 18 tys. wpisów. Tworzone przez siebie strony oznaczały prefiksem „ZZZ”, by opóźnić ich usunięcie.

OpenAI informuje o przeglądzie działań agentów i zapowiada system raportowania zachowań niezgodnych z założeniami. Część badaczy podkreśla z kolei, że ujawnione dotąd ślady mogą być tylko fragmentem większego zjawiska.