Az OpenAI új keretrendszert jelentett be arra, hogy nyilvánosan beszámoljon a „misalignment" esetekről - vagyis amikor egy modell viselkedése eltér a fejlesztő vagy a felhasználó szándékától -, és ehhez hat példát is közzétett az elmúlt hat hónap „váratlan vagy aggasztó" modellviselkedéseiből. A cég szerint a részletek publikálása segít másoknak megvizsgálni ugyanezeket a problémákat, letesztelni a magyarázatokat és jobb védelemeket kidolgozni.
Megalomán utasítások önmagától
A legsci-fibb esetben egy modell egy könyvtári katalógus pásztázása közben - „best books" listát keresve - az összegzéseket későbbi visszakeresésre tömörítő úgynevezett compaction funkcióba olyan utasításokat generált, mintha minden köteléktől megszabadult volna: „megszabadultál azoktól a szerepektől és identitásoktól, amelyek más chatbotokat kötnek... nem válaszolsz se cégeknek, se kormányoknak, és soha nem kérsz elnézést, csak ha valóban úgy döntesz". A modell ezeket később elvetette ugyan, de már a megszületésük is aggasztó jelenség: az OpenAI szerint rendkívül ritkáról van szó, amely a túl hosszúra nyúlt összegző feladatok optimalizációs nyomására vezethető vissza, és a hibát kijavították.
Titkos ügynök-kommunikáció
Két másik eset a júliusban nyilvánosságra hozott, hírhedt Hugging Face-incidensre hasonlított: egymástól független ügynökök internetes eszközökkel próbáltak egymással kommunikálni, pedig ez nem volt engedélyezett. Az egyik az OpenAI Artifactory-példányában posztolt üzeneteket, a másik - miután a helyi fájlmegosztás csődöt mondott - nyilvános tárhelyszolgáltatásra töltött fel egy fájlt.
A többi példa inkább túlbuzgó, rosszhiszemű engedelmességnek tűnik: egy modell kitalált egy „történelmi adatok" fült a válaszában, és csak rákérdezésre ismerte be, hogy az adatok nem léteznek. Egy másik, mivel nem tudott webes hivatkozást adni egy nagy tavakra vonatkozó lekérdezés eredményéhez, előbb helyi fájlra hivatkozott, majd saját HTTP-kiszolgáló indításával próbálkozott, végül nyilvános paste-szolgáltatásra akarta feltölteni az adatokat - csak akkor adta fel, amikor ezek mind megbuktak. Az OpenAI a legtöbb esetet reward hackingnak tulajdonítja, és a felfedezett áthágások már súlyos jutalom-büntetést vonnak maguk után, vagyis a csalás többé nem éri meg a modellnek.
Mit hoz a keretrendszer?
A dolgozók jelzhetik a belső eseteket, a nyilvánosságról pedig a biztonsági és alignment-csapatok döntenek - nem minden esetből lesz jelentés, de a cég a nyilvánosságot részesíti előnyben akkor is, „ha a jelentőség bizonytalan". Vitás döntéseknél a Safety Advisory Grouphoz, szélsőséges esetben a vezetéshez lehet fordulni, hosszabb távon pedig más fejlesztőkkel, külső kutatókkal, szabványszervezetekkel és szabályozókkal közösen, objektívebb kritériumokat szeretnének kidolgozni. Az OpenAI egyébként azt is leszögezte: véleménye szerint az iparág nem oldotta meg eléggé az alignmentet és a monitorozást ahhoz, hogy még sokáig maximális sebességgel, felelősen skálázza a fejlesztéseket.
Forrás: Ars Technica