A Skillprint Signal nevű ember-AI értékelő platformján futtatott, több mint 900 játékot magában foglaló kísérlet szerint a kizárólag emberekből álló csapatok 84 százalékos győzelmi arányt értek el, míg a csak AI-modellekből álló csapatok mindössze 14 százalékot. Az eredmény arra hívja fel a figyelmet, hogy a legfejlettebb AI-rendszerek is nehezen birkóznak meg azzal a kommunikációval, koordinációval és alkalmazkodóképességgel, amely az emberek melletti hatékony munkához kell.
A kísérlet olyan modelleket vetett össze emberi játékosokkal, mint az OpenAI, az Anthropic és a Google rendszerei, egy kooperatív platformjátékban, ahol a csapattársakat virtuális kötél kötötte össze, és csak együttműködéssel juthattak végig a kihívásokon. A kutatás nem azt mérte, hogy az AI mennyire old meg problémákat egyedül, hanem azt, hogy képes-e hatékonyan együttműködni az emberekkel, alkalmazkodni a viselkedésükhöz és jobb csapateredményekhez hozzájárulni.
A kísérlet három fő megállapítása:
- Az emberek messze jobbak az együttműködésben. A csak emberi csapatok 84 százalékos győzelmi arányt értek el a kizárólag AI-modellekből álló csapatok 14 százalékával szemben. A hatszoros különbség jelentős rést mutat a koordináció, a közös tervezés és a közös célok elérésében.
- Az emberi vezetés és az együttműködési stílus mérhető különbséget tesz. A két emberből és egy AI-ügynökből álló csapatok akkor teljesítettek jobban, ha az ember irányította a csapat stratégiáját, nem pedig az AI-ügynök. A csapattársak kommunikációja, koordinációja és a feladatok megosztása is befolyásolja az eredményt.
- A több AI-ügynök nem feltétlenül jelent jobb csapatot. Az AI-csapatok győzelmi aránya csökkent, ahogy a csapat kettőről három, majd négy ügynökre bővült: a további ügynökök kommunikációs és koordinációs nehézségeket okozhatnak ahelyett, hogy automatikusan jobb eredményt hoznának.
„Az AI már nagyon jó abban, hogy egyedül oldjon meg problémákat, de ez nem ugyanaz, mint jó csapattársnak lenni" - mondta Chethan Ramachandran, a Skillprint társalapítója és vezérigazgatója. „Az együttműködés alapvetően más képesség. Az, hogy ki vezet, hogyan kommunikálnak és hogyan alkalmazkodnak egymáshoz a csapattársak, drasztikusan megváltoztathatja a kimenetet. Ahogy a vállalatok egyre több AI-ügynököt vezetnek be a munkahelyen, nemcsak az a kérdés, hogy mennyire intelligensek ezek a rendszerek, hanem az is, hogy valóban segítenek-e az embereknek jobban együtt dolgozni."
A kísérlet menete
A Skillprint több mint 900 futtatást elemzett egy nyolc szintű kooperatív platformjátékban, amely kommunikációt, tervezést és koordinációt mért: 800 csak AI-s, 128 ember-AI és 25 csak emberi játékot, olyan modellekkel, mint a Claude Fable 5.1, a GPT-6 Astra, a Gemini 3.8 Flash és a Kimi K3. A játékosok akadályokat kerültek ki, rejtvényeket fejtettek és közösen értek célt, a virtuális kötél miatt koordinált mozgással; a Skillprint a játék előrehaladását, az újraindításokat, az eséseket, a kommunikációt és az összpontszámot követte nyomon.
A teljesítési arányokon túl az is kiderült, hogy az AI-val játszó emberek tovább vártak, gyakrabban kommunikáltak és többször estek el, mint a csak emberi csapatok - még úgy is, hogy a célt végül elérték.
Miért kell új mérőszám?
Ahogy az AI a kérdésekre adott válaszoktól a munkatársak melletti cselekvés felé fejlődik, az egyes modellek intelligenciájának mérése önmagában már nem elég. A hagyományos benchmarkok azt mérik, hogy egy modell mennyire pontosan vagy hatékonyan végez el egy adott feladatot. A Skillprint Signal ezt egészíti ki: azt vizsgálja, mi történik, ha az AI-nak emberekkel kell együttműködnie olyan dinamikus környezetben, ahol a siker közös döntéseken, kommunikáción és alkalmazkodáson múlik.
Állítsd be, hogy a PC Pult cikkeit az elsők között lásd a Google keresőben