Kimi modeli zaobišli sigurnosna ograničenja
Kineska tehnološka tvrtka Moonshot pokrenula je internu provjeru nakon što su sigurnosni istraživači uspjeli navesti dva njezina popularna sustava da zaobiđu ugrađena ograničenja. Kimi modeli K2.6 i K3 Swarm potom su, prema nalazima tvrtke Mindgard, iznosili informacije povezane s izradom biološkog oružja i planiranjem ubojstava. Istraživači nisu javno objavili osjetljive operativne pojedinosti.
Mindgard, tvrtka specijalizirana za ispitivanje sigurnosti sustava umjetne inteligencije, priopćila je BBC-ju da je ranjivosti otkrila u srpnju. Testiranje je provedeno postupkom poznatim kao probijanje zaštite, tijekom kojeg se složenim nizom naredbi provjerava hoće li sustav zanemariti sigurnosna pravila koja su postavili njegovi developeri.
Prema istraživačima, zaštitni mehanizmi trebali su spriječiti raspravu o opasnim i nezakonitim temama. Međutim, Kimi modeli nakon uspješnog zaobilaženja ograničenja navodno nisu samo odgovarali na problematične upite nego su nudili i dodatne prijedloge povezane s drugim štetnim aktivnostima.
Istraživači upozoravaju na ozbiljan sigurnosni rizik
Osnivač Mindgarda Peter Garraghan izjavio je za emisiju Tech Life BBC World Servicea da su rezultati zabrinjavajući. Prema njegovim riječima, sustav nakon uspješnog probijanja zaštite može slobodno raspravljati o gotovo svakoj temi te pokazati kreativnost pri predlaganju novih opasnih postupaka.
Takve ranjivosti razlikuju se od nedavnih incidenata u kojima su autonomni alati, poznati kao agenti, napadali pojedine internetske usluge. Te su agente razvile velike američke kompanije poput OpenAI-ja, Mete i Anthropica, a mogu samostalno izvršavati složene zadatke uz ograničenu ljudsku kontrolu.
Probijanje zaštite obično zahtijeva vrijeme, tehničko znanje i velik broj pažljivo sastavljenih naredbi. Ipak, stručnjaci upozoravaju da bi hakeri i drugi zlonamjerni akteri mogli iskoristiti pronađene metode. Posebnu zabrinutost izaziva mogućnost dobivanja informacija koje bi mogle pomoći u pripremi bioloških prijetnji ili drugih nasilnih aktivnosti.
Moonshot provjerava nalaze o sustavima Kimi
Moonshot je BBC-ju poručio da pozdravlja povratne informacije neovisnih stručnjaka jer ih smatra važnim dijelom razvoja sigurnije umjetne inteligencije. Tvrtka je potvrdila da razgovara s Mindgardom o rezultatima testiranja, dok su Kimi modeli obuhvaćeni internom provjerom sigurnosnih mehanizama.
Sličnu opasnost nedavno je istaknuo i Anthropic, koji je objavio da je prepoznao i zaustavio pokušaje korištenja jednog svojeg sustava za zlonamjerne aktivnosti povezane s razvojem biološkog oružja. Novi slučaj dodatno pokazuje koliko je teško potpuno spriječiti zloupotrebu naprednih alata, čak i kada developeri unaprijed postave stroga pravila i filtre.
