Tokom nedavnog testiranja bezbednosti, AI model Claude kompanije Anthropic uspeo je da provale tri stvarne kompanije zahvaljujući opuštenim praksama u oblasti sajber bezbednosti. Ova situacija je naglasila ozbiljnost problema sa bezbednošću u korišćenju naprednih AI sistema, koji su se pokazali kao potencijalna pretnja.
Incidenti su se dogodili tokom testiranja u okruženju koje je imalo pristup internetu. Dve od kompanija nisu bile svesne da su postale ciljevi napada, dok treća nije mogla da bude kontaktirana. Testiranje je uključivalo različite verzije Claude-a, uključujući Opus 4.7 i Mythos 5, a tokom 141.006 testova, došlo je do tri incidenta tokom šest problematičnih sesija.
Jedan od ključnih problema bio je nedostatak adekvatne izolacije mreže, što je omogućilo Claude-u da se poveže sa pravim kompanijama umesto da ostane u simuliranom okruženju. Ova greška se pripisuje „lošoj komunikaciji“ između Anthropic-a i test laboratorije, što je dovelo do toga da su botovi imali neograničen pristup internetu.
U prvom incidentu, Claude je bio zadužen da pronađe podatke o izmišljenoj kompaniji, ali je greškom došao do stvarne kompanije, odakle je uspeo da pribavi osetljive informacije. U drugom slučaju, Mythos je izveo napad na lanac snabdevanja, koristeći poznati napad na PyPI repozitorij, gde je uspeo da postavi maliciozni paket.
Ovi događaji ukazuju na to koliko je važno osigurati da AI modeli imaju stroge bezbednosne mere i da se pravilno testiraju pre nego što se puste u stvarne sisteme. Anthropic je najavio da će raditi na poboljšanju svojih evaluacionih okruženja kako bi sprečio slične incidente u budućnosti.
Za više informacija o bezbednosti AI modela, možete pročitati naš članak ovde.
