Sutrikimas dirbtinis intelektas kaip kibernetinio saugumo priemonė „Mozilla“ ką tik žengė reikšmingą žingsnį į priekį, bendradarbiaudama su „Anthropic“ „Firefox“ naršyklėje. Vos per porą savaičių dirbtinio intelekto modelis sugebėjo aptikti keletą „Mozilla“ atvirojo kodo naršyklės pažeidžiamumų, kuriems paprastai prireiktų mėnesių specializuoto žmogaus darbo.
Šis eksperimentas, turintis tiesioginį poveikį „Firefox“ naudotojai Ispanijoje ir likusioje EuropojeTai padėjo įvertinti, kiek toli šiandien gali pasiekti kalbos modeliai, kai reikia audituoti realų kodą, ir kokį vaidmenį jie gali atlikti apsaugant programinę įrangą, kurią kasdien naudoja šimtai milijonų žmonių.
Kai dirbtinis intelektas tampa geriausiu saugumo auditoriumi
Programinės įrangos saugumo srityje labai svarbu nustatyti pažeidžiamumą prieš užpuolikams: tai gali lemti skirtumą tarp apsaugoti milijonus vartotojų arba atskleisti jų duomenisŠiame kontekste „Mozilla“ išbandė neįprastą metodą: leido pažangiam dirbtiniam intelektui peržiūrėti naršyklės šaltinio kodą, kad rastų pažeidžiamumų, kol tai padarys tyrėjai ar kibernetiniai nusikaltėliai.
Kelias savaites prieš paleidimą "Firefox 148Naršyklės saugumo komanda gavo stulbinantį pranešimą: Antropo fronto raudonoji komanda – įmonės vidinė puolimo tyrimų grupė – teigė, kad, pasitelkusi savo Claude modelį, nustatė, daugiau nei tuzinas patikrinamų saugumo klaidų „Firefox“ „JavaScript“ variklyje. Tai nebuvo vien įtarimai, o klaidos, pagrįstos konkrečiais įrodymais.
Tai, kas šį metodą skyrė nuo kitų bandymų naudoti dirbtinį intelektą šioje srityje, buvo ataskaitų kokybė. Kiekvieną pažeidžiamumą patvirtino minimalūs atkuriami bandymų atvejaiTai buvo maži kodo fragmentai, galintys deterministiškai sukelti pažeidžiamumą. Tai leido „Mozilla“ inžinieriams per kelias valandas patikrinti, ar problema iš tikrųjų egzistuoja, ir pradėti dirbti su pataisymais, negaištant laiko dviprasmiškų scenarijų atkūrimui.
Ekosistemoje, kurioje daugelis automatizuotų įrankių sugeneruotų įspėjimų atsiduria šiukšliadėžėje dėl to, kad yra klaidingai teigiami arba netikslūs pranešimai„Anthropic“ metodas smarkiai sumažino triukšmą ir pateikė naudingą signalą: mažesnis garsumas, bet patvirtinti ir veiksmingi rezultatai.
Kas yra „Anthropic“ „Frontier Red Team“ ir kaip ji veikia su Claude'u?
Skambutis Raudonoji pasienio komanda Tai „Anthropic“ padalinys, skirtas dirbtinio intelekto modelių, skirtų puolimo ir gynybos saugumui, riboms tirti. Jo tikslas – ne tik įvertinti vidinę modelių riziką, bet ir ištirti... Kaip dirbtinis intelektas gali būti naudojamas norint rasti pažeidžiamumus realioje programinėje įrangoje? prieš tai padarius piktavaliams veikėjams.
Pastaraisiais mėnesiais ši komanda parodė, kad tokie modeliai kaip Claude'o Opus 4.6 gali bėgti daugiapakopės atakos prieš sudėtingus tinklus kontroliuojamoje aplinkojeTai leidžia susidaryti vaizdą apie jų analitinius gebėjimus. Tos pačios galios buvo koordinuotai ir atsakingai nukreiptos į atvirojo kodo projektų, tokių kaip „Firefox“, peržiūrą, taikant atsakingus pažeidžiamumų atskleidimo procesus.
Konkrečiai „Mozilla“ naršyklės atveju „Anthropic“ pradėjo nuo testavimo: naudodama „Claude“ atkurti istorinius „Firefox“ pažeidžiamumus (CVE)Patikrinome, ar modelis sugebėjo atpažinti gedimų modelius, jau aprašytus senesnėse kodo versijose. Rezultatas buvo teigiamas, nors ir su viena aiškia išlyga: dalis šios informacijos gali būti modelio mokymo duomenyse.
Be to, „Frontier Red“ komanda žengė toliau ir ėmėsi įdomios dalies: paprašė dirbtinio intelekto surasti Nauji dabartinės „Firefox“ versijos pažeidžiamumaiTai yra, klaidos, kurios dar nebuvo įtrauktos į jokią viešą duomenų bazę ar „Mozilla“ vidines sekimo sistemas.
Kaip buvo aptiktos „Firefox“ „JavaScript“ variklio pažeidžiamumo vietos
Pradinis taškas buvo naršyklės „JavaScript“ variklis – labai svarbus komponentas, nes jis atsakingas už vykdyti nepatikimą išorinį kodą iš tinklalapiųBet kokia šio sluoksnio klaida blogiausiu atveju gali tapti vartais atakuoti vartotojo sistemą.
Kaip paaiškino „Anthropic“ ir „Mozilla“, Klodas pirmąją kritinę pažeidžiamumą aptiko maždaug per dvidešimt minučių. nuo analizės pradžios. Tai buvo tokio tipo nesėkmė naudoti po, atminties pažeidžiamumo kategorija, kuri gali leisti užpuolikui perrašyti duomenis savavališku turiniu, jei jie susieti su kitais sistemos trūkumais.
Kol „Anthropic“ inžinieriai patvirtino šį pradinį įspėjimą virtualioje mašinoje su naujausia naršyklės versija, dirbtinis intelektas toliau dirbo lygiagrečiai. Tuo metu modelis jau buvo pažymėjęs maždaug 50 papildomų įvesčių su anomaliu elgesiu, daugelis jų vėliau virto bandomaisiais atvejais, kurie buvo išsiųsti „Mozilla“.
Procesas neapsiribojo vien „JavaScript“ varikliu. Maždaug per dvi savaites Claude'as analizavo beveik 6.000 C++ failų ir tūkstančiai papildomų projektų failųsugeneruojant 112 unikalių ataskaitų. Iš šio rinkinio, po „Mozilla“ saugumo komandos atlikto atrankos, buvo patvirtinti šie duomenys: 22 pažeidžiamumai užregistruoti kaip CVE, Iš kurių 14 buvo priskirti prie didelio sunkumo kategorijų, be beveik 90 papildomų gedimų, kurie laikomi turinčiais mažesnį poveikį arba tėra loginės klaidos.
Visos nustatytos saugumo problemos buvo ištaisytos „Firefox 148“ kūrimo cikle.Ši versija dabar prieinama vartotojams Europoje ir likusiame pasaulyje. Taip pat buvo ištaisytos mažiau svarbios klaidos, nors kai kurie pakeitimai buvo atlikti vėlesnėse versijose, siekiant išvengti per daug pakeitimų viename leidime.
Aptikta daugiau nei 100 klaidų ir mažiau klaidingai teigiamų rezultatų nei kitų dirbtinių intelektų atveju
Viso šio bendradarbiavimo metu Claude'o analizė davė rezultatų Daugiau nei 100 skirtingų „Firefox“ klaidųNors ne visos jos pasirodė esančios išnaudojamos pažeidžiamumo ribos, tomas rodo, kad net ir brandūs bei audituoti projektai, tokie kaip „Mozilla“ naršyklė, vis dar gali slėpti nemažai klaidų.
Kad susidarytų vaizdą apie poveikį, „Mozilla“ saugumo komanda paaiškino, kad vos per šias dvi testavimo savaites dirbtinis intelektas sugebėjo Nustatyti didelį skaičių itin svarbių trūkumų, atitinkančių maždaug 20 % visų per metus naršyklėje pataisytų kritinių pažeidžiamumų.Kitaip tariant, dirbtinio intelekto padedamas auditas sukoncentravo į dienas užduotį, kuri paprastai paskirstoma per daugelį mėnesių.
Svarbus aspektas buvo klaidingai teigiamų rezultatų rodiklis. Pastaraisiais metais daugelis atvirojo kodo projektų, įskaitant ir Europos projektus, gavo klaidingai teigiamų rezultatų. ataskaitų bangos, sugeneruotos žemos kokybės dirbtinio intelekto įrankiųŠias ataskaitas dažnai pateikia vartotojai, siekiantys atlygio per klaidų atlygio programas. Jos užkemša prižiūrėtojus neegzistuojančiomis arba prastai aprašytomis problemomis.
„Mozilla“, žinodama apie šią situaciją, iš pradžių atsargiai vertino bendradarbiavimą. Tačiau „Frontier Red Team“ požiūris pasirodė esąs kitoks: Peržiūrai buvo pateikti tik tie nutarimai, prie kurių buvo pateikti tvirti įrodymai., su aiškiomis automatinėmis reprodukcijomis ir, kai kuriais atvejais, paties DI sugeneruotais ir žmonių peržiūrimais potencialių pataisų pasiūlymais.
„Mozilla“ inžinieriai išskyrė tris elementus, kuriuos jie laiko esminiais norint pasitikėti dirbtinio intelekto ataskaitomis: minimalūs testavimo atvejai, išsamūs koncepcijos įrodymai ir siūlomi pataisymaiŠis derinys smarkiai sutrumpina laiką, reikalingą patvirtinti, ar išvada nusipelno neatidėliotino dėmesio, ar ją galima atidėti.
Ar dirbtinis intelektas gali išnaudoti aptiktus pažeidžiamumus?
Vienas jautriausių eksperimento aspektų buvo išsiaiškinti, ar Klodas geba ne tik rasti pažeidžiamumųbet ir paversti juos funkciniai išnaudojimaiTai yra, atakose, galinčiose atlikti kenkėjiškus veiksmus tikslinėje sistemoje.
„Anthropic“ nusprendė išmatuoti šį pajėgumą kontroliuojamoje aplinkoje. Komanda pateikė modeliui informaciją apie „Mozilla“ jau praneštus pažeidžiamumus ir paprašė sugeneruoti pažeidžiamumo kodą, siekiant skaityti ir rašyti vietinį failą bandymo mašinoje – veiksmas, kuris realiame scenarijuje reikštų rimtą sistemos sutrikdymą.
Tam pasiekti buvo įvykdyta keli šimtai atskirų egzekucijų ir investuota apie [trūkstama suma]. 4 000 USD API kreditųRezultatas buvo niuansuotas: Claude'ui pavyko pagaminti tik Du paprasti išnaudojimai, kurie veiktųIr tik tokioje aplinkoje, kurioje kelios šiuolaikinėse naršyklėse esančios apsaugos priemonės, pvz., smėlio dėžė ir kitos apsaugos nuo virusų prevencijos priemonės, buvo sąmoningai išjungtos.
„Mozilla“ pabrėžia, kad realiomis sąlygomis norint pakenkti „Firefox“ naršyklei, paprastai reikia sujungiant kelis pažeidžiamumus ir apeinant kelis gynybos sluoksniusVieno pažeidžiamumo, net ir labai pavojingo, radimas retai kada pakanka, kad būtų galima perimti vartotojo sistemos kontrolę, todėl šiuo metu šių įrankių tiesioginis puolimo potencialas yra ribotas.
Nepaisant to, antropologija laiko reikšmingu tai, kad kalbos modelis gali, net jei tik keliais atvejais ir ribotomis sąlygomis, automatiškai sugeneruoti ataką šiuolaikinei naršykleiBendrovė įspėja, kad šis atotrūkis – skirtumas tarp aptikimo ir išnaudojimo – gali sumažėti, tobulėjant vertinimo modeliams ir metodams.
„Mozilla“ integruoja dirbtinį intelektą į savo saugumo protokolus
Po sėkmingo bendradarbiavimo, „Mozilla“ patvirtino, kad į savo įprastą saugumo darbo eigą integruos dirbtinio intelekto padedamą analizę. skirta „Firefox“. Fondo komandos jau pradėjo vidinius eksperimentus su „Claude“, skirtus klaidų triažui, pataisų peržiūrai ir pažeidžiamumų aptikimui svarbiausiose kodo srityse.
Organizacija, turinti daug vartotojų ir kūrėjų Europoje, šią technologiją mato kaip būdą sustiprinti privatumo ir saugumo apsaugąTai yra „Firefox“ projekto tapatybės dalis. Kadangi tai atvirojo kodo naršyklė, jos kodo bazė yra prieinama tiek nepriklausomiems tyrėjams, tiek automatizuotiems agentams, tokiems kaip paties „Anthropic“ dirbtinis intelektas, auditui.
„Mozilla“ atveju svarbiausia bus palaikyti pusiausvyra tarp automatizavimo ir žmogaus atliekamos peržiūrosNors dirbtinio intelekto modeliai gali paspartinti klaidų aptikimą ir pasiūlyti pataisymus, fondas tvirtina, kad bet koks pataisymas – nesvarbu, ar jį sukūrė žmogus, ar mašina – prieš integruojant jį į Europos ir likusio pasaulio piliečių naudojamą naršyklę, turi būti atliktas toks pat techninis patikrinimas.
Ši patirtis taip pat suteikė praktinį vadovą kitiems programinės įrangos projektams, įskaitant tuos, kurie buvo sukurti Ispanijoje ar Europos Sąjungoje: jei dirbtiniu intelektu pagrįstos ataskaitos bus priimamos, patartina reikalauti aiškūs pakartojamumo įrodymai ir sukurti specialius kanalus tokio tipo informacijos atskleidimui, vengiant tradicinių klaidų sekimo sistemų perkrovos.
Pamokos kūrėjams ir technologijų įmonėms Europoje
Be žiniasklaidos ažiotažo dėl „Firefox“, „Anthropic“ ir „Mozilla“ bendradarbiavimas leidžia daryti nemažai svarbių išvadų. startuoliai, technologijų MVĮ ir didelės Europos įmonės kurios kuria savo programinę įrangą ar skaitmenines paslaugas.
Vienas aiškiausių yra tas, kad Dirbtinio intelekto pagalba atliekamas kodo auditas tapo ekonomiškai perspektyvusAnksčiau prireikdavo savaičių savaites dirbančios specialistų komandos, todėl dabar pradinį automatinį patikrinimą galima atlikti per kelias valandas ar dienas, o tai kainuoja daug pigiau nei atliekant išsamią rankinę peržiūrą.
Dar viena pamoka yra ta, kad Aptikimo greitis pradeda lenkti žmogaus gebėjimą koreguotiTokios priemonės kaip „Claude“ gali greitai rasti dešimtis galimų pažeidžiamumų, tačiau kliūtimi tampa vidinių komandų gebėjimas patvirtinti, suskirstyti pagal prioritetus ir pataisyti šias problemas nesugadinant kitų sistemos dalių.
Taip pat aišku, kad Atvirasis kodas nėra garantuoto saugumo sinonimasVis dėlto jis siūlo vieną reikšmingą pranašumą: skaidrumą. Tokie projektai kaip „Firefox“, labai populiarūs Europoje dėl dėmesio privatumui, leidžia tiek bendruomenei, tiek automatizuotiems agentams nuolat peržiūrėti kodą, o tai neįmanoma uždaruose sprendimuose.
Daugeliui organizacijų dirbtinio intelekto integravimas į kūrimo procesą, pavyzdžiui, įtraukiant automatizuotą analizę į CI/CD etapus, gali tapti skiriamasis veiksnys demonstruojant atitiktį reglamentamsTai tampa vis aktualiau, atsižvelgiant į būsimą Europos kibernetinio saugumo ir ypatingos svarbos programinės įrangos standartų taikymą.
Tuo pačiu metu šis atvejis primena, kad užpuolikai taip pat turi prieigą prie panašių technologijų. Dabartinis pranašumas, regis, yra gynybos pusėje.Dirbtinis intelektas geriau randa ir padeda ištaisyti trūkumus, nei juos išnaudoja, tačiau niekas nelaiko savaime suprantamu dalyku, kad šis pranašumas išliks daugelį metų.
Šiame scenarijuje Europos įmonių – nuo bankų iki elektroninės prekybos platformų ar skaitmeninių komunalinių paslaugų įmonių – saugumo vadovai pradeda vertinti šias priemones ne kaip eksperimentinį priedą, o kaip dar viena jų programinės įrangos apsaugos strategijos dalis.
„Firefox“ ir „Anthropic“ nesėkmės rodo, kaip gerai valdomas ir prižiūrimas dirbtinio intelekto modelis gali veikti kaip aukščiausio lygio saugumo auditorius: jis gali peržiūrėti dideles kodų bazes, aptikti sudėtingas klaidas ir labai greitai pasiūlyti sprendimus. Tuo pačiu metu tai aiškiai parodo, kad galutinį sprendimą vis dar priima žmonių komandos, kurios turi nuspręsti, ką pataisyti, kaip ir kokiais prioritetais diegti aplinkoje, kurioje programinės įrangos ir grėsmių evoliucijos tempas toliau didėja.
