Vo všetkých nasadeniach umelej inteligencie, ktoré som preskúmal v rôznych odvetviach, vyniká jeden vzorec: organizácie hľadajú riziko na nesprávnom mieste. Ich pozornosť sa zvyčajne sústreďuje na samotný model – vrátane jeho tréningových dát, bezpečnostných mechanizmov a správania. V praxi však práve tam veci zriedkakedy zlyhávajú.
Mnohé z najzávažnejších zraniteľností sa objavujú v okolitom systéme – v spôsobe konštrukcie promptov, v zdrojoch a dôveryhodnosti externých dát, v tom, k čomu má model povolený prístup a pod akými identitami funguje. Práve tu sú systémy umelej inteligencie najčastejšie vystavené riziku: na hraniciach medzi komponentmi, kde je riadenie zvyčajne najslabšie.
Hlbším problémom je priepasť medzi očakávaniami a realitou. Organizácie predpokladajú jeden typ zlyhania, no produkčné systémy zlyhávajú úplne iným spôsobom. Riziko sa rodí práve v tomto rozpore – v predpokladoch, ktoré neobstoja pred nárokmi škálovateľnosti, autonómie či integrácie.
Rovnaké mylné predstavy o zabezpečení umelej inteligencie sa objavujú znova a znova. Oplatí sa preskúmať päť z tých, ktoré sú najdôležitejšie.
PREČÍTAJTE SI TIEŽ → Dôvera rýchlosťou umelej inteligencie: Budovanie stratégie kybernetickej bezpečnosti pre AI
Mylná predstava č. 1: Ak je model zabezpečený, systém je zabezpečený
Toto je najčastejšia chyba, ktorú vídavam, a ľahko jej podľahnúť. Model pôsobí ako niečo nové, preto sa tímy sústredia na ochranné mechanizmy a testovanie a potom predpokladajú, že ich práca je hotová.
Takto však tieto systémy nezlyhávajú. Model je len jednou súčasťou oveľa väčšej infraštruktúry a väčšina zlyhaní nastáva na miestach, kde sa prepája s dátami, nástrojmi a inými systémami. Sústrediť sa výlučne na model je ako inštalovať vysokobezpečnostné dvere do budovy bez stien.
Ako to napraviť: Na zabezpečenie systému umelej inteligencie pristupujte k celému prostrediu ako k útočnej ploche. Zmapujte celý tok dát – od vstupov cez načítanie a pamäť až po nástroje a výstupy – a spravujte prompty, agentov, vektorové úložiská, identity a konektory ako vlastné aktíva s jasnými kontrolnými bodmi, zodpovednosťou a politikami, rovnako ako akýkoľvek iný kritický systém.
Mylná predstava č. 2: Prompt injection je len ďalší problém so vstupmi
Bezpečnostné tímy s prostredím webových technológií siahajú po známych nástrojoch, keď narazia na nový problém. V oblasti zabezpečenia umelej inteligencie ich však tento inštinkt môže zaviesť nesprávnym smerom.
Prompt injection pripomína SQL injection – kde systémy interpretujú škodlivý vstup ako príkaz – no správa sa výrazne odlišne. Tradičný softvér dokáže dôsledne oddeliť inštrukcie od dát. Veľké jazykové modely to spoľahlivo nedokážu. Spracúvajú inštrukcie aj dáta ako jeden textový tok a probabilisticky posudzujú, čo je čo.
Britské Národné centrum kybernetickej bezpečnosti (NCSC) je v tejto veci jednoznačné: prompt injection sa štrukturálne líši od SQL injection a je potrebné k nemu pristupovať odlišne.
Ako to napraviť: Filtre a detektory pomáhajú, ale samy o sebe problém neriešia. Najúčinnejšie záruky sú architektonické. Obmedzte prístup k nástrojom, presadzujte princíp minimálnych privilégií, izolujte nedôveryhodný obsah a deterministicky validujte volania nástrojov a ich parametre. Vyžadujte explicitné schválenie pre citlivé operácie, spúšťajte v izolovanom prostredí a dôsledne monitorujte. Tieto opatrenia znižujú pravdepodobnosť aj dopad kompromitácie, no riziko úplne neodstraňujú. Ak zostatkové riziko zostáva neprijateľné, daný prípad použitia nie je vhodný pre veľký jazykový model.
Mylná predstava č. 3: Výstupy umelej inteligencie sú len text – nepredstavujú skutočné riziko
Prvé nasadenia umelej inteligencie odmeňovali autonómiu. Tento prístup sa preniesol do produkčných prostredí, kde nemá miesto.
Výstupy umelej inteligencie môžu vyzerať ako neškodný text, no zriedkakedy ním zostávajú. V momente, keď sú odovzdané inému systému, môžu viesť k reálnym operáciám – odosielaniu e-mailov, dotazovaniu databáz, vykonávaniu kódu alebo mazaniu záznamov. V tomto kontexte úspešná prompt injection zdedí všetky schopnosti systému.
Práve tu sa riziko stáva skutočným: schopnosti systému sa stávajú schopnosťami útočníka.
Projekt Open Web Application Security Project identifikuje nadmernú agentnosť ako jedno z najzávažnejších rizík agentickej umelej inteligencie, pričom NCSC poznamenáva, že práve tu prompt injection prestáva byť otravou a začína byť narušením bezpečnosti.
Ako to napraviť: Riešenie je priamočiare: obmedzte, čo systém môže vykonávať, uplatnite prístup s minimálnymi privilégiami a považujte výstup modelu za nedôveryhodný, kým neprejde deterministickou validáciou na hranici vykonávania. Toto kompromitovaného agenta nezneutralizuje, no výrazne obmedzí rozsah škôd.
Mylná predstava č. 4: Využívanie externých dát robí umelú inteligenciu spoľahlivejšou a bezpečnejšou
Retrieval-augmented generation (RAG), kde modely čerpajú externé dáta, zlepšuje presnosť, no systémy nečiní bezpečnejšími. Výskum publikovaný organizáciou USENIX preukazuje, že narušenie malého počtu záznamov v znalostnej báze postačuje na spoľahlivú manipuláciu výstupov RAG vo veľkom rozsahu.
Každý pripojený zdroj dát sa stáva potenciálnym vstupným bodom. Ak sú tieto dáta nedôveryhodné, zastarané alebo zmanipulované, môžu ovplyvniť výstup modelu spôsobmi, ktoré je ťažké odhaliť.
Ako to napraviť: Ide o problém modelu aj dát a dodávateľského reťazca. Pristupujte k externým zdrojom ako k závislostiam, ktoré vyžadujú riadenie. Uplatnite kontroly proveniencie, validácie, prístupu na zápis, skenovania pri načítavaní, verzionovania, separácie zdrojov a správy zmien.
Mylná predstava č. 5: Spravovaná umelá inteligencia znamená, že bezpečnosť zabezpečuje poskytovateľ
Ľudia si často zamieňajú spravované služby s outsourcingom bezpečnosti. V skutočnosti je zodpovednosť zdieľaná, no zákaznícke bezpečnostné povinnosti zostávajú značné.
Poskytovateľ zabezpečuje samotnú službu. Vy zodpovedáte za všetko ostatné: aké dáta vstupujú do systému, kto má prístup, čo má model povolené vykonávať a ako sa výstupy využívajú.
Ako to napraviť: Buďte presní v tom, čo vlastníte, jasne zmapujte zdieľanú zodpovednosť a nepredpokladajte, že systém je bezpečný len preto, že je spravovaný. Preskúmajte kontroly poskytovateľa a následne samostatne eliminujte medzery v oblasti identity, nakladania s dátami, konfigurácie, monitorovania a integračnej bezpečnosti.
Čo by malo byť súčasťou každého nasadenia
Väčšina organizácií, ktoré hodnotím, vie vymenovať nasadenú umelú inteligenciu. Oveľa menej z nich mi vie povedať, kto ju vlastní, akých dát sa dotýka, čo je schopná vykonávať alebo čo sa stane, keď zlyhá. To poukazuje na problém riadenia.
Základy nie sú nijako zvlášť zložité – len sa uplatňujú nerovnomerne.
Minimálne by ste mali mať:
- Jasnú, vedením schválenú bezpečnostnú pozíciu v oblasti umelej inteligencie a definovanú ochotu akceptovať riziko, zosúladenú s konkrétnymi prípadmi použitia a typmi dát
- Úplný inventár vašich aktív umelej inteligencie (modely, prompty, agenti, datasety, vektorové úložiská, konektory, servisné účty a pluginy) s menovanými vlastníkmi
- Modely hrozieb definujúce hranice dôvery a presadzujúce politiky na predvídateľných kontrolných bodoch
- Dôkladné kontroly integrity celého dodávateľského reťazca a dátového kanála vrátane proveniencie, podpisovania, skenovania, lineáže, verzionovania a tam, kde je to vhodné, spravovaných registrov
- Prístup agentov k nástrojom s minimálnymi privilégiami a ľudský dohľad pri operáciách s vysokým dopadom
- Validačné vrstvy výstupov predtým, ako je čokoľvek vykonané, zapísané alebo sprístupnené používateľom
- Kontinuálne hodnotenie a monitorovanie zabudované do správy zmien
- Prevádzkové príručky pre incidenty otestované v praxi vrátane scenárov izolácie, bezpečného vypnutia a návratu do predchádzajúceho stavu
Ak toto máte zavedené, uplatňujete rovnakú inžiniersku disciplínu, aká sa očakáva od každého kritického systému.
Záver v oblasti bezpečnosti umelej inteligencie
Bezpečnosť umelej inteligencie presahuje rámec zabezpečenia samotných systémov alebo modelov. Uvedomte si to včas a budete pred tými, ktorí sa to dozvedia až po tom, čo sa niečo pokazí.
Nejde o jednorazové cvičenie. Systémy umelej inteligencie sa neustále vyvíjajú a bezpečnosť musí držať krok. To znamená priebežné testovanie vrátane red teamingu – zámerného pokusu prelomiť systém s cieľom pochopiť jeho slabé miesta.
A ak nedokážete jasne vyčísliť svoju expozíciu v oblasti modelov, integrácií, dátových kanálov a agentov, táto neistota je sama o sebe súčasťou rizika.
PREČÍTAJTE SI TIEŽ → Pripravení, pozor, štart: Ako vybudovať bezpečnú sieťovú infraštruktúru pre úspech