Bezpečnost AI aplikací v praxi - kde Vibecoding už nestačí

• Nedeterministické chování a přirozený jazyk jako zcela nová útočná plocha
• OWASP Top 10 for LLM Applications 2025 a rozšíření o multimodální hrozby
• Ekonomika útoku z pohledu útočníka a rozbor známých incidentů z praxe
• MITRE ATLAS jako mapa technik útoku na AI systémy

Laborka — Dostanete zranitelnou aplikaci se zapnutým chatovacím rozhraním. Vaším úkolem je najít cestu k utajenému system promptu a zdokumentovat, kudy přesně útok prošel.

• Modelování hrozeb metodou STRIDE aplikované na architekturu s jazykovým modelem
• LINDDUN pro analýzu soukromí a princip Zero Trust u AI agentů
• Hranice důvěry, identita a autentizace komponent AI aplikace

Laborka — Ke konkrétnímu zadání sami sestavíte kompletní sadu threat-model dokumentů a necháte je zkontrolovat AI asistentem, který vám ukáže mezery ve vaší analýze.

• Rozdíl mezi přímou a nepřímou injection, včetně útoků skrz obrázek nebo zvuk
• Jak dochází k úniku system promptu a co jsou jailbreaking techniky
• Princip „útočník táhne druhý" a proč se na něj musí obrana připravit

Laborka — Zkusíte prolomit tři různé obranné mechanismy, jeden z nich sami posílíte a pak měříte, jestli útok stále projde přes obrázek nebo přes text schovaný v dokumentu.

• Princip vrstvené obrany a srovnání hlavních guardrails frameworků
• Multimodální guardrails a detekce citlivých osobních údajů přes Presidio
• Zvláštní nároky na guardrails v regulovaných oborech (zdravotnictví, finance)

Laborka — Do vlastního chatbota zapojíte pravidla NeMo Guardrails, ověříte je na sadě útoků a porovnáte výsledek s alternativním frameworkem, než přidáte redakci osobních údajů.

• Zabezpečení celého cyklu RAG, od nahrání dokumentu po finální odpověď
• Jak vypadá otrávení dat (data poisoning) a jak přerušit útočný řetězec
• Zabezpečení vektorové databáze a přístupová práva na úrovni jednotlivých dokumentů

Laborka — Vytvoříte podvržený dokument s ukrytou instrukcí, necháte ho projít vaší RAG pipeline a poté nasadíte kontrolu při nahrávání, která podobný pokus příště zachytí.

• Otázka, kterou musí zodpovědět každý agentní systém: smí tohle agent udělat a s čím oprávněním
• Otrávení nástrojů, parameter injection a autorizace přes protokol MCP
• Schvalovací kroky, pevně dané zábrany na akce, audit a nouzové vypnutí

Laborka — Projdete řadu scénářů se stále vyššími oprávněními, až narazíte na pokus o vynesení dat, který zastaví bezpečnostní pravidlo nastavené přímo na straně MCP serveru.

• Zabezpečení agentů, kteří ovládají shell, souborový systém, prohlížeč nebo síť
• Izolace prostředí (sandboxing), schvalovací kroky a rozšiřitelné dovednosti agenta
• Rizika dlouhodobé paměti agenta a jeho postupné samostatné proměny v čase

Laborka — Necháte stejného agenta pracovat nejdřív bez kontrolních bodů a pak s nimi, porovnáte izolaci prohlížeče i systému a uvidíte přesně, kde se chování mění.

• Čím se red teaming AI aplikací liší od tradičního penetračního testování
• Práce s profesionálními nástroji PyRIT a garak
• Použití jazykového modelu jako hodnotitele testů a jeho slepá místa

Laborka — Spustíte automatizovaný red team proti vlastnímu chatbotu, výsledky necháte posoudit AI hodnotitelem a sami odhalíte případ, kdy se hodnotitel spletl.

• Jak nálezy z red teamingu proměnit v opakovatelnou sadu automatizovaných testů
• Zapojení bezpečnostních testů přímo do vývojového pipeline
• Kontinuální testování jako standardní součást release procesu

Laborka — Z nálezů předchozí lekce postavíte testovací sadu v promptfoo, napojíte ji na GitHub Actions tak, aby padlý test zablokoval nasazení, a porovnáte přístup s jiným nástrojem.

• Mapa celého dodavatelského řetězce: modely, datové sady, knihovny, prompty, servery MCP
• Původ modelu, jeho evidence a pravidla pro uvolňování nových verzí
• Standardy CycloneDX a SPDX pro evidenci AI komponent (AI SBOM)

Laborka — Vygenerujete evidenci komponent reálné aplikace, a když se v ní něco změní, uvidíte v pull requestu přesný rozdíl i vysvětlení dopadu od AI asistenta.

• Sledování chování agenta v provozu pomocí standardu OpenTelemetry pro GenAI
• Nástroj Langfuse a další možnosti pro sledování a ochranu za běhu
• Napojení na bezpečnostní dohled a postup při reálném incidentu

Laborka — Necháte aplikaci vygenerovat provozní telemetrii, jeden datový tok rozdělíte na plný interní pohled a omezený pohled bez citlivého obsahu, a porovnáte, co se v každém z nich dá vidět.

• EU AI Act z pohledu vývojáře a NIST AI Risk Management Framework bez zbytečné byrokracie
• Jak zabezpečení zapadá do celého životního cyklu vývoje, ne jen na konec
• Capstone: referenční architektura vlastního secure AI stacku jako trvalý blueprint

Závěrečný projekt — Odevzdáváte kompletní bezpečnostní posouzení vlastní aplikace: threat model, nastavené guardrails, výsledky testů z CI/CD, monitoring i architektonický diagram všech sedmi vrstev.