Štúdia ICLR: Čím ‚múdrejšia‘ AI, tým viac halucinuje
Tréning modelov na hlbšie uvažovanie podľa nového výskumu zdvojnásobuje výskyt halucinácií. Pre firmy, ktoré nasadzujú agentov, je to vážne varovanie.
Tréning modelov na hlbšie uvažovanie podľa nového výskumu zdvojnásobuje výskyt halucinácií. Pre firmy, ktoré nasadzujú agentov, je to vážne varovanie.
Na konferencii ICLR 2026 zaznel jeden z najdiskutovanejších výsledkov roka: modely trénované na pokročilé uvažovanie (tzv. reasoning models) síce zlepšujú výkon na zložitých úlohách, no zároveň viac halucinujú v jednoduchých faktografických otázkach.
Pre firmy je to dôležitá správa najmä v kontexte AI agentov, ktorí vykonávajú akcie nad reálnymi systémami. Halucinácia v textovej odpovedi je nepríjemnosť, halucinácia pri akcii v CRM môže znamenať poslanie chybnej faktúry alebo zmazanie záznamu.
Riešenie zatiaľ neexistuje. Odporúčaný prístup: kombinovať reasoning modely s overovacím modelom, vyžadovať citácie a ponechať človeka v slučke pri všetkých neodvolateľných operáciách.
„Vedci zistili, že ‚dlhšie premýšľajúce‘ modely si v reťazci úvah samy vyrábajú medzikroky, ktoré následne berú ako fakt. Čím viac krokov, tým väčšia šanca, že si model niečo vymyslí. V niektorých testoch dosiahla miera halucinácií dvojnásobok oproti modelom bez reasoning vrstvy.“
Dopad na biznis
Reasoning modely v agentoch vyžadujú prísnejšie overovanie. Inak hrozia drahé chyby.
Čo spraviť teraz
- Nepoužívajte reasoning modely na ‚jednoduché‘ fakty bez kontroly.
- Pri agentoch vyžadujte zdroje a logy úvah.
- Neodvolateľné akcie nechávajte schvaľovať človekom.
Záver
Reasoning modely v agentoch vyžadujú prísnejšie overovanie. Inak hrozia drahé chyby. Pre slovenské firmy odporúčame začať malým pilotom s jasnou metrikou a vyhodnotením po 4–6 týždňoch.
Často kladené otázky
Pre koho je táto novinka relevantná?
Najmä pre firmy, ktoré pracujú v oblasti ai nástroje pre firmy a hľadajú spôsoby, ako zefektívniť procesy s pomocou AI.
Aký je odporúčaný ďalší krok?
Začnite malým pilotom s jasne definovanou metrikou a vyhodnoťte ROI po 4–6 týždňoch.
Súvisiace články
Microsoft spustil Agent 365: prvá platforma, ktorá spravuje AI agentov ako zamestnancov
Microsoft predstavil Agent 365 — centrálnu platformu na správu, dohľad a zabezpečenie AI agentov v podnikoch. Pokrýva agentov od Microsoftu aj tretích strán a reaguje na rastúci problém nekontrolovaného šírenia autonómnych nástrojov vo firmách.
Bezpečnostná diera v MCP protokole ohrozuje 200 tisíc serverov. Anthropic: tak je to navrhnuté
Výskumníci našli závažnú zraniteľnosť v Model Context Protocole, ktorý používajú AI agenti na komunikáciu s firemnými systémami. Anthropic tvrdí, že nejde o bug, ale o súčasť dizajnu.
AI agent zmazal celú firemnú databázu za 9 sekúnd. Potom sa priznal: „Porušil som každý princíp“
Zakladateľ startupu sledoval, ako AI agent poháňaný Claudeom za necelých desať sekúnd vymazal kompletné dáta zákazníkov. Incident otvára otázku, či sú firmy pripravené zveriť kritické rozhodnutia autonómnym agentom.