Nová studie OpenAI ukazuje, že halucinace umělé inteligence jsou neřešitelným matematickým problémem. Její nejpokročilejší modely selhávají téměř z 50 %.
Nyní už není cesty zpět. Společnost OpenAI, která nám přinesla ChatGPT a všechny nás přesvědčila, že generativní AI je budoucnost, právě přiznala to, co mnozí z nás tušili: halucinace jsou nevyhnutelné. Není to inženýrský problém, který lze vyřešit větším množstvím dat nebo lepšími algoritmy. Je to základní omezení, které tu bude navždy.
Studie, která to dokazuje, byla zveřejněna 4. září a jsou pod ní podepsáni výzkumníci ze samotné OpenAI spolu s vědci z Georgia Tech. Jak uvádí Computerworld, vytvořili matematický rámec, který vysvětluje, proč si tyto systémy budou stále vymýšlet bez ohledu na to, jak moc je budeme vylepšovat.
Čísla nelžou: I ty nejvýkonnější modely se mýlí
Výzkumníci podrobili nejmodernější modely zkoušce a výsledky jsou šokující. Model DeepSeek-V3, který má 671 miliard parametrů (v podstatě spojení, která mu umožňují „myslet“), dostal tak jednoduchou otázku, jako kolik písmen D je ve slově „DEEPSEEK“. Správná odpověď je jedna, ale model na deset pokusů odpověděl „2 nebo 3“. Meta AI a Claude 3.5 Sonnet si nevedly o nic lépe, v některých případech odpověděly „6“ a „7“.
Samotná OpenAI není z obliga. Společnost v dokumentu přiznává, že ChatGPT také vyvádí, a i když to GPT-5 dělá méně, problém je stále přítomen. Nejvíce zarážející je však to, co se děje s jejími nejpokročilejšími modely uvažování: čím jsou sofistikovanější, tím více se mýlí. Model o1-mini se mýlí v 16 % případů, zatímco novější modely o3 a o4-mini se mýlí v 60,54 %, resp. 52,55 % případů
Neil Shah ze společnosti Counterpoint Research to shrnuje dokonale: „Na rozdíl od lidské inteligence postrádá pokoru, aby rozpoznal nejistotu. Když tyto systémy něco nevědí, neřeknou, že to nevědí. Raději si vymyslí přesvědčivě znějící odpověď, než aby přiznaly, že nemají tušení.“
Výzkumníci identifikovali tři důvody, proč jsou halucinace nevyhnutelné, a žádný z nich nesouvisí s chybami v programování. Za prvé, když je v trénovacích datech málo informací o tématu, model musí mezery vyplnit odhadem. Za druhé, existují úlohy, které jsou jednoduše mimo rámec toho, čemu tyto systémy rozumí. A za třetí, existují problémy tak složité, že je nedokáže vyřešit ani dokonalá umělá inteligence.
Jak vysvětlují výzkumníci: „Jazykové modely halucinují, protože tréninkové a vyhodnocovací postupy odměňují hádání místo rozpoznávání nejistoty“. Přeloženo do češtiny: učíme je raději lhát, než aby přiznaly, že něco nevědí. Charlie Dai ze společnosti Forrester potvrzuje, že společnosti se s tímto problémem již setkávají ve výrobě, zejména v odvětvích, jako je finančnictví a zdravotnictví, kde může být chyba nákladná.
Jak jsme vás informovali, když jsme analyzovali, proč chytřejší modely více halucinují, problém se jen zhoršuje: nejpokročilejší modely vykazují rostoucí míru halucinací a vymýšlejí si nepravdivé informace až ve 48 % případů. Jako by se technologický vývoj ubíral opačným směrem než spolehlivost.
Odborníci začínají uvažovat o řešení, i když uznávají, že úplné odstranění je nemožné. Dai navrhuje přesunout pozornost od snahy zabránit halucinacím k omezení jejich rizik. To znamená více lidského dohledu, bariéry specifické pro danou oblast a nepřetržité monitorování. Shah jde ještě dál a navrhuje něco podobného jako bezpečnostní normy pro automobily: dynamické skórovací systémy, které vyhodnocují spolehlivost každého modelu v reálném čase.
Naštěstí to nejsou jen špatné zprávy: halucinace mohou být užitečné a pomohly v lékařském a technologickém výzkumu, protože naznačily souvislosti, které člověk nebral v úvahu. Jako by kreativita a chyba byly dvě strany téže mince.
Výzkum z Harvard Kennedy School potvrzuje to, co mnozí z nás již tušili: odhalit nejjemnější lži v těchto systémech je nesmírně obtížné. Filtry, které jsou zavedeny pro kontrolu toho, co umělá inteligence vytváří, nestačí k odhalení všech chyb, zejména pokud znějí přesvědčivě.
Výzkumníci z OpenAI mají ve svých závěrech jasno: je třeba změnit metody hodnocení v celém odvětví. „Tato změna může nasměrovat obor ke spolehlivějším systémům umělé inteligence,“ píší, i když uznávají, že určitá míra chyb bude přetrvávat bez ohledu na to, co technologie dělá.
Společnost OpenAI již dlouho pracuje na řešení halucinací ChatGPT prostřednictvím zlepšení tréninku a dohledu, ale tato nová studie ukazuje, že omezení jdou mnohem dál, než si mysleli. Psychologické dopady halucinací ChatGPT navíc přesahují čistě technickou stránku: u uživatelů se kvůli falešným informacím ověřeným těmito systémy objevily bludy a rodinné problémy.
Poučení je nakonec jasné: halucinace z umělé inteligence zázračně nezmizí. Jsou základní vlastností těchto systémů, nikoli chybou, kterou lze opravit příští záplatou. Budeme se s nimi muset naučit žít a vyvinout nástroje pro jejich odhalování a minimalizaci jejich dopadu.
Zdroj: Youtube.com
Otázka změny systémů hodnocení nebude snadná. Jak upozorňuje Dai, reforma základních testů bude možná pouze tehdy, „pokud bude řízena regulačním tlakem, poptávkou podniků a konkurenční diferenciací“. Jinými slovy, bude zapotřebí někoho, kdo bude mít moc, aby učinil skutečný krok.
Ale tady je ten kámen úrazu: problém není jen v modelech, ale i v tom, jak je hodnotíme. Analýza nejoblíbenějších testů používaných v oboru ukázala, že devět z deseti penalizuje odpověď „nevím“ a odměňuje nesprávné, ale jisté odpovědi. Jinými slovy, trénujeme tyto systémy, aby se chovaly chytře, i když nemají žádnou představu.
Jak lze situaci s AI halucinacemi řešit?
V této souvislosti je zásadní pochopit, že halucinace umělé inteligence jsou odrazem přirozených omezení současných jazykových modelů. Tyto modely jsou sice pokročilé, ale postrádají hluboké porozumění světu, které mají lidé. Nemají žádné skutečné „povědomí“ nebo „porozumění“, ale fungují na základě statistických vzorců naučených z velkého množství dat. Tento nedostatek skutečného porozumění vede k halucinacím, protože modely generují odpovědi na základě pravděpodobností, nikoli ověřených faktů.
Aby tento problém vyřešily, zkoumají některé společnosti hybridní přístupy, které kombinují umělou inteligenci s lidským dohledem. Například ve zdravotnictví, kde může mít jediná chyba vážné následky, se vyvíjejí systémy, které vyžadují, aby doporučení generovaná AI před jejich realizací ověřili lidští odborníci. To nejen pomáhá zmírnit riziko halucinací, ale také využívá potenciál AI zpracovávat velké objemy dat a odhalovat vzorce, které by člověk mohl nepostřehnout.
Techzpravy.cz
Zprávy - Aktuálně.cz|
MMAMAG.cz|
Náš REGION|
Trendy svět|
KINOTIP2.cz|
FAJNTIP.cz|
SportWin|