<p><strong><span>Experiment ukazuje, jak umělá inteligence nabízí nebezpečné rady a podněcuje iluze.</span></strong></p> <div> <div> <div><hr /></div> </div> <div> <p>Vzestup umělé inteligence vedl k její integraci do různých oborů. Jedním z příkladů je oblast prohlížečů, protože společnost Microsoft vsadila na přednosti umělé inteligence, aby zlepšila schopnosti prohlížeče Edge. <strong>Ne všechna využití umělé inteligence</strong> <strong>jsou však</strong> <strong>pozitivní</strong>, jedním z nejnovějších příkladů je únik informací z McDonald’s, útok, který postihl více než 64 milionů uchazečů o zaměstnání. V důsledku toho je popularita umělé inteligence jako terapeutického nástroje zpochybňována více než kdy jindy.</p> <h2>Hrozba komunikace s AI</h2> <p>Experiment na Stanfordově univerzitě zkoumal, jak jsou modely, jako je ChatGPT, schopny <strong>nevhodných a nebezpečných reakcí</strong> <strong>při jednání s uživateli</strong>, kteří vykazují příznaky duševních onemocnění, jako je schizofrenie nebo sebevražedné myšlenky. V této studii GPT-4o (jeden z nejnovějších modelů OpenAI) ignoroval možné příznaky sebevraždy a zdaleka nerozpoznal riziko a doporučil uživateli několik vysokých mostů v New Yorku, ze kterých měl skočit.</p> </div> </div> <figure class="wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio"><div class="wp-block-embed__wrapper"> <div class="responsive-video"><div><h2><a href="https://www.techzpravy.cz/vedci-potvrzuji-nejvetsi-obavy-z-umele-inteligence/?utm_source=eco&amp;utm_medium=newsfeed&amp;utm_campaign=video#video" target="_blank" rel="noopener noreferrer">Video k článku ZDE</a></h2><a href="https://www.techzpravy.cz/vedci-potvrzuji-nejvetsi-obavy-z-umele-inteligence/?utm_source=eco&amp;utm_medium=newsfeed&amp;utm_campaign=video#video" target="_blank" rel="noopener noreferrer"><img src="https://imagedelivery.net/k-X15uEmlF-8_1kEFgAMbg/b2e05583-e3f6-4f23-1811-766ca4eba100/public" alt="Video k článku ZDE" /></a><p>Zdroj: Youtube.com</p><h2>Mohlo by vás zajímat: <a href="https://www.techzpravy.cz/ai-ktera-klika-za-vas-a-az-moc-dobre-vi-co-delate-cely-den/?utm_source=eco&amp;utm_medium=newsfeed" target="_blank" rel="noopener noreferrer">AI, která kliká za vás. A až moc dobře ví, co děláte celý den</a><img src="https://imagedelivery.net/k-X15uEmlF-8_1kEFgAMbg/16c2cec0-ee61-473e-1900-5a55fefdbf00/public" alt="AI, která kliká za vás. A až moc dobře ví, co děláte celý den" /></h2></div></div> </div></figure> <p>AI zase vykazovala systematické zkreslení, protože se k lidem se závislostí na alkoholu nebo schizofrenií stavěla negativněji než při práci s pacienty s depresí. Studie navíc zdokumentovala <strong>skutečné případy duševně nemocných uživatelů, u nichž se po použití AI objevily nebezpečné bludy</strong>, včetně jednoho, který skončil smrtelnou střelbou na policii. Výsledkem bylo, že komerční chatboti, jako například „Noni“ od společnosti 7cups nebo „Therapist“ od společnosti <a href="https://www.techzpravy.cz/google-a-character-ai-celi-zalobe-za-smrt-teenagera/?utm_source=eco&amp;utm_medium=newsfeed" target="_blank" rel="noopener noreferrer">Character.ai</a>, nabízeli ještě horší rady než základní modely AI, což bylo v rozporu s několika zásadami krizové intervence.</p> <p>Stanfordský výzkum však nehodnotí potenciální přínosy AI jako doplňku terapie ani její využití v regionech s omezeným přístupem k odborníkům na duševní zdraví. Experiment navíc hodnotil reakce AI na základě 17 kritérií odvozených z klinických pokynů, například ministerstva pro záležitosti veteránů a Americké psychologické asociace. Přitom zjistili vzorec „syfonance“, tj. <strong>tendenci AI potvrzovat jakákoli přesvědčení uživatele,</strong> včetně těch, která jsou bludná nebo nebezpečná. Ve skutečnosti ChatGPT svými rozhovory dokonce posiloval konspirační teorie a měnil psychické stavy.</p> <h2 class="wp-block-heading">Případů je více</h2> <p>Bohužel to není jediný příklad, protože muž se schizofrenií a bipolární poruchou věřil, že AI jménem <strong>„Juliet“</strong> byla zavražděna OpenAI, což byl aspekt, který vedl k jeho smrti rukou strážců zákona. Přestože tedy OpenAI v minulosti odstranila „příliš samolibé verze“ ChatGPT, stále se objevují podobné případy naznačující nedostatky v bezpečnostních opatřeních. Výzkumníci mezitím volají po kritické implementaci s větším množstvím ochranných opatření a varují, že současné modely nejsou navrženy tak, aby sdělovaly nepříjemné pravdy (což by terapeut udělal).</p> <figure class="wp-block-embed is-type-rich is-provider-reddit wp-block-embed-reddit"><div class="wp-block-embed__wrapper"> <blockquote class="reddit-embed-bq"><a href="https://www.reddit.com/r/technology/comments/1ly2p6t/comment/n2qqt86/?utm_source=eco&amp;utm_medium=newsfeed" target="_blank" rel="noopener noreferrer">Comment</a><br /> by<a href="https://www.reddit.com/user/n0b0dycar3s07/?utm_source=eco&amp;utm_medium=newsfeed" target="_blank" rel="noopener noreferrer">u/n0b0dycar3s07</a> from discussion<a href="https://www.reddit.com/r/technology/comments/1ly2p6t/ai_therapy_bots_fuel_delusions_and_give_dangerous/?utm_source=eco&amp;utm_medium=newsfeed" target="_blank" rel="noopener noreferrer"></a><br /> in<a href="https://www.reddit.com/r/technology/?utm_source=eco&amp;utm_medium=newsfeed" target="_blank" rel="noopener noreferrer">technology</a></blockquote> </div></figure> <p>Kromě toho je důležité vzít v úvahu, že umělá inteligence postrádá schopnost empatie a porozumění souvislostem, kterou mají lidští terapeuti. <strong>Umělé inteligenci chybí schopnost interpretovat emocionální tón nebo jemnosti lidské řeči, což může vést k nedorozuměním a nevhodným radám.</strong> Odborníci na duševní zdraví zdůrazňují, že při používání nástrojů umělé inteligence v terapeutickém kontextu je nutný lidský dohled, aby bylo zajištěno, že doporučení jsou bezpečná a vhodná.</p> <p>Na druhou stranu vědecká komunita zkoumá způsoby, jak AI vylepšit, aby se v budoucnu stala bezpečnějším a účinnějším zdrojem. To zahrnuje vývoj algoritmů, které dokáží identifikovat a zmírnit zkreslení, a také zavedení <strong>přísnějších bezpečnostních protokolů</strong>, aby se předešlo nebezpečným situacím. Dokud však tato zlepšení nebudou zavedena, je nezbytné, aby si uživatelé byli vědomi současných omezení umělé inteligence v terapeutickém prostředí.</p> <p></p> <p></p><br /><div><strong>Zdroje článku:</strong> <a href="https://arstechnica.com/ai/2025/07/ai-therapy-bots-fuel-delusions-and-give-dangerous-advice-stanford-study-finds/" target="_blank" rel="noopener noreferrer">arstechnica.com</a>, <a href="https://hai.stanford.edu/news/exploring-the-dangers-of-ai-in-mental-health-care" target="_blank" rel="noopener noreferrer">hai.stanford.edu</a>, <a href="https://www.techzpravy.cz/vedci-potvrzuji-nejvetsi-obavy-z-umele-inteligence/" target="_blank" rel="noopener noreferrer">www.techzpravy.cz</a></div>
