Jak ověřovat odpovědi od AI

Odpovědi AI chatu jsou plynulé, přehledné a často správné. Právě proto jsou ty chybné tak zrádné: vymyšlená statistika vypadá stejně přesvědčivě jako skutečná. Nemusíte ověřovat úplně všechno, ale pro věci, na kterých záleží, potřebujete rychlý a spolehlivý postup. V tomto průvodci vám ho představíme.

Proč se AI může mýlit

• Předpovídá nejpravděpodobnější text. Jazykový model generuje slova, která do kontextu zapadají; neověřuje fakta, pokud k tomu nemá k dispozici vyhledávací nástroj. Náš průvodce o tom, jak fungují AI chatboti, vysvětluje podrobnosti.
• Znalosti modelu mají své časové omezení. Ceny, zákony, obsazení úřadů, verze produktů i jízdní řády se po dokončení trénování dat mění.
• Může si vymýšlet zdroje. Názvy děl, autoři, čísla stran, odkazy i soudní spory mohou být vytvořeny ve zcela věrohodném formátu.
• Má tendenci vám přitakávat. Návodná otázka typu „Není pravda, že...?“ může model dotlačit k tomu, aby vám potvrdil to, čemu už sami věříte.
• Plete si pojmy. Dva lidi s podobným jménem, dva podobné zákony nebo dvě verze téhož softwaru.

Rozhodněte se, co je potřeba ověřit

Přizpůsobte úsilí tomu, o co jde. Pro hrubou orientaci:

Největší pozornost si zaslouží konkrétní údaje: čísla, data, jména, citace, zákony, dávkování, ceny, technické specifikace a reference.

Pětikrokový postup pro ověřování faktů

1. Rozdělte odpověď na jednotlivá tvrzení

Požádejte AI, aby první krok udělala za vás:

Vypiš všechna faktická tvrzení ze své předchozí odpovědi jako číslovaný seznam.
U každého uveď míru své jistoty (vysoká, střední, nízká) a jaký typ zdroje
by dané tvrzení potvrdil.

Míra jistoty sice sama o sobě není spolehlivá, protože modely se dokážou mýlit velmi sebevědomě, ale seznam vám přesně ukáže, co je třeba zkontrolovat.

2. Vyhledejte původní zdroj

U každého důležitého tvrzení zjistěte, odkud pochází. Dávejte přednost primárním zdrojům: statistickému úřadu pro čísla, znění zákona na oficiálním vládním portálu, samotné studii v odborném časopise, manuálu výrobce nebo přímo webu dané organizace. Zpravodajský článek nebo blog, který údaj přebírá, už je o krok dál.

3. Čtěte laterálně

Profesionální fact-checkeři nehodnotí zdroj podle toho, jak seriózně vypadá. Otevřou si nové panely v prohlížeči a zjišťují, co o daném tvrzení i o samotném zdroji říkají jiné důvěryhodné weby. Pokud se shodne několik nezávislých, renomovaných zdrojů, máte pevnou půdu pod nohama.

4. Zkontrolujte, zda citace existují a tvrdí to samé

Pokud vám AI nabídne odkaz či literaturu, zadejte přesný název do vyhledávače, katalogu knihovny nebo vědecké databáze. Poté zdroj otevřete a ujistěte se, že tvrzení skutečně podporuje. AI občas cituje existující práci pro něco, co v ní vůbec nezazní.

5. Zkontrolujte datum

Jsou informace aktuální? Podívejte se, kdy byl zdroj publikován nebo naposledy aktualizován a zda se od té doby něco nezměnilo: nová pravidla, novější verze nebo změny cen.

Prompty, které usnadňují kontrolu odpovědí

Vhodně položeným dotazem můžete chybám předejít předem:

Slabé:
Jaké jsou vedlejší účinky [lék]?

Silnější:
Jaké jsou běžně uváděné vedlejší účinky [lék]? Odděl podložená fakta
od věcí, kterými si nejsi tolik jistý, a pokud něco nevíš, jasně to uveď.
Napiš mi, do kterého oficiálního dokumentu (např. příbalové informace)
bych se měl/a podívat pro ověření.

Další užitečné formulace, které se vyplatí přidat:

• „Pokud si nejsi jistý, raději to přiznej, než abys hádal.“
• „Odpovídej pouze na základě textu, který vkládám níže. Pokud to v něm není, řekni to.“
• „Co by namítl někdo, kdo s touto odpovědí nesouhlasí?“
• „Které části této odpovědi by mohly být zastaralé?“

Zejména odpovědi vycházející z vámi dodaného textu bývají velmi spolehlivé. Vložte dokument a ptejte se na něj, případně využijte náš nástroj pro shrnutí a výsledek namátkově porovnejte s originálem. Můžete si také v chatu otevřít prompt pro ověřování tvrzení a postup si předem naplánovat.

Varovné signály v odpovědích AI

• Velmi přesná čísla bez uvedeného zdroje, například procenta na jedno desetinné místo.
• Citáty připisované slavným osobnostem, které nikde jinde nelze dohledat.
• Bibliografické údaje s podivnými detaily: časopis, který se tématu nevěnuje, autor působící v úplně jiném oboru, nefunkční odkaz.
• Odpověď, která se po přegenerování nebo po otázce „Jsi si jistý?“ od základu změní.
• Právní či zdravotní doporučení bez specifikace země, dávkování nebo konkrétních okolností.
• Informace o nedávných událostech uvedené zcela bez data.

Otázka „Jsi si jistý?“ může ledacos odhalit, neberte ale změněnou odpověď automaticky jako tu správnou. Modely pod tlakem občas ustoupí i od pravdivých tvrzení. Vždy ověřujte mimo chat.

Pomůže zeptat se jiné AI?

Srovnání odpovědí z různých typů modelů v nabídce chatu nebo z jiné služby může odhalit rozpory, které stojí za prozkoumání. AI systémy jsou však trénovány na podobných datech a mohou sdílet stejné chyby, takže shoda mezi dvěma AI ještě není důkazem. Využijte je k tomu, abyste zjistili, co je třeba prověřit, nikoli jako samotné ověření.

Studenti a výzkumníci najdou další tipy v článcích AI pro studenty, ChatG pro výzkumníky a mezi studijními prompty.

Kde ověřovat různé typy tvrzení

Časté dotazy

Jak často se AI mýlí?

Velmi to závisí na modelu, tématu a typu otázky, takže univerzální číslo neexistuje. Všeobecně známá témata zvládá AI zpravidla lépe než úzce specializované obory, nedávné události, přesná čísla a citace.

Je bezpečné používat AI pro zdravotní nebo právní dotazy?

Využijte ji k pochopení pojmů, přípravě otázek a získání obecného přehledu. Bez konzultace s kvalifikovaným odborníkem ji nepoužívejte k rozhodování o léčbě, lécích, právních krocích nebo financích. V naléhavých případech vždy volejte tísňovou linku.

Mám od AI žádat zdroje?

Ano, získáte tím vodítko, co hledat. Každý zdroj si ale vždy sami otevřete – AI si může vymyslet odkazy, které neexistují nebo v nich daná informace vůbec není.

Proč odkazy v odpovědích AI někdy nefungují?

Pokud AI stránku přímo nedohledala na internetu, odkaz je jen generovaný text jako každý jiný. Může vést na stránku, která byla přesunuta, nebo na adresu, která nikdy neexistovala, i když vypadá věrohodně. Místo spoléhání se na adresu raději vyhledejte název nebo organizaci.

Jak nejrychleji ověřit jednotlivý fakt?

Zadejte konkrétní tvrzení do vyhledávače a hledejte mezi prvními výsledky primární nebo vysoce důvěryhodný zdroj. Pokud ho během několika minut nenajdete, na dané tvrzení se raději nespoléhejte.