Ako overovať odpovede od AI

Odpovede AI chatu sú plynulé, prehľadné a často správne. Práve preto sú tie nesprávne také zradné: vymyslená štatistika vyzerá rovnako presvedčivo ako skutočná. Nemusíte overovať všetko, no pri dôležitých veciach potrebujete rýchly a spoľahlivý postup. Tento sprievodca vám ho ukáže.

Prečo sa AI môže mýliť

• Predpovedá pravdepodobný text. Jazykový model generuje slová, ktoré sa do kontextu hodia; nehľadá fakty, pokiaľ nepoužíva vyhľadávací nástroj. Náš sprievodca o tom, ako fungujú AI chatboty, vysvetľuje prečo.
• Jej znalosti končia určitým dátumom. Ceny, zákony, verejní činitelia, verzie produktov a cestovné poriadky sa po zozbieraní tréningových dát menia.
• Môže si vymýšľať zdroje. Názvy, autori, čísla strán, odkazy aj súdne prípady môžu byť vymyslené v dokonale realistickom formáte.
• Má sklon vám pritakávať. Navádzajúca otázka typu „Nie je pravda, že...?“ ju môže dotlačiť k tomu, aby potvrdila vaše vlastné domnienky.
• Pletie si veci. Dve osoby s podobným menom, dva podobné zákony alebo dve verzie toho istého softvéru.

Rozhodnite sa, čo treba overiť

Prispôsobte úsilie tomu, o čo ide. Ako orientačný návod poslúži:

Najviac pozornosti si vyžadujú konkrétne údaje: čísla, dátumy, mená, citácie, zákony, dávkovanie, ceny, technické špecifikácie a zdroje.

Päťkrokový postup overovania faktov

1. Rozdeľte odpoveď na jednotlivé tvrdenia

Požiadajte AI, aby prvý krok urobila za vás:

Vypíš každé faktické tvrdenie zo svojej predchádzajúcej odpovede ako číslovaný zoznam.
Pri každom uveď, ako veľmi si si istý (vysoká, stredná alebo nízka istota) a aký
typ zdroja by ho dokázal potvrdiť.

Úrovne istoty samy osebe nie sú spoľahlivé, pretože modely sa dokážu sebavedomo mýliť, no zoznam vám presne ukáže, čo treba overiť.

2. Vyhľadajte pôvodný zdroj

Pri každom dôležitom tvrdení zistite, odkiaľ pochádza. Uprednostňujte primárne zdroje: štatistický úrad pri číslach, znenie zákona v oficiálnej zbierke zákonov, samotnú štúdiu v odbornom časopise, manuál výrobcu či oficiálny web organizácie. Článok v novinách alebo na blogu, ktorý číslo cituje, je už sprostredkovaný.

3. Čítajte laterálne (do šírky)

Profesionálni overovatelia faktov nehodnotia zdroj podľa toho, ako profesionálne vyzerá. Otvoria si nové karty a overia, čo o danom tvrdení a o samotnom zdroji hovoria iné dôveryhodné weby. Ak sa zhoduje viacero nezávislých, rešpektovaných zdrojov, stojíte na pevnej pôde.

4. Skontrolujte, či citácie existujú a tvrdia to, čo sa uvádza

Ak vám AI ponúkne zdroj, vyhľadajte presný názov vo vyhľadávači, katalógu knižnice alebo vedeckej databáze. Potom ho otvorte a uistite sa, že skutočne potvrdzuje dané tvrdenie. AI občas cituje reálnu štúdiu, no pripíše jej niečo, čo v nej vôbec nie je.

5. Skontrolujte dátum

Sú informácie aktuálne? Pozrite sa, kedy bol zdroj publikovaný alebo naposledy aktualizovaný, a či sa odvtedy niečo nezmenilo: nové predpisy, nové verzie softvéru či iné ceny.

Prompty, ktoré uľahčia overovanie

Spôsob, akým sa opýtate, dokáže predísť chybám skôr, než vzniknú:

Slabé:
Aké sú vedľajšie účinky [liek]?

Lepšie:
Aké sú bežne uvádzané vedľajšie účinky lieku [liek]? Oddeľ
overené fakty od vecí, ktorými si si menej istý, a jasne uveď,
ak niečo nevieš. Povedz mi, aký oficiálny dokument, napríklad
príbalový leták, by som si mal preveriť na potvrdenie.

Ďalšie užitočné formulácie:

• „Ak si nie si istý, radšej to priznaj, než by si mal hádať.“
• „Odpovedaj výhradne z textu, ktorý vkladám nižšie. Ak sa to v texte neuvádza, povedz mi to.“
• „Čo by povedal niekto, kto s touto odpoveďou nesúhlasí?“
• „Ktoré časti tejto odpovede by mohli byť neaktuálne?“

Odpovedanie z vami dodaného textu je mimoriadne spoľahlivé. Vložte dokument a pýtajte sa naň, prípadne použite sumarizátor a výsledok priebežne porovnávajte s originálom. Na naplánovanie previerok si môžete tiež otvoriť prompt na overenie tvrdení v chate.

Varovné signály v odpovedi AI

• Veľmi presné čísla bez zdroja, napríklad percentá na jedno desatinné miesto.
• Citáty pripisované slávnym osobnostiam, ktoré neviete nájsť nikde inde.
• Zdroje s podozrivými detailmi: časopis, ktorý sa danej téme nevenuje, autor, ktorý v odbore nepôsobí, alebo nefunkčný odkaz.
• Odpoveď, ktorá sa po opätovnom vygenerovaní alebo otázke „Si si istý?“ kompletne zmení.
• Právne či medicínske tvrdenia bez uvedenia krajiny, dávkovania alebo širších okolností.
• Informácie o nedávnych udalostiach uvedené bez dátumu.

Otázka „Si si istý?“ môže byť poučná, no neberte zmenenú odpoveď automaticky ako tú správnu. Modely pod tlakom ustupujú aj od pravdivých tvrdení. Overujte vždy mimo chatu.

Pomôže, ak sa opýtate inej AI?

Porovnanie odpovedí rôznych štýlov modelov v ponuke chatu alebo z inej AI služby môže odhaliť rozpory, ktoré stoja za preskúmanie. AI systémy sú však trénované na prelínajúcich sa dátach a môžu opakovať tie isté chyby, takže zhoda dvoch AI nie je dôkazom. Využite ich na zistenie toho, čo treba overiť, nie ako samotné overenie.

Študenti a výskumníci nájdu ďalšie tipy v článkoch AI pre študentov, ChatG pre výskumníkov a v kategórii prompty na štúdium.

Kde overovať rôzne typy tvrdení

Časté otázky

Ako často sa AI mýli?

Veľmi to závisí od modelu, témy a typu otázky, takže jedno univerzálne číslo neexistuje. Všeobecne známe témy zvláda spravidla lepšie než úzko špecializované oblasti, nedávne udalosti, presné čísla a citácie.

Je bezpečné používať AI na medicínske alebo právne otázky?

Používajte ju na pochopenie pojmov, prípravu otázok a získanie všeobecného prehľadu. Nerobte na jej základe rozhodnutia o liečbe, liekoch, právnych krokoch ani financiách bez konzultácie s kvalifikovaným odborníkom. V núdzových situáciách vždy kontaktujte tiesňovú linku.

Mám od AI žiadať zdroje?

Áno, pretože vám napovie, čo máte hľadať. Každý zdroj si však vždy sami otvorte – AI dokáže vygenerovať citácie, ktoré vôbec neexistujú alebo v nich dané tvrdenie chýba.

Prečo odkazy v odpovediach AI občas nefungujú?

Pokiaľ AI stránku reálne nevyhľadala, odkaz v odpovedi je len vygenerovaný text ako každý iný. Môže viesť na stránku, ktorá sa presunula, alebo na adresu, ktorá vyzerá dôveryhodne, no nikdy neexistovala. Namiesto spoliehania sa na URL adresu radšej vyhľadajte samotný názov alebo organizáciu.

Ako najrýchlejšie overiť jeden konkrétny fakt?

Vyhľadajte konkrétne tvrdenie a medzi prvými výsledkami nájdite primárny alebo vysoko dôveryhodný zdroj. Ak ho nenájdete do pár minút, na informáciu sa nespoliehajte.