Hogyan ellenőrizd az AI által adott válaszokat?

Az AI-válaszok gördülékenyek, jól felépítettek és gyakran pontosak. Pontosan emiatt kockázatosak a tévedések: egy kitalált statisztika éppolyan meggyőzőnek tűnhet, mint a valóság. Nem kell mindent ellenőrizned, de a fontos dolgokhoz szükséged van egy gyors, megbízható rutinra. Ez az útmutató pontosan ebben segít.

Miért tévedhet az AI?

• Valószínű szövegeket jósol meg. A nyelvi modell olyan szavakat generál, amelyek odaillenek; nem keres rá a tényekre, hacsak nem használ keresőeszközt. A hogyan működnek az AI-chatbotok című útmutatónk elmagyarázza ennek okát.
• A tudása időben korlátozott. Az árak, a törvények, a tisztségviselők, a szoftververziók és a menetrendek változhatnak a tanítási adatok lezárása után.
• Képes forrásokat kitalálni. Címeket, szerzőket, oldalszámokat, linkeket és bírósági ügyeket is képes teljesen élethű formában koholni.
• Hajlamos egyetérteni veled. Egy olyan rávezető kérdés, mint a „Hát nem úgy van, hogy...?”, arra késztetheti, hogy megerősítse a meglévő hiedelmeidet.
• Összekever dolgokat. Két hasonló nevű személyt, két rokon törvényt vagy ugyanazon szoftver két verzióját.

Döntsd el, mit kell ellenőrizni

Igazítsd az erőfeszítést a téthez. Kiindulási alapként:

A konkrét állítások érdemlik a legtöbb figyelmet: számok, dátumok, nevek, idézetek, jogszabályok, adagolások, árak, technikai specifikációk és hivatkozások.

Ötlépéses tényellenőrző rutin

1. Bontsd az állításokra a választ

Kérd meg az AI-t, hogy csinálja meg helyetted az első lépést:

Gyűjtsd össze sorszámozott listában az összes tényszerű állítást az előző válaszodból.
Mindegyiknél add meg, mennyire vagy biztos benne (magas, közepes vagy alacsony),
és milyen forrás tudná megerősíteni.

A magabiztossági szintek önmagukban nem megbízhatók, mert a modellek magabiztosan is tévedhetnek, de a lista pontosan megmutatja, mit érdemes ellenőrizni.

2. Keresd meg az eredeti forrást

Minden fontos állításnál nézz utána, honnan származik. Részesítsd előnyben az elsődleges forrásokat: statisztikai hivatalt a számoknál, a jogtárat a törvények szövegénél, a folyóiratban megjelent eredeti tanulmányt, a gyártói kézikönyvet vagy a szervezet hivatalos weboldalát. Egy számot idéző hírcikk vagy blog már egy lépéssel távolabb van a forrástól.

3. Olvass oldalirányban (laterális olvasás)

A profi tényellenőrök nem az alapján ítélnek meg egy forrást, hogy mennyire néz ki komolynak. Új lapokat nyitnak, és megnézik, mit mondanak más megbízható források az állításról és magáról a forrásról. Ha több független, hiteles forrás is egyetért, biztos talajon állsz.

4. Ellenőrizd a hivatkozások létezését és tartalmát

Ha az AI forrást ad meg, keress rá a pontos címre egy keresőben vagy tudományos adatbázisban. Nyisd meg, és győződj meg róla, hogy valóban alátámasztja-e az állítást. Az AI olykor valós tanulmányokra hivatkozik olyasmi kapcsán, amit a cikk egyáltalán nem állít.

5. Ellenőrizd a dátumot

Friss az információ? Nézd meg, mikor tették közzé vagy frissítették utoljára a forrást, és változott-e bármi azóta: új szabályok, új verziók, új árak.

Promptok a könnyebben ellenőrizhető válaszokért

A kérdés megfogalmazásával már előre csökkentheted a hibák esélyét:

Gyenge:
Mik a [gyógyszer] mellékhatásai?

Jobb:
Mik a [gyógyszer] leggyakrabban felsorolt mellékhatásai? Különítsd el a
bizonyított tényeket azoktól, amikben kevésbé vagy biztos, és jelezd
egyértelműen, ha valamit nem tudsz. Írd meg, milyen hivatalos dokumentumban
(pl. betegtájékoztató) tudom ezt ellenőrizni.

További hasznos kiegészítések:

• „Ha nem vagy biztos benne, inkább mondd meg, ahelyett hogy találgatnál.”
• „Kizárólag az alább beillesztett szöveg alapján válaszolj. Ha a szöveg nem tér ki rá, jelezd.”
• „Mit mondana valaki, aki nem ért egyet ezzel a válasszal?”
• „A válasz mely részei lehetnek elavultak?”

Különösen megbízható megoldás, ha a saját szöveged alapján kéred a választ. Illeszd be a dokumentumot, és tegyél fel róla kérdéseket, vagy használd a szövegösszegzőt, majd vess össze néhány részletet az eredetivel. A chatben is megnyithatsz egy tényellenőrző promptot az ellenőrzés megtervezéséhez.

Gyanús jelek egy AI-válaszban

• Rendkívül pontos, forrás nélküli számok, például egy tizedesjegyre megadott százalékok.
• Híres embereknek tulajdonított idézetek, amelyek sehol máshol nem találhatók meg.
• Furcsa részleteket tartalmazó hivatkozások: a témához nem kapcsolódó folyóirat, más területen dolgozó szerző, nem működő link.
• Olyan válasz, amely teljesen megváltozik az újrageneráláskor, vagy ha megkérdezed: „Biztos vagy benne?”.
• Jogi vagy orvosi állítások az ország, az adagolás vagy a körülmények említése nélkül.
• Friss eseményekről szóló információk dátum nélkül tálalva.

A „Biztos vagy benne?” kérdés tanulságos lehet, de a megváltozott választ se tekintsd automatikusan helyesnek. Nyomás alatt a modellek sokszor a helyes válaszokból is visszakoznak. Mindig a chaten kívül ellenőrizz.

Segít, ha megkérdezel egy másik AI-t?

A chat menüjében elérhető különböző típusú modellek vagy egy másik AI-szolgáltatás válaszainak összehasonlítása rávilágíthat olyan eltérésekre, amelyeket érdemes megvizsgálni. Az AI-rendszereket azonban egymást átfedő adatokon tanítják, így osztozhatnak ugyanazokon a tévedéseken – két AI egyetértése még nem bizonyíték. Használd őket arra, hogy kiderítsd, mit kell ellenőrizni, ne magára az ellenőrzésre.

A diákok és kutatók további ötleteket találnak az AI diákoknak, a ChatG kutatóknak oldalon és a tanulási promptok között.

Hol ellenőrizhetők a különböző állítások?

Gyakori kérdések

Milyen gyakran téved az AI?

Ez modellenként, témánként és a kérdés típusától függően nagyon változó, így nincs egyetlen reális adat. Az ismert témákat általában jobban kezeli, mint a szakterületeket, a friss eseményeket, a pontos számadatokat és a hivatkozásokat.

Biztonságos az AI-t orvosi vagy jogi kérdésekre használni?

Használd a fogalmak megértésére, kérdések összeállítására és általános tájékozódásra. Ne hozz kezelésekre, gyógyszerekre, jogi lépésekre vagy pénzügyekre vonatkozó döntéseket szakember bevonása nélkül. Vészhelyzetben hívd a helyi segélyhívót.

Érdemes forrásokat kérni az AI-tól?

Igen, mert megmutatja, mit érdemes keresned. De mindig nyisd meg te magad a forrásokat, mert az AI olyan hivatkozásokat is generálhat, amelyek nem léteznek, vagy nem azt állítják, amit ő mond.

Miért nem működnek néha a linkek az AI válaszaiban?

Hacsak az AI nem keresett rá ténylegesen az oldalra, a válaszában szereplő link éppúgy generált szöveg, mint minden más. Lehet, hogy egy elköltözött oldalra mutat, vagy egy olyan címre, amely sosem létezett, csak hitelesnek tűnik. Ahelyett, hogy megbíznál a linkben, keress rá a címre vagy a szervezetre.

Mi a leggyorsabb módja egyetlen tény ellenőrzésének?

Keress rá a konkrét állításra, és nézd meg, van-e elsődleges vagy kifejezetten hiteles forrás az első találatok között. Ha pár percen belül nem találsz ilyet, ne hagyatkozz az állításra.