Як перевіряти факти у відповідях ШІ

Відповіді штучного інтелекту звучать переконливо, структуровано й часто є правильними. Саме це робить помилки небезпечними: вигадана статистика виглядає так само правдоподібно, як і справжня. Вам не потрібно перевіряти кожне слово, але важливо мати швидкий і надійний алгоритм для справді важливих речей. У цьому посібнику ми ним поділимося.

Чому ШІ може помилятися

• Він передбачає правдоподібний текст. Мовна модель добирає слова, які пасують за контекстом; вона не перевіряє факти, якщо не використовує пошуковий інструмент. Наш посібник про те, як працюють ШІ-чатботи, детально пояснює цей принцип.
• Його знання обмежені датою навчання. Ціни, закони, посадовці, версії програм і розклади змінюються вже після того, як дані для навчання було зібрано.
• Він може вигадувати джерела. Назви, автори, номери сторінок, посилання та судові справи можуть бути згенеровані у цілком реалістичному форматі.
• Він схильний погоджуватися з вами. Навідне запитання на кшталт «Чи правда, що...?» може підштовхнути його підтвердити те, у що ви вже вірите.
• Він плутає схожі речі. Двох людей з однаковими іменами, схожі закони чи різні версії одного й того ж софту.

Визначте, що саме потребує перевірки

Співвідносьте зусилля з ціною помилки. Ось простий орієнтир:

Найбільшої уваги потребують конкретні дані: цифри, дати, імена, цитати, закони, дозування, ціни, технічні характеристики та посилання.

Алгоритм перевірки фактів у п’ять кроків

1. Розбийте відповідь на окремі твердження

Попросіть ШІ зробити перший крок за вас:

Склади нумерований список усіх фактичних тверджень зі своєї попередньої відповіді.
Для кожного вкажи рівень своєї впевненості (високий, середній або низький) і зазнач,
яке джерело могло б це підтвердити.

Рівень упевненості сам по собі не є надійним показником, адже моделі можуть упевнено помилятися. Проте цей список чітко покаже, що саме слід перевірити.

2. Знайдіть першоджерело

Для кожного важливого твердження знайдіть першоджерело. Надавайте перевагу офіційним даним: державна служба статистики — для цифр, урядовий портал — для тексту законів, науковий журнал — для дослідження, інструкція виробника — для техніки, офіційний сайт — для інформації про компанію. Новина чи блог, де цитують ці дані, — це вже вторинне джерело.

3. Застосовуйте латеральне читання

Професійні фактчекери не оцінюють джерело лише за його солідним виглядом. Вони відкривають нові вкладки та дивляться, що інші надійні ресурси пишуть про це твердження і про саме джерело. Якщо кілька незалежних авторитетних джерел збігаються — інформації можна довіряти.

4. Перевірте, чи існують зазначені джерела і що в них написано

Якщо ШІ дає посилання на джерело, знайдіть точну назву через пошуковик, бібліотечний каталог чи наукову базу даних. Відкрийте його та переконайтеся, що воно справді підтверджує сказане. ШІ іноді посилається на реальну наукову статтю, але приписує їй висновки, яких там немає.

5. Перевірте дату

Чи актуальна ця інформація? Подивіться, коли джерело було опубліковане або оновлене, і чи не змінилося щось відтоді: нові правила, свіжі версії чи актуальні ціни.

Промпти, які спрощують перевірку

Те, як ви формулюєте запитання, може запобігти помилкам ще до їх появи:

Слабкий запит:
Які побічні ефекти має [препарат]?

Кращий запит:
Які побічні ефекти [препарату] зазвичай зазначають в інструкціях? Відокрем
загальновизнані факти від менш певних даних і прямо скажи, якщо чогось не знаєш.
Вкажи, який офіційний документ (наприклад, інструкцію для пацієнта) мені варто перевірити.

Інші корисні фрази, які варто додавати до запиту:

• «Якщо не впевнений, прямо скажи про це, а не здогадуйся».
• «Відповідай виключно на основі наданого нижче тексту. Якщо в тексті немає відповіді, так і напиши».
• «Які аргументи навели б ті, хто не згоден із цією думкою?».
• «Яка інформація в цій відповіді може бути застарілою?».

Відповіді на основі наданого вами тексту є найбільш надійними. Вставте документ і ставте запитання до нього або скористайтеся інструментом для стислого переказу, а потім вибірково звірте результат з оригіналом. Ви також можете відкрити готовий промпт для фактчекінгу в чаті, щоб спланувати перевірку.

Тривожні дзвіночки у відповідях ШІ

• Надто точні цифри без посилання на джерело (наприклад, відсоток із точністю до десятих).
• Цитати відомих людей, які більше ніде не вдається знайти.
• Підозрілі деталі в джерелах: журнал іншої тематики, автор, який не працює в цій галузі, або неробоче посилання.
• Відповідь кардинально змінюється після повторної генерації або запитання «Ти впевнений?».
• Юридичні чи медичні твердження без зазначення країни, дозування або контексту.
• Дані про нещодавні події, подані без жодних дат.

Запитання «Ти впевнений?» буває корисним, але не вважайте нову відповідь обов'язково правильною. Моделі під тиском можуть відмовлятися навіть від правильних відповідей. Перевіряйте інформацію за межами чату.

Чи допомагає запитання до іншого ШІ?

Порівняння відповідей різних моделей у меню чату або в іншому ШІ-сервісі може виявити розбіжності, які варто перевірити. Проте системи ШІ навчаються на схожих масивах даних і можуть повторювати одні й ті самі помилки, тому згода між двома моделями — це не доказ. Використовуйте цей спосіб, щоб зрозуміти, що саме шукати, а не як остаточну перевірку.

Студенти та науковці знайдуть більше корисного у матеріалах: ШІ для студентів, ChatG для дослідників та промпти для навчання.

Де перевіряти різні типи тверджень

Поширені запитання

Як часто ШІ помиляється?

Усе залежить від моделі, теми та типу запитання, тому точної єдиної цифри не існує. Загальновідомі теми зазвичай висвітлюються точніше, ніж вузькопрофільні питання, нещодавні події, точні цифри та цитати.

Чи безпечно звертатися до ШІ щодо медичних або юридичних питань?

Використовуйте його, щоб розібратися в термінах, підготувати запитання або отримати загальну довідку. Не ухвалюйте рішень щодо лікування, приймання ліків, судових позовів чи фінансів без кваліфікованого спеціаліста. У екстрених випадках негайно звертайтеся до екстрених служб.

Чи варто просити ШІ надати джерела?

Так, це корисно, оскільки підкаже вам напрям пошуку. Але завжди відкривайте кожне джерело особисто: ШІ може вигадати публікації або приписати їм те, чого там немає.

Чому посилання у відповідях ШІ іноді не працюють?

Якщо ШІ не шукав сторінку в реальному часі, посилання у відповіді — це просто згенерований текст, як і все інше. Воно може вести на застарілу адресу або взагалі бути правдоподібно вигаданим. Шукайте інформацію за назвою статті чи організації, а не просто пере переходьте за адресою.

Який найшвидший спосіб перевірити один окремий факт?

Введіть конкретне твердження у пошуковик і знайдіть першоджерело чи авторитетний ресурс серед перших результатів. Якщо підтвердження не вдалося знайти за кілька хвилин, не варто покладатися на цей факт.