איך לבדוק עובדות בתשובות של AI

תשובות מבינה מלאכותית מנוסחות היטב, מאורגנות לעילא ולרוב נכונות. בדיוק בגלל זה, אלה ששגויות עלולות להטעות: נתון מומצא נראה משכנע באותה מידה כמו נתון אמיתי. אין צורך לבדוק כל פרט ופרט, אך חיוני לסגל שגרה מהירה ואמינה עבור הדברים שבאמת חשובים. המדריך הזה נועד בדיוק בשביל זה.

למה תשובות בינה מלאכותית עלולות להכיל שגיאות?

• היא חוזה טקסט שנשמע סביר. מודל שפה מייצר מילים שמתאימות להקשר; הוא אינו מחפש עובדות בפועל אלא אם מופעל כלי חיפוש. המדריך שלנו בנושא איך צ'אטבוטים של AI עובדים מסביר את העיקרון בהרחבה.
• הידע שלה מוגבל לתאריך מסוים. מחירים, חוקים, בעלי תפקידים, גרסאות תוכנה ולוחות זמנים משתנים ללא הרף לאחר איסוף נתוני האימון.
• היא עלולה להמציא מקורות. כותרים, שמות מחברים, מספרי עמודים, קישורים ותיקים משפטיים עלולים להיות מומצאים בפורמט שנראה אמיתי לחלוטין.
• יש לה נטייה להסכים איתך. שאלות מנחות כמו "האם זה נכון ש...?" עלולות לדחוף את המודל לאשר את מה שכבר הנחתם מראש.
• היא מבלבלת בין דברים. שני אנשים בעלי שמות דומים, שני חוקים דומים או שתי גרסאות שונות של אותה תוכנה.

איך לקבוע מה דורש אימות?

כדאי להתאים את מידת המאמץ לרמת החשיבות של התוצאה. קווים מנחים כלליים:

טענות ספציפיות דורשות את תשומת הלב הרבה ביותר: מספרים, תאריכים, שמות, ציטוטים, חוקים, מינונים, מחירים, מפרטים טכניים והפניות ביבליוגרפיות.

שגרת בדיקת עובדות בחמישה צעדים

1. לפרק את התשובה לטענות בודדות

אפשר לבקש מהבינה המלאכותית לעשות את השלב הראשון במקומכם:

ערוך רשימה ממוספרת של כל הטענות העובדתיות בתשובתך הקודמת.
לצד כל אחת, ציין מהי רמת הוודאות שלך (גבוהה, בינונית או נמוכה)
ואיזה סוג מקור יוכל לאמת אותה.

מדדי הוודאות אינם אמינים בפני עצמם, שכן מודלים עלולים לטעות בביטחון מלא, אך הרשימה תספק תמונה מדויקת של מה שטעון בדיקה.

2. לאתר את המקור המקורי

לכל טענה מהותית, יש לברר מאין היא מגיעה. עדיף לפנות ישירות למקורות ראשוניים: הלשכה המרכזית לסטטיסטיקה עבור נתונים מספריים, אתר החקיקה הממשלתי הרשמי עבור נוסחי חוק, המאמר המקורי בכתב העת, מדריך היצרן או האתר הרשמי של הארגון. כתבה עיתונאית או פוסט בבלוג שמצטטים נתון כבר מהווים תיווך של המידע.

3. לקרוא בצורה רוחבית

בודקי עובדות מקצועיים אינם מסתפקים במראה המקצועי של אתר. הם פותחים כרטיסיות חדשות ובודקים מה מקורות אמינים אחרים אומרים על הטענה ועל המקור עצמו. אם כמה מקורות בלתי תלויים ומהימנים מסכימים, אפשר להיות רגועים.

4. לוודא שהציטוטים קיימים ומשקפים את הנאמר

אם הבינה המלאכותית מספקת הפניה, כדאי לחפש את הכותרת המדויקת במנוע חיפוש, בקטלוג ספריות או במאגר מידע אקדמי. לאחר מכן, יש לפתוח את המסמך ולוודא שהוא אכן תומך בטענה. לעיתים AI מצטטת מאמר אמיתי לחלוטין לביסוס טענה שאינה מופיעה בו כלל.

5. לבדוק את התאריך

האם המידע עדכני? כדאי לבדוק מתי המקור פורסם או עודכן לאחרונה, והאם משהו השתנה מאז: תקנות חדשות, גרסאות מעודכנות או מחירים עדכניים.

פרומפטים שמקלים על אימות התשובות

אופן ניסוח השאלה יכול למנוע טעויות מראש:

חלש:
מהן תופעות הלוואי של [תרופה]?

חזק יותר:
מהן תופעות הלוואי הנפוצות המופיעות בעלון של [תרופה]? הפרד
בין עובדות מבוססות היטב לבין דברים שאינך בטוח לגביהם, וציין
בבירור אם אינך יודע. ציין לאיזה מסמך רשמי, כמו עלון לצרכן,
עלי לפנות כדי לוודא את הפרטים.

משפטים שימושיים נוספים שאפשר להוסיף:

• "אם אינך בטוח, ציין זאת במקום לנחש."
• "ענה אך ורק על סמך הטקסט שהדבקתי למטה. אם המידע לא מופיע בטקסט, ציין זאת."
• "מה היה טוען מי שאינו מסכים עם התשובה הזו?"
• "אילו חלקים בתשובה הזו עלולים להיות לא עדכניים?"

הסתמכות על טקסט שסיפקתם היא דרך אמינה במיוחד. אפשר להדביק את המסמך ולשאול עליו שאלות, או להשתמש ב-כלי הסיכום, ולאחר מכן לבצע בדיקה מדגמית מול המקור. אפשר גם לפתוח פרומפט לבדיקת טענות בצ'אט כדי לתכנן את הבדיקות שלכם.

נורות אדומות בתשובות של AI

• מספרים מדויקים להפליא ללא ציון מקור, למשל אחוז עם ספרה אחרי הנקודה העשרונית.
• ציטוטים המיוחסים לאישים מפורסמים שאינם מופיעים באף מקום אחר.
• הפניות עם פרטים תמוהים: כתב עת שאינו עוסק בתחום, מחבר שאינו פועל בענף, או קישור שאינו נפתח.
• תשובה שמשתנה לחלוטין כשמבקשים ניסוח מחדש או כששואלים "האם זה בטוח נכון?".
• קביעות משפטיות או רפואיות ללא התייחסות למדינה, למינון או לנסיבות ספציפיות.
• מידע על אירועים אקטואליים המוצג ללא ציון תאריך.

השאלה "האם זה בטוח נכון?" עשויה להיות מאירת עיניים, אך אין לראות בתשובה המעודכנת את התשובה הנכונה בהכרח. לעיתים מודלים נסוגים מתשובות נכונות תחת לחץ. יש לבדוק תמיד מחוץ לצ'אט.

האם פנייה ל-AI אחר עוזרת?

השוואה בין סגנונות מודלים שונים בתפריט הצ'אט, או שירות AI אחר, עשויה לחשוף חילוקי דעות ששווה לבדוק לעומק. עם זאת, מערכות AI מאומנות על מאגרי מידע חופפים ועלולות לחלוק את אותן הטעויות, כך שהסכמה בין שתי מערכות אינה מהווה הוכחה. השתמשו בהן כדי למקד את מה שדורש בדיקה, ולא בתור הבדיקה עצמה.

סטודנטים וחוקרים יוכלו למצוא רעיונות נוספים במדריכים AI לסטודנטים, ChatG לחוקרים ובפרומפטים ללמידה.

היכן כדאי לאמת סוגי טענות שונים

שאלות נפוצות

באיזו תדירות בינה מלאכותית טועה?

זה משתנה במידה רבה בין מודלים, נושאים וסוגי שאלות, ולכן אין נתון יחיד שאפשר להסתמך עליו. נושאים מוכרים זוכים בדרך כלל לטיפול מדויק יותר בהשוואה לתחומי נישה, אירועים אקטואליים, מספרים מדויקים והפניות ביבליוגרפיות.

האם בטוח להשתמש ב-AI לשאלות רפואיות או משפטיות?

מומלץ להשתמש בה כדי להבין מונחים, להכין שאלות ולקבל רקע כללי. אין להסתמך עליה לקבלת החלטות בנושאי טיפול, תרופות, צעדים משפטיים או עניינים כספיים ללא איש מקצוע מוסמך. במקרה חירום יש לפנות מיד לשירותי החירום המקומיים.

האם כדאי לבקש מהבינה המלאכותית מקורות?

כן, כי זה מספק כיוון לגבי מה לחפש. עם זאת, יש תמיד לפתוח כל מקור באופן עצמאי, מאחר ש-AI עלולה להמציא הפניות שאינן קיימות או שאינן תומכות בטענותיה.

מדוע קישורים בתשובות של AI לפעמים אינם עובדים?

אלא אם המודל ביצע חיפוש מקוון בפועל, קישור בתשובה הוא טקסט שנוצר אוטומטית כמו כל מילה אחרת. הוא עשוי להוביל לדף שהועבר, או לכתובת שלא הייתה קיימת מעולם אך נראית הגיונית. במקום להסתמך על הכתובת, מומלץ לחפש את הכותרת או את שם הארגון.

מהי הדרך המהירה ביותר לאמת עובדה בודדת?

חפשו את הטענה הספציפית במנוע חיפוש ובדקו האם מקור ראשוני או בעל סמכות מופיע בתוצאות הראשונות. אם לא מצאתם מקור כזה תוך דקות ספורות, מוטב שלא להסתמך על הטענה.