איך צ'אטבוטים של AI עובדים: הסבר פשוט

לא צריך להבין את המתמטיקה כדי להשתמש בצ'אט AI בצורה מצוינת, אבל תמונה בסיסית של מה שמתרחש מאחורי הקלעים מסבירה המון: למה התשובות נשמעות בטוחות בעצמן גם כשהן שגויות, למה אותה שאלה מניבה תשובות שונות, למה ה-AI מאבד את חוט המחשבה בשיחות ארוכות, ולמה הוא עשוי לא להכיר אירועים אחרונים. הנה הסבר פשוט ובגובה העיניים, בלי מונחים מיותרים.

הגרסה הקצרה

צ'אטבוט AI בנוי על מודל שפה גדול (LLM): רשת נוירונים עצומה שאומנה על כמויות אדירות של טקסט כדי לחזות מה מגיע בהמשך. כששולחים הודעה, המודל קורא את השיחה ומייצר תשובה בחלקים קטנים בכל פעם, כאשר בכל שלב הוא בוחר את החלק הבא הסביר ביותר בהתבסס על כל מה שהופיע לפניו. אימון נוסף מלמד אותו למלא אחר הוראות, לנהל שיחה ולסרב לבקשות מזיקות.

אין כאן מאגר של תשובות מוכנות מראש שנשלפות מחיפוש, ואין אדם שמקליד מאחורי הקלעים. כמעט כל שאר הדברים במדריך זה נובעים מכך.

שלב 1: טקסט הופך לטוקנים (Tokens)

מודלים אינם קוראים אותיות או מילים שלמות. הם מפרקים טקסט לטוקנים: מילים נפוצות הן לרוב טוקן בודד, בעוד שמילים ארוכות או נדירות יותר מפורקות למספר חלקים. רווחים, סימני פיסוק ומספרים הופכים גם הם לטוקנים. זו הסיבה ש-AI עלול להסתבך במשימות כמו ספירת אותיות במילה או היפוך מחרוזת: הוא לא רואה אותיות בודדות כפי שאנחנו רואים אותן.

אותה משמעות עשויה לדרוש מספר שונה של טוקנים בשפות שונות, וזו אחת הסיבות לכך שאיכות ומגבלות אורך יכולות להשתנות משפה לשפה.

שלב 2: אימון מקדים על כמויות עצומות של טקסט

בשלב הראשון והגדול ביותר, מוצגת למודל כמות עצומה של טקסט — כגון דפי אינטרנט ציבוריים, ספרים, קוד ומקורות נוספים, בהתאם למפתחים — והוא לומד לחזות את הטוקן הבא. הוא מקבל תיקונים שוב ושוב ומתאים בהדרגה את המספרים הפנימיים שלו, המכונים פרמטרים או משקולות.

כדי לחזות טקסט היטב, המודל קולט בסופו של דבר ידע רב על דקדוק, עובדות, דפוסי חשיבה וסגנונות כתיבה. אך הוא אינו שומר עותק של נתוני האימון כמו ספרייה, אלא מאחסן דפוסים סטטיסטיים. זו הסיבה שהוא יכול להסביר מושג בצורה שוטפת ובכל זאת לטעות בתאריך מסוים, בשם או בציטוט.

שלב 3: כוונון עדין הופך מנבא טקסט לעוזר אישי

מודל שרק מנבא טקסט היה פשוט ממשיך את ההודעה שלכם במקום להשיב עליה. לכן, המפתחים מאמנים אותו עוד על דוגמאות של שיחות איכותיות ומשתמשים במשוב — מאנשים, ובאופן גובר מבדיקות אוטומטיות וממודלים אחרים — כדי לתגמל תשובות מועילות, כנות ובטוחות. שיטה מוכרת אחת היא למידת חיזוק ממשוב אנושי (RLHF).

שלב זה מקנה לצ'אטבוט את "כללי הנימוס" שלו: ביצוע הוראות, שימוש בעיצוב, הודאה באי-ודאות לעיתים, וסירוב לבקשות מזיקות. הוא עלול גם להוסיף מוזרויות, כמו נטייה להסכים עם המשתמשים או להישמע בטוח בעצמו יותר ממה שראוי.

מודלים רבים מהעת האחרונה מאומנים גם להסיק מסקנות (הסקה לוגית): הם מעבדים בעיה בשלבי ביניים לפני שהם מספקים את התשובה הסופית. זה משפר את התוצאות במתמטיקה, בתכנות ובתכנון, אם כי לא הופך אותם לחסינים מטעויות.

שלב 4: השיחה וחלון ההקשר (Context Window)

כשמשוחחים בצ'אט, האפליקציה שולחת למודל מארז טקסט: הנחיות מהשירות שאינן גלויות לכם (ה-system prompt), ההודעות הקודמות בשיחה וההודעה החדשה שלכם. המודל עצמו אינו שומר זיכרון בין בקשות. הוא "זוכר" את השיחה רק משום שהיא נשלחת אליו מחדש בכל פעם.

בצורה מופשטת, המארז עבור ההודעה השלישית שלכם בשיחה נראה בערך כך:

[system]    You are a helpful assistant. Answer clearly...
[user]      מהו שם טוב למאפייה?
[assistant] הנה כמה רעיונות: בוקר טוב, פירור של קסם...
[user]      תן להם צליל יותר צרפתי.
[assistant] (המודל כותב את החלק הזה, טוקן אחר טוקן)

לבקשה "תן להם צליל יותר צרפתי" יש היגיון רק מפני שההודעות הקודמות נכללות במארז. אם האפליקציה הייתה משמיטה אותן, למודל לא היה מושג למה הכוונה ב"להם".

כמות הטקסט שמודל יכול לקחת בחשבון בבת אחת נקראת חלון ההקשר שלו (Context Window), ואפליקציות נוהגות לקצץ שיחות ארוכות כדי להישאר בתוך המגבלות. זו הסיבה שבשיחה ארוכה מאוד, ה-AI עלול לאבד פרטים מההתחלה. פתיחת שיחה חדשה עם סיכום קצר בדרך כלל עוזרת.

חלק מהשירותים מוסיפים תכונת זיכרון נפרדת ששומרת עובדות עליכם בין שיחות. מדובר בתכונה של האפליקציה שנבנתה סביב המודל, ולא במשהו שהמודל עושה בעצמו.

שלב 5: יצירת התשובה

עבור כל טוקן הבא, המודל מחשב הסתברויות עבור מועמדים אפשריים רבים. לאחר מכן, האפליקציה בוחרת אחד מהם, לרוב עם מידה מבוקרת של אקראיות כדי שהטקסט לא יישמע מכני. זה מסביר שני דברים שאולי שמתם לב אליהם:

• אותה שאלה יכולה להניב תשובות שונות. יצירה מחדש (Regenerate) היא דרך מהירה לראות חלופות.
• משפט שוטף ורהוט אינו בהכרח משפט נכון. המודל בוחר מילים שמתאימות לרצף; הוא אינו בודק עובדות תוך כדי תנועה.

נסו זאת בעצמכם: בקשו מהצ'אט להסביר מהם טוקנים בעזרת דוגמה, לאחר מכן צרו מחדש את התשובה והשוו בין שתי הגרסאות.

למה AI ממציא דברים

כאשר מודל מייצר מידע שגוי בביטחון מלא, התופעה מכונה הזיה (Hallucination). זה קורה משום שהמודל בנוי לייצר טקסט שנשמע סביר, ומקור, נתון סטטיסטי או ביוגרפיה שנראים אמינים קלים לייצור גם כאשר המידע האמיתי אינו ידוע לו. תהליכי האימון צמצמו זאת אך לא העלימו את התופעה. תחומים בסיכון גבוה יותר כוללים:

• מספרים, תאריכים וציטוטים מדויקים.
• הפניות לספרים, מאמרים, תיקים משפטיים ודפי אינטרנט.
• נושאי נישה עם מעט נתוני אימון.
• אירועים שהתרחשו לאחר מועד סיום נתוני האימון של המודל.

המדריך שלנו בנושא אימות עובדות בתשובות AI מסביר כיצד לאמת תשובות במהירות.

למה ה-AI עשוי לא להכיר אירועים אחרונים

הידע של המודל מגיע מנתונים שנאספו עד תאריך מסוים — מועד סיום הידע (Knowledge Cutoff) שלו. לאחר תאריך זה הוא אינו יודע דבר חדש, אלא אם כן האפליקציה מספקת לו מידע עדכני, למשל באמצעות כלי חיפוש באינטרנט או טקסט שמדביקים בשיחה. כאשר עוזר AI מבצע חיפוש ברשת, התשובה שלו טובה רק כמו הדפים שהוא מוצא, ולכן עדיין כדאי לבדוק את המקורות. אם השאלה תלויה במידע עדכני, הדביקו את הטקסט הרלוונטי בעצמכם או ודאו את התשובה מול מקור עדכני.

מודלים, מפתחים ותפריט המודלים

מספר חברות מפתחות מודלי שפה גדולים, כולל OpenAI (מודלי GPT שמאחורי ChatGPT), Anthropic (Claude), Google (Gemini), Meta (Llama), xAI (Grok), DeepSeek, Alibaba (Qwen) ו-Mistral AI. חלקן מפרסמות את משקולות המודל כך שכל אחד יכול להוריד ולהריץ אותם; אחרות מציעות את המודלים שלהן רק דרך האפליקציות וממשקי ה-API שלהן. מודלים נבדלים בסגנון, בחוזקות, בכיסוי השפות ובמידת הזהירות שלהם. מדריכי המודלים וההשוואות שלנו, כמו ChatGPT מול Claude, מפרטים עליהם בהרחבה.

ב-ChatG, ניתן לבחור את סגנון המודל המועדף עליכם בתפריט, או להשאיר אותו על ChatG Auto. ‏ChatG הוא אתר עצמאי ואינו קשור לאף אחת מחברות אלו.

שאלות נפוצות

האם ה-AI מבין מה שהוא אומר?

נושא זה עדיין שנוי במחלוקת. מודלים בהחלט קולטים מבנה רב של שפה ושל העולם, והם יכולים לפתור בעיות שלא ראו בעבר. אך אין להם חוויות, והם עלולים לטעות בדרכים שאדם שמבין את הנושא לא היה טועה בהן. בפועל, מומלץ להתייחס ל-AI כאל כלי בעל יכולות גבוהות, ולא כאל סמכות עליונה.

האם ה-AI לומד מהשיחה שלי?

לא במהלך השיחה: משקולות המודל אינן משתנות תוך כדי שיחה איתו. שירותים מסוימים עשויים להשתמש בשיחות מאוחר יותר כדי לאמן מודלים עתידיים, בהתאם למדיניות שלהם ולהגדרות שלכם.

האם ה-AI מחובר לאינטרנט?

המודל עצמו אינו מחובר. הוא פועל על סמך מה שלמד באימון בתוספת כל מה שמופיע בשיחה. אפליקציות מסוימות מוסיפות חיפוש ברשת ככלי נפרד. אלא אם כן התשובה מציגה מקורות שאותרו בחיפוש, יש להניח שהיא מגיעה מנתוני אימון שעשויים להיות לא מעודכנים.

מדוע חלק מהתשובות טובות יותר באנגלית מאשר בשפות אחרות?

מודלים נחשפים לרוב להרבה יותר טקסט באנגלית במהלך האימון מאשר לטקסט ברוב השפות האחרות, ובשפות אחרות עשויים להידרש יותר טוקנים כדי להביע את אותו הדבר. שפות נפוצות נתמכות לרוב ברמה טובה; שפות נפוצות פחות עשויות להניב תוצאות חלשות יותר.