Как устроены ИИ-чат-боты: объясняем просто

Вам не нужно разбираться в математике, чтобы эффективно пользоваться ИИ-чатом. Однако общее представление об устройстве системы объясняет многое: почему ответы звучат уверенно, даже если они ошибочны; почему на один и тот же вопрос приходят разные ответы; почему ИИ теряет нить разговора в длинных диалогах и почему он может не знать о недавних событиях. Ниже — простое объяснение без лишней терминологии.

Коротко о главном

В основе ИИ-чатбота лежит большая языковая модель (LLM) — огромная нейросеть, обученная на колоссальных объемах текста предсказывать следующее слово. Когда вы отправляете сообщение, модель считывает беседу и генерирует ответ шаг за шагом, каждый раз выбирая наиболее вероятный следующий фрагмент на основе всего предыдущего текста. Дополнительное обучение учит ее следовать инструкциям, вести диалог и отклонять опасные запросы.

Здесь нет базы данных с готовыми ответами и нет живого оператора за кулисами. Практически все остальные особенности вытекают именно из этого.

Шаг 1. Превращение текста в токены

Модели не читают текст по буквам или отдельными целыми словами. Они разбивают его на токены: частые слова обычно становятся одним токеном, а более длинные или редкие делятся на части. Пробелы, знаки препинания и цифры — это тоже токены. Поэтому ИИ порой спотыкается на задачах вроде подсчета букв в слове или написания задом наперед: он просто не видит отдельные буквы так, как видите их вы.

Один и тот же смысл на разных языках может занимать разное число токенов. Это одна из причин, почему качество ответов и лимиты на длину текста могут различаться в зависимости от языка.

Шаг 2. Предварительное обучение на огромных массивах данных

На первом и самом масштабном этапе модели показывают невероятный объем текста — общедоступные веб-страницы, книги, программный код и другие источники в зависимости от разработчика, — обучая ее предсказывать следующий токен. Нейросеть многократно корректируют, и она постепенно настраивает свои внутренние параметры, или веса.

Чтобы точно прогнозировать продолжение текста, модель в итоге усваивает правила грамматики, факты, логические цепочки и стили речи. Но она не хранит у себя копию всех изученных данных, как библиотека. Модель запоминает статистические закономерности. Именно поэтому она может гладко объяснить сложную тему, но перепутать конкретную дату, имя или цитату.

Шаг 3. Дообучение: от генератора текста к помощнику

Модель, умеющая лишь продолжать текст, просто дописывала бы ваше сообщение вместо того, чтобы отвечать на него. Поэтому разработчики дополнительно обучают ее на примерах качественных диалогов и используют обратную связь (от людей, а также с помощью автопроверок и других моделей), поощряя полезные, честные и безопасные ответы. Один из известных методов — обучение с подкреплением на основе отзывов людей (RLHF).

На этом этапе чат-бот учится хорошим манерам: следовать инструкциям, форматировать текст, признавать свою неуверенность и отклонять вредоносные запросы. Здесь же могут возникнуть и особенности характера, например склонность соглашаться с пользователем или звучать чересчур уверенно там, где стоило бы усомниться.

Многие современные модели также обучают рассуждать: перед выдачей окончательного ответа они разбирают задачу по шагам. Это заметно улучшает результаты в математике, программировании и планировании, хотя и не исключает ошибки полностью.

Шаг 4. Ваш диалог и контекстное окно

Во время общения приложение передает модели целый пакет текста: скрытые от вас инструкции сервиса (системный промпт), предыдущие сообщения диалога и вашу новую реплику. Сама модель не сохраняет память между запросами. Она «помнит» беседу только потому, что вся переписка отправляется ей заново с каждым сообщением.

В упрощенном виде пакет данных для вашего третьего сообщения выглядит так:

[system]    Ты полезный помощник. Отвечай понятно...
[user]      Как назвать пекарню?
[assistant] Вот несколько вариантов: Золотой колос, Свежий мякиш...
[user]      Сделай названия более французскими.
[assistant] (модель пишет эту часть токен за токеном)

Просьба «Сделай названия более французскими» понятна только потому, что в запрос включены предыдущие реплики. Если бы приложение их не отправило, модель не поняла бы, о каких названиях речь.

Объем текста, который модель может удержать во внимании одновременно, называется контекстным окном. Чтобы не выйти за лимиты, приложения часто урезают начало длинной беседы. Поэтому в затянувшемся диалоге ИИ может забывать детали, о которых вы говорили в самом начале. В таких случаях обычно помогает создание нового чата с краткой сутью задачи.

В некоторых сервисах есть отдельная функция памяти, сохраняющая факты о вас между разными чатами. Но это надстройка самого приложения, а не врожденное свойство нейросети.

Шаг 5. Генерация ответа

Для каждого следующего токена модель рассчитывает вероятность среди множества возможных вариантов. Затем система выбирает один из них — как правило, с контролируемой долей случайности, чтобы текст не казался механическим. Это объясняет два важных момента:

• Один и тот же вопрос может приводить к разным ответам. Генерация заново — быстрый способ взглянуть на альтернативы.
• Гладко написанная фраза не всегда правдива. Модель выбирает подходящие по смыслу слова, но не проверяет факты в процессе генерации.

Попробуйте сами: попросите чат объяснить, что такое токены, на примере, затем сгенерируйте ответ повторно и сравните два варианта.

Почему ИИ выдумывает факты

Ситуацию, когда модель уверенно выдает ложную информацию за правду, называют галлюцинацией. Это происходит потому, что ее задача — писать правдоподобный текст, а сгенерировать убедительно выглядящую ссылку, статистику или факт биографии не составляет труда, даже если реальных данных нет. Дообучение снизило частоту таких ошибок, но не убрало их совсем. Зоны повышенного риска:

• Точные цифры, даты и цитаты.
• Ссылки на книги, научные статьи, судебные дела и веб-страницы.
• Узкие темы, по которым было мало данных при обучении.
• События, произошедшие после завершения обучения модели.

В нашем руководстве по проверке фактов рассказано, как быстро проверять ответы нейросетей.

Почему ИИ может не знать о недавних событиях

Знания модели ограничены датой сбора обучающих данных — это так называемая дата отсечения знаний. Обо всем, что произошло позже, она ничего не знает, если только сервис не передаст ей свежую информацию — например, через поиск в интернете или вставленный вами текст. Если помощник ищет данные в сети, качество его ответа напрямую зависит от найденных страниц, поэтому источники всё равно стоит проверять. Если ваш вопрос касается недавних событий, добавьте нужный текст прямо в запрос или сверьте ответ с актуальными источниками.

Модели, разработчики и меню выбора

Большие языковые модели создают разные компании, включая OpenAI (модели GPT, на которых работает ChatGPT), Anthropic (Claude), Google (Gemini), Meta (Llama), xAI (Grok), DeepSeek, Alibaba (Qwen) и Mistral AI. Одни публикуют веса моделей в открытый доступ, чтобы любой желающий мог скачать и запустить их у себя, другие предоставляют доступ только через свои сервисы и API. Модели отличаются стилем ответов, сильными сторонами, поддержкой языков и степенью осторожности. Подробнее о них можно узнать в наших обзорах моделей и сравнениях вроде ChatGPT против Claude.

В ChatG вы можете выбрать подходящую модель в меню или оставить вариант «ChatG Auto». ChatG — независимый сервис и не аффилирован с указанными компаниями.

Частые вопросы

Понимает ли ИИ то, о чем говорит?

Об этом всё еще спорят. Модели прекрасно улавливают структуру языка и законы окружающего мира и умеют решать незнакомые задачи. Однако у них нет личного опыта, и они могут совершать нелепые ошибки, которых никогда не допустил бы человек, знающий тему. На практике к ИИ лучше относиться как к мощному инструменту, а не как к непререкаемому авторитету.

Учится ли ИИ на моем диалоге прямо сейчас?

Не во время беседы: веса модели не меняются в процессе общения. Некоторые сервисы могут использовать переписку позже для обучения следующих версий моделей — в зависимости от их правил и ваших настроек.

Подключен ли ИИ к интернету?

Сама модель — нет. Она опирается на знания, полученные при обучении, и на текст вашей беседы. В некоторых приложениях поиск в интернете встроен как отдельный инструмент. Если в ответе нет ссылок на найденные источники, считайте, что информация взята из базы обучения и может быть устаревшей.

Почему на английском ответы часто получаются лучше, чем на других языках?

При обучении моделям скармливают несравнимо больше текстов на английском языке, чем на любых других. Кроме того, на других языках тот же объем мыслей часто требует большего количества токенов. С популярными языками модели справляются отлично, а вот на менее распространенных качество может быть заметно ниже.