Veltos.Tech

AI и ML

LLM

Также называют: большая языковая модель, нейросеть для текста, что такое LLM

Определение

LLM — большая языковая модель: нейросеть, обученная на огромных объёмах текста предсказывать следующий токен, из-за чего она умеет писать, пересказывать и отвечать, но не хранит фактов как база данных и может уверенно ошибаться.

Понимание одного механизма снимает большую часть заблуждений. Модель не «знает» ответ и не ищет его — она по очереди предсказывает следующий фрагмент текста, опираясь на статистические закономерности обучающих данных и на то, что уже написано в контексте. Отсюда галлюцинации: правдоподобное продолжение и правдивое продолжение — разные вещи, а модель оптимизирована на первое. Отсюда же ограничение контекстного окна: всё, что модель «помнит» в диалоге, — это текст, который физически помещается во вход. И отсюда чувствительность к формулировке: разные постановки задачи ведут в разные области распределения.

Для российского проекта выбор модели упирается не только в качество, но и в право. Если в модель попадают персональные данные российских пользователей — имена, телефоны, содержание обращений, — применяются требования 152-ФЗ, включая локализацию баз. Отсюда три рабочих сценария: отечественные сервисы (GigaChat, YandexGPT), открытые модели, развёрнутые в российском контуре, и зарубежные API — но только для данных, которые персональными не являются. Практика показывает, что этот вопрос дешевле решить в первую неделю проекта, чем после запуска, когда переезд означает переписывание слоя работы с данными.

Практический вывод для бизнеса: LLM хорошо решает задачи, где допустима вариативность и есть проверяющий, и плохо — там, где нужен детерминированный точный ответ. Черновики текстов, классификация обращений, извлечение полей из документов, суммаризация переписки, первичная поддержка по базе знаний — рабочие сценарии. Расчёт стоимости заказа, юридически значимые формулировки, ответы о наличии и остатках — задачи для обычного кода и баз данных, которым модель может лишь помочь сформулировать ответ. Наиболее частая ошибка внедрения — поручить модели то, что должно быть детерминированным.

Смежные термины

Услуги по теме

Почитать подробнее

Нужна помощь с этим на практике?

Мы не только объясняем термины, но и делаем это руками. Опишите задачу — разберём и пришлём смету по этапам.