Параметры температуры и сэмплинга для разных задач ИИ

Почему один стандарт вызывает проблемы

Один общий пресет выглядит аккуратно на бумаге, но в реальной работе он редко справляется. Одна команда может использовать промпт для извлечения сумм по счетам из переписок, а другая — для генерации идей по продукту на следующий квартал. Эти задачи требуют разного поведения модели.

Извлечение и классификация работают лучше, когда модель ведет себя скучно. Вы хотите одинаковые поля, одинаковый формат и тот же ответ каждый раз, когда вход означает одно и то же. Когда модель дрейфует, люди тратят время на проверку мелких различий: изменившихся меток, пропавших полей или ответов, которые кажутся правильными, но не точны.

Мозговой штурм требует обратного. Если модель всегда выбирает самый безопасный следующий токен, идеи начинают звучать как копии друг друга. Вы получаете десять версий одной и той же идеи с разной формулировкой, но без реального разнообразия. Сначала это кажется полезным, затем команде приходится сильнее давить промптами, чтобы выжать свежий угол.

Это скрытая цена одного пресета. Люди перезапускают промпты, потому что вывод слишком жесткий для творческих задач или слишком свободный для структурированных. Потом они правят вручную, лепят промпты случайным образом и формируют привычки, которые потом никто не может объяснить.

Путаница распространяется по командам. Руководитель поддержки может считать модель ненадежной, потому что извлечение теряет поля дважды в день. Маркетолог может жаловаться, что тот же инструмент скучный, потому что идеи для кампаний звучат одинаково. Оба жалобы могут быть верны, когда общий пресет не подходит ни для одной из задач.

Решение простое. Начните с самой задачи. Если нужна согласованность — используйте более строгие настройки. Если нужны варианты и свежая фразировка — дайте больше свободы. Это одно изменение сокращает перезапуски, уменьшает ручную правку и делает командные привычки легче воспроизводимыми.

Что меняют температура и сэмплинг

Температура влияет на то, насколько модель готова выбрать менее вероятное следующее слово. Низкая температура держит её близко к самому безопасному ответу. Высокая температура дает больше свободы пробовать необычные формулировки, свежие углы или менее очевидные выражения.

Сэмплинг контролирует, из каких вариантов модель может выбирать в принципе. Настройка вроде top p отсекает маловероятные варианты перед тем, как модель начнет выбор. Если фильтр жесткий, модель остается в небольшом наборе вероятных вариантов. Если он свободный, модель может черпать из более широкого пула.

Эти контролы работают вместе, но решают разные задачи. Температура меняет, насколько рискованно модель выбирает. Сэмплинг меняет, сколько опций для выбора вообще доступно. Понизьте оба — вывод станет уже и легче воспроизводим. Повысите — вывод расширится, станет менее предсказуемым и иногда более удивительным.

Это важно не только для креативности, но и для согласованности. Многие думают, что температура только делает текст скучным или живым. На самом деле она также влияет на то, дает ли один и тот же промпт почти одинаковый ответ каждый раз или малые изменения в формулировке приводят к разным результатам.

Простой пример показывает разницу. Если вы просите модель извлечь даты и суммы счетов из текста, низкая дисперсия обычно полезна, потому что модель должна придерживаться очевидного ответа. Если вы просите придумать десять названий продуктов, более высокая дисперсия помогает, потому что безопасные варианты будут похожи друг на друга.

Эти настройки не меняют знания модели. Они меняют, насколько плотно она держится вокруг наиболее вероятного ответа. Именно поэтому один пресет может казаться подходящим для одной задачи и неправильным для другой.

Соответствуйте настройке задаче

Хороший результат для одной задачи может быть плохим для другой. Если вы используете одни и те же настройки для всех промптов, вы обычно получаете либо пресные идеи, либо ненадежные факты.

Извлечение, классификация и строгий формат лучше всего работают с низкой дисперсией. Вы хотите, чтобы модель принимала одно и то же решение каждый раз, держалась источника и избегала заполнения пробелов догадками. Если вы просите её извлечь суммы счетов, сортировать тикеты поддержки или вернуть JSON, держите температуру низкой и сэмплинг тугим.

Даже небольшое изменение здесь имеет значение. Немного более свободная настройка может превратить «читать и копировать» в «читать и импровизировать», и именно там начинаются ошибки.

Переписывание и суммирование требуют больше свободы, но не слишком много. Средний диапазон дает модели достаточно места, чтобы сгладить неуклюжие формулировки, сократить плотный текст и подправить тон, не уходя от исходного смысла. Если установить слишком низко — результат часто звучит жестко. Слишком высоко — модель начнет добавлять пункты, которых вы не просили.

Мозговой штурм другой. Названия, идеи для кампаний, концепты фич и черновые планировки обычно выигрывают от большей дисперсии. Нужен больший разброс, больше сюрпризов и пара странных вариантов. Большинство из них не будут отличными — и это нормально. Цель сначала — разнообразие, затем — отбор.

Простое правило работает хорошо: низкая дисперсия для извлечения, классификации и точных форматов; средний диапазон для переписывания, резюме и работы с тоном; более высокая дисперсия для мозгового штурма, именования и ранних концептов.

Личные предпочтения слабый ориентир. Кому-то постоянно нравится творческий выход, кому-то — аккуратные предсказуемые ответы. Ни одна привычка не должна решать ваши дефолты. Решать должна задача.

Если стартап использует ИИ утром для суммирования звонков клиентов, в полдень — для извлечения действий, а после обеда — для генерации названий, один пресет подведет минимум одну из этих задач. Настраивайте параметры под текущую задачу, а не под стиль, который вам просто нравится.

Как выбрать отправную точку

Перед тем как трогать настройки, опишите задачу одной простой фразой. «Выгрузить суммы по счетам из 20 PDF» и «предложить 10 идей для кампании на запуск» — это разные работы. Если смешивать их в тесте, результат превратится в гадание.

Держите первый раунд узким. Не нужно пробовать все возможные значения. Для задач, где важна точность, тестируйте температуру в диапазоне 0–0.3. Для черновиков и переписываний попробуйте сначала 0.4–0.7. Прогоняйте один и тот же промпт три–пять раз на каждом значении, чтобы увидеть закономерности, а не доверяться одному удачному выводу.

Проверяйте два аспекта: точность и вариативность. Модель правильно извлекла факты и оставалась ли она согласованной между прогонками? Низкая вариативность полезна для извлечения, тегирования и классификации. Небольшая вариативность нужна, когда вы хотите чище сформулированный текст или несколько вариантов фразировки.

Делайте короткие заметки в процессе тестов. Запишите предложение с описанием задачи, версию промпта, использованные температуру и top p, что осталось корректным и что менялось между прогонками. Строка вроде «0.2 стабильно, 0.6 хорошо переписал, но поменял одно поле» полезнее, чем расплывчатая память через неделю.

Сохраните дефолт для каждого типа задачи, а не один дефолт для всех рабочих процессов. Ваш промпт для извлечения, промпт для переписывания и для мозгового штурма не должны использовать одни и те же настройки.

Если нужен практический совет, начните консервативно. Легче добавить вариативность, когда задача кажется слишком жесткой, чем убирать шум после того, как процесс сломался.

Используйте низкую дисперсию для извлечения и классификации

Когда модель должна вытягивать точные поля или присваивать стабильные метки, случайность обычно больше вредит, чем помогает. Начинайте рядом с 0.0–0.2 для температуры. Это удерживает модель рядом с наиболее вероятным ответом, вместо маленьких креативных прыжков, которые превращаются в неверные даты, лишние теги или измененные формулировки.

Это важно в повседневных задачах: чтение счетов, сортировка тикетов поддержки или извлечение имен и сумм из неряшливого текста. Если один и тот же вход может дать немного разные выходы при каждом прогоне, автоматизация становится труднее доверительной. Низкая дисперсия облегчает сравнение результатов, их проверку и исправление.

Top p тоже важен. Если модель начинает добавлять наполнители, объяснения или случайные догадки, ужесточите top p. Меньший пул кандидатов часто уменьшает дрейф, когда вам нужен короткий контролируемый вывод, а не беглая прозa.

Фиксированные правила формата помогают так же, как и низкий сэмплинг. Решите формат до теста. Пропавшие поля должны возвращать null, метки — из утвержденного списка, даты — в одном формате, и модель не должна объяснять ответ, если вы этого не просите.

Крайние случаи быстро выявляют слабые настройки. Рабочий процесс может выглядеть нормально на чистых примерах и все же провалиться на реальных данных. Тестируйте записи с пропусками, сломанным форматированием, копипастом, дубликатами и случаями, где правильный ответ — «неизвестно». Полезный набор для проверки обычно включает одну чистую запись, одну с пустыми полями, одну — неряшливый копипаст, одну дубликат или почти дубликат и один случай с корректным ответом «unknown».

Хорошая работа по извлечению обычно скучная — и в этом смысл. Здесь скучно значит стабильно. Если два прогона на одном и том же входе дают разные поля или метки, снизьте дисперсию прежде, чем что-то менять еще.

Используйте средний диапазон для черновиков и переписываний

Для резюме, переписываний и коротких черновиков обычно лучше средние настройки. Начните около 0.3–0.6. Это дает модели пространство, чтобы сгладить неловкие обороты и улучшить структуру, оставаясь близко к исходнику.

Это диапазон, где настройки перестают быть исключительно про точность или про открытую креативность. Нужен некоторый ход, но не чрезмерный. Слишком низко — результат звучит жестко и однообразно. Слишком высоко — модель начнет менять смысл, убирать детали или добавлять переходы, которые делают текст длиннее, но не яснее.

Обычный пример — переписать заметки встречи в короткое сообщение для клиента. При 0.4 модель часто превратит грубые буллеты в чистые предложения и сохранит факты. При 0.8 она может смягчить предупреждения, поменять порядок приоритетов или добавить фразы типа «в дальнейшем», которые удлиняют сообщение, не делая его понятнее.

В этом диапазоне вы должны ожидать небольшие различия между прогонами. Тон может немного меняться: одна версия — более прямолинейная, другая — более отточенная. Меняется и длина, особенно если промпт оставляет простор для интерпретации. Это нормально.

Следите за признаками проблем. Имена, даты или числа исчезают. Модель добавляет связующие идеи, которых не было в исходнике. Тон становится более формальным или неуместно разговорным. Переписанный текст укорачивается, но теряет контекст.

В этом случае понижайте настройку и тестируйте снова. Небольшой шаг часто решает проблему. Переход с 0.6 на 0.4 может сохранить свежую формулировку, удерживая смысл. Для команд, которые ежедневно переписывают внутренние заметки, продуктовый текст или ответы поддержки, этот диапазон часто экономит время, улучшая формулировки без необходимости полной фактической проверки каждой строки.

Используйте более высокую дисперсию для мозгового штурма

Когда вам нужны свежие идеи, тугие настройки часто заставляют модель играть безопасно. Вы получаете аккуратные ответы, но они похожи друг на друга. Для генерации идей это плохая сделка.

Чаще всего лучше более высокая настройка. Начните примерно с 0.7–1.0, когда хотите расширить спектр вывода. Если вы контролируете top p, тоже дайте более широкий пул. Цель проста: дать модели пространство для неожиданностей.

Это хорошо работает для названий продуктов, идей фич, углов кампаний, заголовков для главной страницы, тем для писем, концептов приложений и грубых планов. Вам не нужен один отшлифованный ответ, вам нужны опции.

Просите идеи партиями, а не один длинный список. Десять идей за раз обычно достаточно. Затем попросите ещё десять с другим тоном, аудиторией или ограничением. Малые партии легче просмотреть на предмет шаблонности, слабых мест и тех нескольких идей, которые действительно новые.

Конкретный промпт помогает. Запрос «12 названий для B2B-инструмента выставления счетов, половина — простые и надежные, половина — более острые и современные» обычно дает лучший разброс, чем «придумай какие-то названия».

Не останавливайтесь на первом креативном проходе. Высокая дисперсия хороша для исследования, но приносит и мусор. Некоторые идеи будут расплывчатыми, странными или слишком хитроумными. Это нормально. Мозговой штурм сначала создает диапазон, затем включается сужение.

Когда найдёте направление, которое нравится, снизьте настройки. Используйте более спокойный режим, чтобы превратить грубую мысль в ясный черновик, лендинг или бриф по продукту. Разделите работу на две фазы: сначала широкий поиск, затем более точная запись.

Простой командный пример

Команда поддержки решала три задачи с одной моделью. После разделения настроек по задачам модель стала гораздо надежнее.

Сначала они сортировали входящие тикеты по возвратам. Модель читала сообщение и выбирала одну простую причину: «дублированный платеж», «поздняя доставка» или «товар не соответствует описанию». Для этой работы они держали настройки низкими, чтобы вывод был тесным и воспроизводимым, с меньшим количеством странных меток и ручной правки.

Та же команда также правит ответы агентов перед отправкой клиентам. Эта задача требует чуть большей гибкости. Сообщение должно оставаться точным, но звучать спокойно, ясно и по-человечески, а не жестко. Поэтому для этого они использовали средний диапазон. Модель могла перефразировать неловкие места, сократить длинные предложения и смягчить тон, не придумывая дополнительных обещаний или деталей по политике.

Продуктовая команда в той же компании использовала модель для генерации названий фич. Если они оставляли строгий пресет для извлечения, названия выходили плоскими и однообразными. Поэтому для генерации идей они повышали дисперсию. Это давало больше разнообразия, что и было целью. Некоторые предложения промахивались, но несколько были достаточно свежи, чтобы начать реальное обсуждение.

Это простое разделение решило много проблем. Извлечение осталось чистым, ответы стали читабельнее, а продуктовая команда перестала тратить время на скучные списки названий.

Ошибки, которые тянут время

Команды теряют часы, если считают один пресет универсальным решением. Живая конфигурация, которая подходит для идей, может разрушить процесс извлечения. Если модель должна вытягивать номера счетов, названия продуктов или теги поддержки, лишняя случайность превращает мелкие ошибки в трудоемкую ручную правку.

Еще одна распространенная ошибка — оценивать настройку по одному удачному прогону. Один ответ может выглядеть идеально, а затем модель провалится на следующих десяти примерах. Повторяемые задачи требуют небольшого тестового набора, а не интуиции. Прогоните один и тот же промпт на разных примерах и посмотрите, остается ли результат стабильным при изменении формулировки.

Много времени уходит, когда меняют сразу много параметров. Если вы одновременно трогаете температуру, top p, промпт и модель, вы почти ничего не узнаете. Когда результат улучшается, непонятно почему. Когда хуже — нет безопасного пути назад.

Одна простая привычка экономит много времени: меняйте по одному параметру, держите 10–20 тестовых кейсов для каждой задачи, сохраняйте выводы, чтобы можно было сравнить прогоны, и отдавайте приоритет повторяемости перед разнообразием для извлечения, разметки и маршрутизации.

Команды также тратят время, когда гонятся за разнообразием в задачах, которым нужна одинаковая форма каждый раз. Классификация, парсинг и заполнение форм обычно лучше работают при более жестких настройках. Оставьте более высокий диапазон для мозгового штурма, именования или черновых работ, где свежие углы важнее, чем строгая повторяемость.

Если один рабочий процесс включает оба типа работы, разделите его на два шага. Сначала строгий пресет для структурированного вывода, затем более гибкий для озвучивания или стилистики. Это обычно быстрее, чем править смешанное качество вручную.

Быстрая проверка и дальнейшие шаги

Настройка не становится хорошей потому, что один вывод однажды был удачным. Прогоните промпт как минимум пять раз и сравните разброс. Этот быстрый тест покажет, предсказуем ваш рабочий процесс или вы просто поймали удачный ответ.

Оценивайте результаты по трём вопросам: модель сохранила факты? Соблюдался ли требуемый формат каждый раз? Остался ли тон там, где вам нужно? Если что-то часто ломается, настройка слишком свободна для этой задачи.

Это особенно важно для извлечения, классификации, клиентских резюме и всего, что поступает в другую систему. Креативный ответ бесполезен, если он теряет поле, меняет структуру или добавляет догадки. Для черновиков и мозгового штурма допустимо больше вариаций, но и там резкие колебания обычно ведут к лишней правке.

Запишите командное правило простым языком и держите его коротким. Определите дефолт для каждого типа задачи, допустимый диапазон тестирования и запасную настройку на случай дрейфа или слома формата. Достаточно одной страницы. Новым членам команды проще учиться, когда не приходится угадывать, какая настройка подходит для какой работы.

Если вы настраиваете эти параметры для реальной работы, тестируйте на ваших реальных промптах и реальном неряшливом вводе. Чистые демонстрационные примеры скрывают проблемы. Тикет поддержки, заметка продаж или полуструктурированная строка таблицы скажут гораздо больше, чем идеальный пример.

Команды, которые используют ИИ каждый день, обычно нуждаются в консервативных дефолтах, особенно если результаты идут в отчеты, код-ревью, внутренние инструменты или тексты для клиентов. Если нужно помощь с ревью таких рабочих процессов, Oleg Sotnikov на oleg.is работает со стартапами и небольшими командами по практическому внедрению ИИ и может помочь установить более безопасные дефолты для продакшена.

Пять повторных прогонов, письменный дефолт и правило отката обычно лучше бесконечного подстраивания. Этого достаточно, чтобы сделать модель предсказуемее, не замедляя команду.