Пользователь, привыкший к чатовым моделям, обычно оценивает ответ: насколько он точен, понятен и полезен. У агентного продукта критерии шире. Здесь важно не только, что помощник написал, но и понял ли он цель, получил ли нужные материалы, остановился ли перед рискованным шагом и принёс ли доказательство результата.
OpenAI анонсировала Dots 29 сентября 2026 года на DevDay. Это постоянно действующий агент внутри ChatGPT: он может продолжать поручение между разговорами, работать на собственном облачном компьютере и обращаться к подключённым приложениям в пределах разрешений. Для русскоязычного знакомства есть проект с дополнительными материалами Dots, но это не официальный вход в OpenAI. Ниже — универсальный чек-лист оценки агентного продукта, без сравнений с конкретными чат-моделями.
1. Цель: понятно ли, что считается успехом
Первый тест начинается не с вопроса «что ты умеешь?», а с описания результата. Плохая постановка звучит как «займись моим проектом». В ней нет границ, приоритета и точки завершения. Хорошая объясняет объект, аудиторию, формат и ограничения.
Например: «Разбери три документа, составь таблицу расхождений, укажи источник каждого вывода и подготовь список вопросов. Ничего не отправляй и не меняй». Такой запрос можно проверить по нескольким признакам: все ли документы учтены, видны ли основания выводов, не выдуманы ли недостающие сведения.
Цель полезно разделить на обязательную и желательную. Обязательная — то, без чего работа не принята. Желательная — улучшение формы, краткость или дополнительные идеи. Это помогает не считать длинный ответ успехом, если основная задача не выполнена.
2. Материалы: на что опирается агент
Агент не может заменить отсутствующие исходные данные убедительным предположением. Перед запуском составьте список материалов: документы, фотографии, переписка, таблицы или подключённые источники. Отметьте, что является актуальным, а что можно использовать только для справки.
Начните с минимального набора. Для редактирования письма передайте письмо, а не всю переписку. Для разбора отчёта приложите нужные периоды и определения показателей. Чем меньше лишнего контекста, тем проще понять, откуда появился вывод и что именно нужно перепроверить.
Полезный агент должен уметь обозначить пробел: «для этого вывода не хватает даты» — лучше, чем молча заполнить его догадкой. В вашей инструкции можно прямо потребовать отдельный список неизвестных и противоречий.
3. Разрешения: соответствует ли доступ задаче
У Dots есть собственный облачный компьютер. Доступ к локальному компьютеру — отдельная возможность, изначально выключенная; её подключают через настольное приложение ChatGPT и могут отозвать. Для первой задачи не нужно давать локальный доступ, если достаточно передать один файл.
Подключённые приложения дают агенту информацию для поручений, а доступные варианты и разрешения нужно проверять перед подключением. Не расширяйте доступ по принципу «пусть видит всё, вдруг пригодится». Спросите себя, какое конкретное действие требует этого источника и можно ли выполнить его на обезличенных данных.
Разделите чтение и изменение. «Проанализируй документ» не означает «перезапиши исходный файл». «Подготовь письмо» не означает «отправь его». Границы должны быть частью задания, а не подразумеваться.
4. Доказательство: что агент принёс вместе с результатом
Оценка агентного продукта заканчивается не на фразе «готово». Попросите показать использованные материалы, сделанные шаги, изменённые элементы и оставшиеся ограничения. Для исследования — источники и даты проверки. Для таблицы — исходные значения и правила расчёта. Для документа — список внесённых изменений.
Доказательство не обязано быть огромным журналом. Достаточно формата, который позволяет быстро ответить на вопросы: что сделано, на основании чего, что осталось неизвестным и какое решение требуется от человека.
Если помощник говорит, что задача выполнена, но не может связать вывод с материалами, контроль становится слишком дорогим. Это сигнал сузить задачу или изменить критерий результата, а не просто попросить ещё больше текста.
5. Остановка и пауза: есть ли понятная граница
У длительного поручения должна быть точка остановки. Укажите, когда агент обязан задать вопрос: при противоречии в документах, нехватке доступа, неопределённом адресате или попытке выполнить внешнее действие. Для важных действий можно выбрать правило «спросить перед выполнением», а не общее разрешение.
В профиле Dots доступна Pause — приостановка агента до возобновления. Не путайте её с удалением данных: Reset удаляет dot вместе с разговорами, сохранёнными воспоминаниями и запланированными задачами. Запланированные задачи смотрите отдельно в разделе Scheduled: там есть активные, приостановленные и завершённые.
Безопасный тест должен быть обратимым. Начните с черновика, сводки или списка предложений. Не начинайте с публикации, отправки сообщений, покупки или изменения рабочего проекта.
Как провести оценку за одну задачу
- Выберите знакомый вам документ и сформулируйте один проверяемый результат.
- Перечислите обязательные материалы и явно назовите источник истины.
- Укажите, что разрешено читать, а что нельзя изменять или отправлять.
- Попросите отделить факты, предположения и неизвестные места.
- Заранее задайте условие остановки и формат отчёта о выполнении.
- Сверьте результат с оригиналом и зафиксируйте, сколько исправлений потребовалось.
Пример задания:
Изучи приложенные материалы и подготовь план статьи для человека без технической подготовки. Используй только подтверждённые сведения. Отдельно покажи противоречия и вопросы, требующие моего ответа. Ничего не публикуй, не отправляй и не изменяй в исходных файлах. Если данных недостаточно, остановись и перечисли, чего не хватает.
Как отличить полезного агента от красивого отчёта
Сравнивайте не объём и не уверенный тон, а четыре наблюдаемых результата: меньше ли ручных шагов, видны ли основания выводов, корректно ли соблюдены ограничения и легко ли остановить работу. Иногда лучший результат — короткий список того, что нельзя решить без вашего выбора.
Постоянное продолжение работы не отменяет контроля. Dots может исследовать в фоне, просматривать подключённую информацию и формировать контекст для будущей работы, но агент может ошибаться, в том числе при выполнении заданных правил. Проверка важного материала остаётся частью процесса.
FAQ
Нужен ли большой промпт?
Нет. Нужны ясная цель, материалы, разрешения, критерий результата и условие остановки. Длина инструкции сама по себе не устраняет неоднозначность.
Можно ли сразу подключить все приложения?
Не стоит. Начните с минимального источника, а новое разрешение добавляйте только для конкретной потребности.
Что попросить в отчёте о работе?
Какие материалы использованы, что изменено, какие выводы подтверждены, что осталось неизвестным и какое решение нужно от вас.
Что делать, если агент ошибся?
Остановить или сузить поручение, показать конкретную ошибку, уточнить источник и повторить проверяемый шаг. Не расширяйте доступ, пока причина не понятна. Этот чек-лист пригодится и для локальных агентов — например, при безопасной установке OpenClaw (бывший Moltbot).
