Мультимодальные агенты: почему «видеть экран и кликать» важнее чат-ботов

Чат-бот отвечает на вопросы. Агент делает работу. Разница — в триллионах долларов.

Забудьте всё, что вы знали про AI-автоматизацию. Промпты, RAG, цепочки вызовов, генерация текста — это был разогрев. Настоящая революция начинается сейчас, и она выглядит иначе: модель открывает браузер, видит интерфейс вашей CRM, находит нужное поле, заполняет его, переходит в следующую систему, сверяет данные и отправляет отчёт. Без API. Без интеграции. Без единой строчки кода.

Это не фантастика. Это Gemini 2.0 с Project Mariner. Это Claude Computer Use. Это OpenAI Operator. Три гиганта одновременно пришли к одной идее: модель должна не текст генерировать, а работу делать. И эта идея меняет всё.

Давайте проведём границу, потому что терминология в AI — это хаос. Каждый второй стартап называет свой чат-бот «агентом». Каждый третий маркетолог путает RAG с автоматизацией. Давайте по-честному.

Чат-бот генерирует текст в ответ на текст. Вы спрашиваете — он отвечает. Всё. Даже если он подключён к базе знаний, даже если он использует reasoning — это разговор, а не работа.

API-интеграция — это код, который связывает системы. Написали один раз, работает предсказуемо. Но: каждая новая система = новая интеграция, новый код, новые баги. И половина корпоративного софта вообще не имеет API.

Мультимодальный агент — это принципиально другое. Он видит экран (screenshot или видеопоток), понимает интерфейс (кнопки, поля, меню, таблицы), планирует последовательность действий и выполняет их: клики, ввод текста, переходы между приложениями. Как стажёр, который сидит за вашим компьютером — но работает 24/7, не устаёт и не забывает инструкции.

Ключевой сдвиг: раньше AI автоматизировал только то, к чему есть API. Теперь AI автоматизирует всё, что видит человек на экране. А человек видит всё. Каждую legacy-систему, каждую таблицу в Excel, каждый веб-интерфейс без документации. Агент тоже.

Идея «пусть компьютер сам нажимает кнопки» не нова. RPA-индустрия зарабатывает на этом миллиарды. Но есть разница между жёсткими скриптами, которые ломаются при любом изменении интерфейса, и моделью, которая понимает, что видит. Эта разница — десятилетие эволюции.

Каждый раз, когда кто-то говорит «просто подключите через API», я прошу показать документацию API их бухгалтерской программы. Или ERP. Или внутреннего тикет-трекера, написанного в 2014 году на PHP. Тишина.

Реальность корпоративного мира: большая часть процессов застряла между системами, которые не умеют разговаривать друг с другом. CRM, почта, таблицы, ERP, BI-дашборды, таск-трекеры, внутренние порталы. API есть не везде. Права есть не у всех. Документация устарела. А люди «склеивают» это руками — каждый день, по 4 часа, копипастя данные из одного окна в другое.

Мультимодальный агент решает именно эту проблему. Не «как подключить систему A к системе B через код». А «как сделать то, что делает человек за компьютером — но без человека».

Абстрактный «AI-агент автоматизирует процессы» — это маркетинг. Давайте конкретно: какие задачи, в каких отделах, с каким ожидаемым эффектом. Потому что ROI мультимодальных агентов радикально различается в зависимости от сценария.

Поддержка клиентов. Агент видит тикет-систему, собирает контекст из CRM и базы знаний, готовит черновик ответа, эскалирует сложное. Экономия: 40-60% времени L1-саппорта. Пилоты в 2025 показали снижение среднего времени обработки тикета с 12 до 4 минут.

Финансы и бухгалтерия. Сверки между системами, подготовка отчётов, контроль платежей с подтверждением человеком. Здесь агент особенно силён: он не устаёт от рутины и не пропускает строчки в таблице на 500 позиций. Экономия: 50-70% времени на сверках.

Продажи. Обработка входящих лидов, обновление CRM, подготовка коммерческих предложений по шаблону, назначение встреч через календарь. Менеджер тратит 2 часа в день на CRM — агент берёт это на себя. Результат: менеджер продаёт, а не заполняет формы.

Операционка и HR. Контроль SLA, рассылки, мониторинг показателей, онбординг новых сотрудников (заведение аккаунтов, настройка доступов, отправка инструкций). Всё, что «кто-то должен руками прокликать» — территория агента.

Вот что отличает мультимодальных агентов от всего, что было раньше: они действуют. Не советуют, не генерируют текст, не предлагают — а нажимают кнопки, отправляют письма, заполняют формы, переводят деньги.

Галлюцинация в чат-боте — это неудобство. Галлюцинация в агенте, который имеет доступ к вашей CRM, почте и платёжной системе — это инцидент. Разница — не в степени, а в природе.

Когда модель написала неправильный текст, вы его просто не публикуете. Когда агент отправил письмо не тому клиенту, удалил строку в базе данных или одобрил платёж, который не должен был одобрять — откат стоит денег, репутации, а иногда и бизнеса.

Поэтому инженерная дисциплина для мультимодальных агентов — это не «было бы неплохо». Это prerequisite. Без неё не начинайте.

Пять столпов безопасности агентов:

1. RBAC — роли и права. Агент не должен иметь доступ ко всему, что видит пользователь. Определите: какие системы, какие действия, какие данные. Принцип минимальных привилегий — как для сотрудника, только строже.

2. Подтверждения для критических действий. Отправка денег, удаление данных, коммуникация с клиентами — human-in-the-loop обязателен. Агент готовит, человек подтверждает. Не наоборот.

3. Лимиты и дедупликация. Максимум N действий в час. Максимум N рублей в день. Если агент пытается отправить 50 одинаковых писем — стоп. Rate limits спасают от каскадных ошибок.

4. Полные логи действий. Каждый клик, каждый ввод, каждый переход — в audit trail. С timestamp, контекстом и screenshot. Без логов вы не сможете ни расследовать инцидент, ни доказать compliance.

5. Регрессия по кейсам. Golden set сценариев: «агент должен сделать X, не должен делать Y». Прогоняйте при каждом обновлении модели. Модель обновилась — поведение агента могло измениться. Без регрессии вы узнаете об этом от клиентов.

Теория — это хорошо. Но вам нужен конкретный план. Вот пошаговый фреймворк, проверенный на enterprise-пилотах в 2025 году. Каждый шаг — это ворота: не прошли — не двигаетесь дальше.

Мультимодальные агенты сегодня — это примерно там, где были мобильные приложения в 2009 году. Первые версии неуклюжие, медленные, с кучей ограничений. Но направление очевидно. И те, кто начинает сейчас, через два года будут иметь отработанные процессы, обученные модели и конкурентное преимущество.

Agent-native интерфейсы. Компании начнут проектировать внутренние системы не только для людей, но и для агентов. Structured data вместо визуальных украшений. Semantic HTML. Предсказуемые layouts. Это не замена API — это дополнение, которое работает из коробки.

Стандарты безопасности для агентов. OWASP уже работает над Agent Security Top 10. EU AI Act получит дополнения по autonomous agents. ISO 27001 обновится с учётом AI-действий. Compliance станет не барьером, а конкурентным преимуществом.

Multimodal reasoning. Gemini 3, Claude 4, GPT-5 — все будут нативно мультимодальными с agent capabilities. Различия между моделями сместятся от «кто лучше пишет текст» к «кто надёжнее выполняет задачи». Reliability важнее creativity.

Экосистема инструментов. Browser Use, Skyvern, AgentQL — это только начало. Появятся enterprise-grade платформы для оркестрации агентов, мониторинга их действий, управления политиками. Agent orchestration станет отдельной дисциплиной.

Цена входа будет расти. Сейчас пилот можно запустить за неделю. Через год стандарты безопасности, compliance-требования и ожидания клиентов поднимут планку. Раннее внедрение = дешёвое обучение.

Что делать прямо сейчас: без откладывания

Мультимодальные агенты — это не «через пять лет». Это сейчас. Gemini 2.0, Claude Computer Use, OpenAI Operator — всё доступно. Вопрос не «будет ли это работать», а «готовы ли вы это контролировать».

• Определите три процесса с максимальным количеством ручных шагов между системами. Это ваши кандидаты на пилот.
• Начните с read-only. Пусть агент наблюдает и описывает. Не давайте write-доступ, пока не убедитесь, что он правильно понимает интерфейс.
• Напишите Tool Policy до первого действия в проде. Что можно, что нельзя, что требует подтверждения. Документ, а не устная договорённость.
• Настройте логирование каждого действия агента. Без логов нет контроля. Без контроля нет масштабирования.
• Не ждите идеальной модели. Gemini, Claude, Operator — все работают. Все имеют ограничения. Побеждает тот, кто начал строить процесс, а не тот, кто выбирал «лучшую» модель.
• Вложитесь в RBAC. Роли, права, лимиты — это инфраструктура, которая окупится на каждом следующем агенте.

Эра чат-ботов закончилась. Эра агентов началась. Модели видят экран. Модели нажимают кнопки. Модели доводят задачи до результата. Вопрос только в том, кто будет управлять этими агентами — вы или ваши конкуренты.