Vision

Возможности

• Два слота цепочки: «основной» и «страховщик».
• Источник выбирается прямо в строке источника, двумя чипами.
• Кнопка «убрать» снимает выбор в слоте.
• Пустая цепочка означает автоподбор — источники выбираются сами.
• У каждого источника видно, доступен он сейчас или нет.
• Если источник стал недоступен, он остаётся в списке, чтобы его можно было снять, а рядом пишется причина: провайдер выключен, нет ключа или нет аккаунта.
• В шапке видно, сколько источников в цепочке и все ли доступны: «2 src» или «1/2 src», если часть недоступна.
• Кнопка «Проверить цепочку» распознаёт встроенную картинку и показывает, кто ответил, что он сказал и за сколько.
• Когда в цепочке больше одного источника или кто-то не ответил, виден список попыток: «ok» или «fail», источник, задержка и текст ошибки.
• Задержка показывается точно: «830ms» или «1.2s».
• После сохранения под экраном появляется полоса «записано на бэкенд», при ошибке — текст ошибки.
• Если источников нет вообще, карточка объясняет, что нужно сделать: завести аккаунт WebAI DeepSeek или отметить модель провайдера, которая умеет картинки.

Технические данные

Кто может смотреть картинки

Аккаунт WebAI DeepSeek. Считается доступным, если есть включённый аккаунт без ошибки входа. Под названием источника показывается имя этого аккаунта.

Модель API-провайдера. Попадает в список, если она умеет картинки: либо приложение узнало это по имени модели, либо вы добавили её вручную кнопкой «+ модель» на этом экране. Под источником показывается адрес провайдера. Доступна она, если провайдер включён и у него есть ключ.

Остальные провайдеры веб-ИИ в этот список не попадают: распознавание на них не настроено.

Почему один источник нельзя поставить в оба слота

Иначе цепочка станет из двух одинаковых звеньев: на второй попытке модель ответит с тем же провайдером и упадёт точно так же. Поэтому если источник уже стоит в одном слоте, выбор его в другом просто переносит его туда.

Как выбирается источник, если цепочка пустая

Сначала идёт WebAI DeepSeek, если есть живой аккаунт, затем все включённые модели провайдеров, которые умеют картинки. То есть в режиме «авто» страховщик не нужен — он и так есть в списке. Режим «авто» и подпись под цепочкой показывают, что источники подбираются сами.

Как проходит запрос

Сервер идёт по цепочке сверху вниз и берёт первый удачный ответ. Каждое звено с задержкой и ошибкой попадает в список попыток, поэтому по результату проверки видно, кто именно не ответил. Если оба звена не справились, в ленте появится «vision не ответил» вместе с причиной.

Так что страховщик — это не запасной вариант в настройках, а настоящий второй запрос: он тратит время и деньги, только если основной не справился.

Почему картинка не уходит в переписку

Снимок сохраняется файлом, а в тред попадает только его путь и текст ответа. Из-за этого один и тот же скриншот не оплачивается моделью заново на каждом следующем ходе — и по сохранённому пути можно задать уточняющий вопрос, не переснимая экран.

Что агент умеет с распознаванием

Посмотреть на картинку

Агент умеет распознать картинку по пути на диске или по данным файла, задать свой вопрос и вырезать нужный кусок кадра по координатам. Можно указать конкретный источник для одного вызова, не меняя цепочку целиком.

Посмотреть на страницу браузера

Агент снимает страницу встроенного браузера и описывает её. Может работать в невидимой сессии, не переключая экран, снять страницу целиком вместо видимой части и добавить сводку консоли и упавших запросов — так видно, почему страница пустая.

Посмотреть на экран приложения

Агент снимает экран приложения и описывает его. Можно указать нужный экран хаба: агент сам откроет его, снимет и вернёт исходный экран, а не тот, что был до этого.

Что возвращается

Все три инструмента отдают одно и то же: путь к сохранённому снимку, текст описания и имя источника, который ответил. Разбираться в формате не нужно, а путь можно переиспользовать для уточняющих вопросов.

Управлять цепочкой

Отдельного инструмента для правки настроек распознавания нет, но агент умеет обращаться к тем же адресам сервера из терминала: прочитать конфигурацию, записать новую цепочку и отправить картинку на распознавание. Там же есть отдельный флаг «не переходить к страховщику» — он полезен, когда нужно понять, отвечает ли именно основной источник.

Старый контур локального сервера

Остались три мостовые команды: задать адрес и ключ локального сервера, прочитать настройки и проверить их на встроенной картинке. В списке источников на экране этот сервер не показывается, и в цепочку он сам по себе не попадает.

Ограничения

• Экран показывает два слота, а сервер умеет держать четыре: если в цепочке больше, лишнее молча пропадёт при следующем сохранении.
• Один источник не может быть и основным, и страховщиком.
• Запись в конфиг без адреса локального сервера отбрасывается и на экране, и на сервере, так что старый конфиг через экран не вернуть.
• Флаг «нативные картинки» хранится в конфигурации, но на экране не переключается и пока ни на что не влияет.
• Каждая проверка — настоящий запрос к модели, жмёте её часто — расходуете лимиты.
• Модель, которая не распознаётся по имени и не добавлена кнопкой «+ модель», в список источников не попадёт.
• Поддерживаются только картинки: pdf и документы распознать нельзя.
• Формат, который сервер не умеет распаковывать, уходит как есть, если файл меньше 3 МБ, иначе придёт отказ на подготовке картинки. Расширение при этом всё равно определяется по содержимому — воткнутый heic сможет и не пройти.
• В переписку попадает только текст: если агенту понадобится снова рассмотреть тот же кадр, он возьмёт сохранённый файл.
• Если ни один источник не ответил, вместо описания придёт «vision не ответил» и список попыток с ошибками.