Anionex/dsh-computer-use

Это нативный macOS-бандл для DeepSeek Harness, который позволяет агенту наблюдать и управлять интерфейсом приложений через Accessibility API. Нужен разработчикам, которые строят агентов для настольных задач и хотят избежать перехвата курсора и глобального ввода.

Ключевые возможности

• Возвращает ограниченное дерево Accessibility с индексами элементов и метаданными процесса и окна.
• Каждое действие привязано к конкретному наблюдению и отклоняется при устаревшем состоянии.
• Семантический ввод через Accessibility имеет приоритет над резервными кликами и клавиатурой.
• Резервный ввод направлен на конкретный процесс и окно, а не на глобальный поток событий.
• Отдельный программный курсор анимируется без перемещения системного указателя.
• Область доступа ограничена выбранными приложениями и проверяется после каждого действия.

Для каких задач подходит

• Автоматизация рутинных операций в настольных приложениях macOS без вмешательства в работу пользователя.
• Построение агентов, которым нужно читать состояние интерфейса и выполнять действия по Accessibility.
• Задачи, где важно не перехватывать фокус и курсор, пока пользователь работает в другом приложении.
• Сценарии с подтверждением человеком перед выполнением шагов в интерфейсе.
• Тестирование и отладка агентных сценариев на macOS с проверкой состояния после действий.

Подробнее

DSH Computer Use — это плагин для DeepSeek Harness, который добавляет агенту нативный слой действий в macOS. В основе лежит Accessibility API: агент сначала получает наблюдение — ограниченное дерево элементов с индексами, метаданными процесса и окна, состоянием разрешений и опциональным скриншотом. Действия привязываются к этому наблюдению через opaque targetHandle, а устаревшие состояния отклоняются, чтобы агент не работал вслепую по изменившемуся интерфейсу.

Отличие от типичных решений для computer use — в маршрутизации ввода. По умолчанию плагин не двигает системный курсор и не инжектит глобальные события: клики, скролл и перетаскивание идут через адресованный процессу и окну маршрут SkyLight. Семантический ввод через Accessibility стоит первым, а резервные мышь и клавиатура направлены на выбранный процесс. Отдельный программный курсор анимируется только когда целевое приложение на переднем плане, а системный указатель остаётся нетронутым. Политика клавиатуры настраивается: preserve не активирует приложение, activate выводит целевое приложение вперёд перед вводом с клавиатуры.

Стоит учитывать привязку к macOS 14+ и к экосистеме DeepSeek Harness: это не самостоятельный инструмент, а бандл для конкретного харнесса. Разрешение Accessibility даёт процессу доступ к элементам интерфейса, но само по себе не защищает от перехвата фокуса — здесь это решается маршрутом ввода. Лицензия MIT.