AI-агент без перехвата мыши: фоновое управление окнами в Windows

Компьютерный агент, который двигает системную мышь и активирует окна, быстро превращается в помеху: пользователь теряет фокус, клики уходят не туда, а автоматизация становится трудно предсказуемой. В этой статье соберём прототип, который работает с отдельным окном через UI Automation, не меняет положение курсора, требует явного режима Arm, проверяет результат и записывает каждое действие в журнал.
Что именно мы строим
Агент получает ограниченное задание: найти уже открытое окно по заголовку, выбрать элемент внутри этого окна и выполнить одну безопасную операцию. Например, нажать кнопку в тестовом приложении или прочитать значение поля. Агент не должен самовольно искать окно по всему рабочему столу, нажимать координаты экрана или отправлять ввод через глобальный курсор.
Минимальная схема выглядит так:
- Разрешённое окно задаётся заранее по процессу или заголовку.
- План действия содержит имя элемента, тип операции и ожидаемый результат.
- Arm включается отдельно и временно разрешает выполнение.
- Адаптер UI Automation обращается к контролу напрямую.
- Проверка подтверждает изменение свойства или появление ожидаемого состояния.
- Журнал фиксирует цель, действие, результат и ошибку, если она возникла.
Почему не SendInput и не клик по координатам
SendInput эмулирует ввод пользователя на уровне системы. Такой вызов обычно
требует активного окна и влияет на реальный курсор или клавиатурный фокус. Координатный
клик ещё хрупче: окно может быть перемещено, масштаб интерфейса изменён, а пользователь
может работать в этот момент в другой программе.
UI Automation обращается к дереву доступных элементов приложения. Если контрол поддерживает
паттерн Invoke, агент вызывает его напрямую. Для текстового поля используется
ValuePattern, для флажка — TogglePattern, для списка — соответствующие
методы выбора. Это не гарантирует полную независимость от фокуса, но исключает захват
системной мыши и делает намерение действия явным.
Подготовка безопасного стенда
Для воспроизводимого эксперимента используйте отдельное тестовое приложение или хорошо известное окно, в котором нет опасных операций. Не начинайте с браузера, почтового клиента, терминала с правами администратора или рабочего приложения с несохранёнными данными.
Проверьте окружение в PowerShell:
$PSVersionTable.PSVersion
dotnet --info
Get-Process | Where-Object {$_.MainWindowTitle} |
Select-Object Id, ProcessName, MainWindowTitle
Последняя команда показывает процессы с видимыми окнами. Запишите точный заголовок только
для выбранного тестового окна. Не используйте маску вроде * в качестве
разрешения: широкое совпадение разрушает главный предохранитель прототипа.
Создание минимального проекта
Один из компактных вариантов — консольное приложение .NET с таргетом Windows Desktop. Команды ниже только создают проект и не запускают автоматизацию:
dotnet new console -n BackgroundWindowAgent
Set-Location .\BackgroundWindowAgent
dotnet new gitignore
dotnet add package System.Windows.Extensions
dotnet build
В конкретной версии .NET доступность System.Windows.Automation может зависеть
от целевого фреймворка и ссылок Windows Desktop. Если пространство имён не находится,
измените файл проекта на Windows-таргет и включите Windows Desktop SDK:
<Project Sdk="Microsoft.NET.Sdk">
<PropertyGroup>
<OutputType>Exe</OutputType>
<TargetFramework>net8.0-windows</TargetFramework>
<UseWPF>true</UseWPF>
<Nullable>enable</Nullable>
</PropertyGroup>
</Project>
Это пример конфигурации, а не обещание совместимости с каждой сборкой Windows. Перед использованием проверьте её на своей версии .NET и в изолированном тестовом окне.
Ограничение области действия
Сначала найдём окно по точному заголовку, затем проверим процесс. В рабочем прототипе разрешённый идентификатор лучше хранить в конфигурации и показывать оператору перед включением Arm.
using System.Diagnostics;
using System.Windows.Automation;
static AutomationElement FindAllowedWindow(
string exactTitle,
string allowedProcessName)
{
var root = AutomationElement.RootElement;
var condition = new AndCondition(
new PropertyCondition(
AutomationElement.ControlTypeProperty,
ControlType.Window),
new PropertyCondition(
AutomationElement.NameProperty,
exactTitle));
var window = root.FindFirst(TreeScope.Children, condition);
if (window is null)
throw new InvalidOperationException("Разрешённое окно не найдено.");
using var process = Process.GetProcessById(window.Current.ProcessId);
if (!string.Equals(
process.ProcessName,
allowedProcessName,
StringComparison.OrdinalIgnoreCase))
{
throw new InvalidOperationException(
"Процесс окна не совпал с разрешённым.");
}
return window;
}
Важная деталь: проверяются и название окна, и имя процесса. Одного заголовка недостаточно, потому что разные приложения могут использовать одинаковые подписи.
Режим Arm как отдельный предохранитель
По умолчанию агент должен работать в режиме просмотра: находить окно, перечислять элементы и формировать план, но не менять состояние. Выполнение разрешается только после явной команды оператора. Arm должен быть короткоживущим и сбрасываться после одного действия.
sealed class ArmGate
{
private DateTimeOffset? expiresAt;
public void Arm(TimeSpan lifetime)
{
if (lifetime <= TimeSpan.Zero)
throw new ArgumentOutOfRangeException(nameof(lifetime));
expiresAt = DateTimeOffset.UtcNow.Add(lifetime);
}
public bool Consume()
{
if (expiresAt is null || DateTimeOffset.UtcNow >= expiresAt)
return false;
expiresAt = null;
return true;
}
}
Вызов Consume() должен происходить непосредственно перед действием. Если
проверка окна, поиск элемента или подготовка плана заняли слишком много времени, Arm
истечёт и ничего не выполнит.
Вызов элемента без мыши
Ниже приведён упрощённый пример для кнопки. Для настоящего приложения нужно добавить проверку роли, имени, доступности и поддерживаемого паттерна. Поиск по одному имени недостаточно надёжен: одинаковые подписи встречаются в разных контейнерах.
static void InvokeButton(
AutomationElement window,
string exactName,
ArmGate arm)
{
var buttonCondition = new AndCondition(
new PropertyCondition(
AutomationElement.ControlTypeProperty,
ControlType.Button),
new PropertyCondition(
AutomationElement.NameProperty,
exactName));
var button = window.FindFirst(
TreeScope.Descendants,
buttonCondition);
if (button is null)
throw new InvalidOperationException(
"Кнопка с ожидаемым именем не найдена.");
if (!button.Current.IsEnabled)
throw new InvalidOperationException(
"Кнопка отключена.");
if (!button.TryGetCurrentPattern(
InvokePattern.Pattern,
out object pattern))
{
throw new InvalidOperationException(
"Кнопка не поддерживает InvokePattern.");
}
if (!arm.Consume())
throw new InvalidOperationException(
"Действие не вооружено или срок Arm истёк.");
((InvokePattern)pattern).Invoke();
}
Такой вызов не задаёт координаты и не перемещает указатель. Однако приложение может обработать Invoke внутренним способом, который изменит собственное состояние или откроет диалог. Поэтому проверка результата обязательна.
Проверка результата вместо «команда отправлена»
Успешный возврат из Invoke() означает только то, что запрос был принят
адаптером. Это не доказательство, что пользовательское действие завершилось. После
операции нужно дождаться наблюдаемого признака: изменения текста, появления элемента,
смены состояния флажка или исчезновения кнопки.
static bool WaitFor(
Func<bool> condition,
TimeSpan timeout,
TimeSpan interval)
{
var deadline = DateTimeOffset.UtcNow.Add(timeout);
while (DateTimeOffset.UtcNow < deadline)
{
if (condition())
return true;
Thread.Sleep(interval);
}
return condition();
}
Для каждого действия заранее задайте проверяемое условие. Например: «после нажатия кнопки появляется элемент с ролью Dialog» или «значение поля становится равным ожидаемой строке». Не используйте задержку как единственную проверку: время отклика зависит от нагрузки и состояния приложения.
Журнал действий
Журнал должен позволять восстановить намерение агента, но не обязан записывать содержимое всех полей. Чувствительные значения лучше маскировать или исключать. Формат JSON Lines удобен для последующего анализа и не требует сложной инфраструктуры.
using System.Text.Json;
static void WriteAudit(
string path,
string operation,
string target,
string result,
string? error = null)
{
var record = new
{
timestampUtc = DateTimeOffset.UtcNow,
operation,
target,
result,
error
};
File.AppendAllText(
path,
JsonSerializer.Serialize(record) + Environment.NewLine);
}
Для практического применения добавьте идентификатор запуска, длительность операции, идентификатор процесса и тип обнаруженного контрола. Не записывайте токены, пароли и полные значения пользовательских полей.
Воспроизводимый сценарий проверки
- Откройте безопасное тестовое окно и убедитесь, что человек может работать в другой программе.
- Запустите агент в режиме просмотра и выведите найденное окно и список подходящих элементов.
- Убедитесь, что положение курсора и активное окно пользователя не меняются.
- Включите Arm на короткий срок, например на 10 секунд.
- Выполните ровно одну операцию по точному имени элемента.
- Проверьте наблюдаемое изменение в целевом окне.
- Откройте журнал и проверьте запись с результатом
successили описанием ошибки. - Повторите запуск без Arm: операция должна быть отклонена.
Это план проверки прототипа, а не отчёт о проведённом тестировании. Фактический результат зависит от приложения, версии Windows, прав процесса и того, какие элементы оно публикует через UI Automation.
Типовые ошибки
Окно не найдено
Заголовок может измениться из-за имени документа, языка интерфейса или состояния приложения. Используйте стабильный идентификатор процесса и проверяйте заголовок как дополнительное условие. Если окно создано дочерним процессом, ищите его после запуска дочернего процесса, а не только среди первоначальных процессов.
Элемент найден, но действие не выполняется
Контрол может не поддерживать нужный паттерн или быть отключённым. Выводите
ControlType, IsEnabled, имя элемента и доступные паттерны.
Не подменяйте отсутствие Invoke автоматическим кликом по координатам без отдельного
разрешения: это возвращает системный фокус и ломает исходную гарантию.
Приложение запущено с другими правами
Windows ограничивает взаимодействие между процессами с разным уровнем целостности. Не повышайте права агента «на всякий случай». Если тестовое приложение запущено от администратора, сначала решите, действительно ли такой сценарий нужен, и отдельно оцените риск.
Интерфейс не виден в дереве Automation
Такое бывает у игр, графических редакторов, удалённых рабочих столов, canvas-компонентов и приложений с нестандартным рендерингом. В этом случае UI Automation может быть принципиально неподходящим адаптером. Не объявляйте приложение «безопасным» только потому, что агент не смог найти его элементы.
Ограничения прототипа
- «Фоновое» управление не означает, что любое приложение можно контролировать без фокуса.
- UI Automation зависит от качества accessibility-дерева целевого приложения.
- Изменение состояния окна не равно транзакции: приложение может частично выполнить операцию.
- Проверка по тексту может быть неоднозначной; используйте стабильные свойства и контейнеры.
- Arm защищает от случайного запуска, но не заменяет разграничение прав и аудит.
- Внешний агент должен ограничивать команды до заранее разрешённого набора операций.
Итоговая модель безопасности
Надёжный AI-агент без перехвата мыши — это не «бот, который кликает незаметно». Это ограниченный исполнитель: он знает конкретное окно, выполняет конкретный тип операции, делает это только после Arm, затем проверяет результат и оставляет запись. Если любой этап не подтверждён, безопасное поведение — остановиться и сообщить об ошибке.
Для следующего шага можно вынести разрешённые окна и операции в конфигурационный файл, добавить dry-run с визуализацией плана и ввести ручное подтверждение для действий, которые нельзя безопасно откатить. Дополнительные практические материалы доступны в разделе guides, а определения терминов — в глоссарии Agent Lab Journal.