Имитация ввода данных пользователем с помощью внедрения ввода

Имитируйте и автоматизируйте ввод данных пользователем с таких устройств, как клавиатура, мышь, сенсорный ввод, перо и геймпад в приложениях Windows.

Важные API-интерфейсы: Windows.UI.Input.Preview.Injection

Общие сведения

Внедрение ввода позволяет приложению Windows имитировать входные данные с различных устройств ввода и направлять их в любое место, в том числе за пределами клиентской области приложения (даже для приложений, работающих с правами администратора, таких как редактор реестра).

Внедрение входных данных полезно для приложений и средств Windows, которым необходимо предоставить функциональные возможности, включая специальные возможности, тестирование (нерегламентированное, автоматизированное), а также функции удаленного доступа и поддержки.

Настройка

Чтобы использовать API внедрения входных данных в приложении для Windows, необходимо добавить в манифест приложения следующее:

1. Щелкните правой кнопкой мыши файл Package.appxmanifest и выберите команду Перейти к коду.
2. Вставьте следующий код в узел Package:
   • xmlns:rescap="http://schemas.microsoft.com/appx/manifest/foundation/windows10/restrictedcapabilities"
   • IgnorableNamespaces="rescap"
3. Вставьте следующий код в узел Capabilities:
   • <rescap:Capability Name="inputInjectionBrokered" />

Дублирование ввода пользователя

Пример внедрения сенсорного ввода

В этом примере мы покажем, как использовать API-интерфейсы внедрения ввода (Windows.UI.Input.Preview.Injection) для прослушивания событий ввода мыши в одной области приложения и имитации соответствующих событий сенсорного ввода в другой области.

Скачайте этот пример из примера внедрения входных данных (с мыши на сенсорный)

1. Сначала мы настраиваем пользовательский интерфейс (MainPage.xaml).

   У нас есть две области сетки (одна для мыши и другая для введенного сенсорного ввода), в каждой из которых по четыре кнопки.

   Примечание

   Фону Сетки должно быть присвоено значение (Transparentв данном случае), в противном случае события указателя не обнаруживаются.

   При обнаружении щелчков мышью в области ввода соответствующее событие сенсорного ввода добавляется в область внедрения ввода. Нажатия кнопок из внедренного ввода отображаются в области заголовка.

   <Grid Background="{ThemeResource ApplicationPageBackgroundThemeBrush}">
       <Grid.RowDefinitions>
           <RowDefinition Height="Auto"/>
           <RowDefinition Height="Auto"/>
           <RowDefinition Height="*"/>
       </Grid.RowDefinitions>
       <StackPanel Grid.Row="0"
                   Margin="10">
           <TextBlock Style="{ThemeResource TitleTextBlockStyle}" 
                      Name="titleText"
                      Text="Touch input injection"
                      HorizontalTextAlignment="Center" />
           <TextBlock Style="{ThemeResource BodyTextBlockStyle}"
                      Name="statusText"
                      HorizontalTextAlignment="Center" />
       </StackPanel>
       <Grid HorizontalAlignment="Center"
                       Grid.Row="1">
           <Grid.RowDefinitions>
               <RowDefinition Height="Auto"/>
               <RowDefinition Height="*"/>
           </Grid.RowDefinitions>
           <Grid.ColumnDefinitions>
               <ColumnDefinition/>
               <ColumnDefinition/>
           </Grid.ColumnDefinitions>
           <TextBlock Grid.Column="0" 
                      Grid.Row="0" 
                      Style="{ThemeResource CaptionTextBlockStyle}"
                      Text="User mouse input area"/>
           <!-- Background must be set to something, otherwise pointer events are not detected. -->
           <Grid Name="ContainerInput" 
                 Grid.Column="0" 
                 Grid.Row="1"
                 HorizontalAlignment="Stretch" 
                 Background="Transparent" 
                 BorderBrush="Green" 
                 BorderThickness="2" 
                 MinHeight="100" MinWidth="300" 
                 Margin="10">
               <Grid.ColumnDefinitions>
                   <ColumnDefinition/>
                   <ColumnDefinition/>
                   <ColumnDefinition/>
                   <ColumnDefinition/>
               </Grid.ColumnDefinitions>
               <Button Name="B1" 
                       Grid.Column="0" 
                       HorizontalAlignment="Center" 
                       Width="50" Height="50"
                       Content="B1" />
               <Button Name="B2" 
                       Grid.Column="1" 
                       HorizontalAlignment="Center" 
                       Width="50" Height="50"
                       Content="B2" />
               <Button Name="B3" 
                       Grid.Column="2" 
                       HorizontalAlignment="Center" 
                       Width="50" Height="50"
                       Content="B3" />
               <Button Name="B4" 
                       Grid.Column="3" 
                       HorizontalAlignment="Center" 
                       Width="50" Height="50"
                       Content="B4" />
           </Grid>
           <TextBlock Grid.Column="1" 
                      Grid.Row="0"                         
                      Style="{ThemeResource CaptionTextBlockStyle}"
                      Text="Injected touch input area"/>
           <Grid Name="ContainerInject"
                 Grid.Column="1"  
                 Grid.Row="1"
                 HorizontalAlignment="Stretch"
                 BorderBrush="Red" 
                 BorderThickness="2" 
                 MinHeight="100" MinWidth="300" 
                 Margin="10">
               <Grid.ColumnDefinitions>
                   <ColumnDefinition/>
                   <ColumnDefinition/>
                   <ColumnDefinition/>
                   <ColumnDefinition/>
               </Grid.ColumnDefinitions>
               <Button Name="B1i" Click="Button_Click_Injected"
                       Content="B1i"
                       Grid.Column="0" 
                       HorizontalAlignment="Center" 
                       Width="50" Height="50" />
               <Button Name="B2i" Click="Button_Click_Injected"
                       Content="B2i"
                       Grid.Column="1" 
                       HorizontalAlignment="Center" 
                       Width="50" Height="50" />
               <Button Name="B3i" Click="Button_Click_Injected"
                       Content="B3i"
                       Grid.Column="2" 
                       HorizontalAlignment="Center" 
                       Width="50" Height="50" />
               <Button Name="B4i" Click="Button_Click_Injected"
                       Content="B4i"
                       Grid.Column="3" 
                       HorizontalAlignment="Center" 
                       Width="50" Height="50" />
           </Grid>
       </Grid>
   </Grid>
   

2. Затем мы инициализируем наше приложение.

   В этом фрагменте кода мы объявляем глобальные объекты и прослушиватели событий указателя (AddHandler) в области ввода мыши, которые могут быть отмечены как обработанные в событиях нажатия кнопок.

   Объект InputInjector представляет виртуальное устройство ввода для отправки данных ввода.

   В обработчике ContainerInput_PointerPressed мы вызываем функцию внедрения сенсорного ввода.

   В обработчике ContainerInput_PointerReleased мы вызываем функцию UninitializeTouchInjection, чтобы завершить работу объекта InputInjector.

   public sealed partial class MainPage : Page
   {
       /// <summary>
       /// The virtual input device.
       /// </summary>
       InputInjector _inputInjector;
   
       /// <summary>
       /// Initialize the app, set the window size, 
       /// and add pointer input handlers for the container.
       /// </summary>
       public MainPage()
       {
           this.InitializeComponent();
   
           ApplicationView.PreferredLaunchViewSize =
               new Size(600, 200);
           ApplicationView.PreferredLaunchWindowingMode =
               ApplicationViewWindowingMode.PreferredLaunchViewSize;
   
           // Button handles PointerPressed/PointerReleased in 
           // the Tapped routed event, but we need the container Grid 
           // to handle them also. Add a handler for both 
           // PointerPressedEvent and PointerReleasedEvent on the input Grid 
           // and set handledEventsToo to true.
           ContainerInput.AddHandler(PointerPressedEvent,
               new PointerEventHandler(ContainerInput_PointerPressed), true);
           ContainerInput.AddHandler(PointerReleasedEvent,
               new PointerEventHandler(ContainerInput_PointerReleased), true);
       }
   
       /// <summary>
       /// PointerReleased handler for all pointer conclusion events.
       /// PointerPressed and PointerReleased events do not always occur 
       /// in pairs, so your app should listen for and handle any event that 
       /// might conclude a pointer down (such as PointerExited, PointerCanceled, 
       /// and PointerCaptureLost).  
       /// </summary>
       /// <param name="sender">Source of the click event</param>
       /// <param name="e">Event args for the button click routed event</param>
       private void ContainerInput_PointerReleased(
           object sender, PointerRoutedEventArgs e)
       {
           // Prevent most handlers along the event route from handling event again.
           e.Handled = true;
   
           // Shut down the virtual input device.
           _inputInjector.UninitializeTouchInjection();
       }
   
       /// <summary>
       /// PointerPressed handler.
       /// PointerPressed and PointerReleased events do not always occur 
       /// in pairs. Your app should listen for and handle any event that 
       /// might conclude a pointer down (such as PointerExited, 
       /// PointerCanceled, and PointerCaptureLost).  
       /// </summary>
       /// <param name="sender">Source of the click event</param>
       /// <param name="e">Event args for the button click routed event</param>
       private void ContainerInput_PointerPressed(
           object sender, PointerRoutedEventArgs e)
       {
           // Prevent most handlers along the event route from 
           // handling the same event again.
           e.Handled = true;
   
           InjectTouchForMouse(e.GetCurrentPoint(ContainerInput));
   
       }
       ...
   }
   

3. Вот функция внедрение сенсорного ввода.

   Сначала мы вызываем функцию TryCreate для создания экземпляра объекта InputInjector.

   Затем мы вызываем InitializeTouchInjection, где для InjectedInputVisualizationMode указано значение Default.

   После определения точки внедрение мы вызываем функцию InjectedInputTouchInfo, чтобы инициализировать список точек касания для внедрения (в этом примере мы создаем одну точку касания, соответствующую указателю мыши).

   Наконец, мы два раза вызываем InjectTouchInput: первый для перемещения указателя вниз и второй для перемещения указателя вверх.

   /// <summary>
   /// Inject touch input on injection target corresponding 
   /// to mouse click on input target.
   /// </summary>
   /// <param name="pointerPoint">The mouse click pointer.</param>
   private void InjectTouchForMouse(PointerPoint pointerPoint)
   {
       // Create the touch injection object.
       _inputInjector = InputInjector.TryCreate();
   
       if (_inputInjector != null)
       {
           _inputInjector.InitializeTouchInjection(
               InjectedInputVisualizationMode.Default);
   
           // Create a unique pointer ID for the injected touch pointer.
           // Multiple input pointers would require more robust handling.
           uint pointerId = pointerPoint.PointerId + 1;
   
           // Get the bounding rectangle of the app window.
           Rect appBounds =
               Windows.UI.ViewManagement.ApplicationView.GetForCurrentView().VisibleBounds;
   
           // Get the top left screen coordinates of the app window rect.
           Point appBoundsTopLeft = new Point(appBounds.Left, appBounds.Top);
   
           // Get a reference to the input injection area.
           GeneralTransform injectArea =
               ContainerInject.TransformToVisual(Window.Current.Content);
   
           // Get the top left screen coordinates of the input injection area.
           Point injectAreaTopLeft = injectArea.TransformPoint(new Point(0, 0));
   
           // Get the screen coordinates (relative to the input area) 
           // of the input pointer.
           int pointerPointX = (int)pointerPoint.Position.X;
           int pointerPointY = (int)pointerPoint.Position.Y;
   
           // Create the point for input injection and calculate its screen location.
           Point injectionPoint =
               new Point(
                   appBoundsTopLeft.X + injectAreaTopLeft.X + pointerPointX,
                   appBoundsTopLeft.Y + injectAreaTopLeft.Y + pointerPointY);
   
           // Create a touch data point for pointer down.
           // Each element in the touch data list represents a single touch contact. 
           // For this example, we're mirroring a single mouse pointer.
           List<InjectedInputTouchInfo> touchData =
               new List<InjectedInputTouchInfo>
               {
                   new InjectedInputTouchInfo
                   {
                       Contact = new InjectedInputRectangle
                       {
                           Left = 30, Top = 30, Bottom = 30, Right = 30
                       },
                       PointerInfo = new InjectedInputPointerInfo
                       {
                           PointerId = pointerId,
                           PointerOptions =
                           InjectedInputPointerOptions.PointerDown |
                           InjectedInputPointerOptions.InContact |
                           InjectedInputPointerOptions.New,
                           TimeOffsetInMilliseconds = 0,
                           PixelLocation = new InjectedInputPoint
                           {
                               PositionX = (int)injectionPoint.X ,
                               PositionY = (int)injectionPoint.Y
                           }
                   },
                   Pressure = 1.0,
                   TouchParameters =
                       InjectedInputTouchParameters.Pressure |
                       InjectedInputTouchParameters.Contact
               }
           };
   
           // Inject the touch input. 
           _inputInjector.InjectTouchInput(touchData);
   
           // Create a touch data point for pointer up.
           touchData = new List<InjectedInputTouchInfo>
           {
               new InjectedInputTouchInfo
               {
                   PointerInfo = new InjectedInputPointerInfo
                   {
                       PointerId = pointerId,
                       PointerOptions = InjectedInputPointerOptions.PointerUp
                   }
               }
           };
   
           // Inject the touch input. 
           _inputInjector.InjectTouchInput(touchData);
       }
   }
   

4. Наконец, мы обрабатываем все перенаправленные события щелкните кнопки в области внедрение ввода и отображаем в пользовательском интерфейсе имя нажатой кнопки.

См. также раздел

Примеры в статье

• Пример внедрения ввода (мышь и сенсорный ввод)