Введение во взаимодействие

Взаимодействие пользователей в приложении Windows — это сочетание источников ввода и вывода (например, мыши, клавиатуры, пера, сенсорного ввода, сенсорной панели, речи, Кортаны, контроллера, жеста, взгляда и т. д.), а также различных режимов или модификаторов, которые обеспечивают расширенные возможности (включая колесико мыши и кнопки, ластик пера и кнопки на ручке, сенсорную клавиатуру и службы фоновых приложений).

UWP использует "интеллектуальную" контекстную систему взаимодействия, которая в большинстве случаев устраняет необходимость индивидуально обрабатывать уникальные типы входных данных, полученные приложением. Это включает обработку сенсорного экрана, сенсорной панели, мыши и пера в качестве общего типа указателя для поддержки статических жестов, таких как касание или удержание, манипуляционные жесты, такие как слайд для перемещения, или отображение цифрового рукописного ввода.

Ознакомьтесь с каждым типом входного устройства и его поведением, возможностями и ограничениями при паре с определенными форм-факторами. Это может помочь вам решить, достаточно ли для вашего приложения контроля и функций платформы или вам нужно предоставить настраиваемый опыт взаимодействия.

Gaze

В обновлении Windows 10 апреля 2018 г. мы ввели поддержку входных данных Gaze с помощью устройств ввода для отслеживания глаз и головы.

Замечание

Поддержка оборудования отслеживания глаз была добавлена в Windows 10 Fall Creators Update вместе с элементом управления взглядом, встроенной функцией, которая позволяет использовать глаза для управления указателем на экране, набирать текст с экранной клавиатуры и общаться с людьми, используя преобразование текста в речь.

Поддержка устройств

• Планшет
• Компьютеры и ноутбуки

Типичное использование

Отслеживайте взгляд пользователя, внимание и присутствие на основе расположения и перемещения глаз. Этот мощный новый способ использования и взаимодействия с приложениями Windows особенно полезен в качестве вспомогательной технологии для пользователей с нейро-мышечной болезнью (например, ALS) и другими ограниченными возможностями, связанными с нарушениями мышц или нервных функций. Управление взглядом также открывает новые возможности для игр (включая наведение на цель и отслеживание) и традиционных приложений для повышения производительности, киосков и других интерактивных сценариев, где традиционные устройства ввода (клавиатура, мышь, сенсорный экран) недоступны или где может быть полезно освободить руки для выполнения других задач, например, чтобы держать пакеты с покупками.

Дополнительная информация

Взаимодействие взгляда и отслеживание глаз

Устройство управления Surface Dial

Для юбилейного обновления Windows 10 мы представили категорию "Колесо Windows" входного устройства. Surface Dial является первым в этом классе устройства.

Поддержка устройств

• Планшет
• Компьютеры и ноутбуки

Типичное использование

При использовании форм-фактора на основе вращательных действий или жестов, Surface Dial предназначено как дополнительное мультимодальное устройство ввода, которое дополняет или изменяет ввод с основного устройства. В большинстве случаев устройство управляется не доминирующей рукой пользователя, в то время как они выполняют задачу доминирующей рукой (например, нанесением чернил ручкой).

Дополнительная информация

Рекомендации по проектированию Surface Dial

Cortana

В Windows 10 расширяемость Кортаны позволяет обрабатывать голосовые команды от пользователя и запускать приложение для выполнения одного действия.

Поддержка устройств

• Телефоны и фаблеты
• Планшет
• Компьютеры и ноутбуки
• Surface Hub
• Интернет вещей
• Xbox
• HoloLens

Типичное использование

Голосовая команда — это одно высказывание, определенное в файле определения голосовой команды (VCD), направленное на установленное приложение через Кортана. Приложение можно запустить на переднем плане или в фоновом режиме в зависимости от уровня и сложности взаимодействия. Например, голосовые команды, требующие дополнительного контекста или ввода пользователей, лучше всего обрабатываются на переднем плане, а основные команды можно обрабатывать в фоновом режиме.

Интеграция основных функций приложения и предоставление центральной точки входа для пользователя для выполнения большинства задач без прямого открытия приложения позволяет Кортана стать связью между приложением и пользователем. Во многих случаях это может сэкономить значительное время и усилия пользователя. Дополнительные сведения см. в рекомендациях по проектированию Кортаны.

Дополнительная информация

Рекомендации по проектированию Кортаны  

Speech

Речь — это эффективный и естественный способ взаимодействия людей с приложениями. Это простой и точный способ общения с приложениями, и позволяет людям эффективно работать и оставаться в курсе различных ситуаций.

Речь может дополнять или во многих случаях быть основным типом входных данных в зависимости от устройства пользователя. Например, устройства, такие как HoloLens и Xbox, не поддерживают традиционные типы ввода (помимо программной клавиатуры в определенных сценариях). Вместо этого они полагаются на входные и выходные данные речи (часто в сочетании с другими не традиционными типами входных данных, такими как взгляд и жест) для большинства взаимодействий с пользователем.

Текст в речь (также известный как TTS или синтез речи) используется для информирования или направления пользователя.

Поддержка устройств

• Телефоны и фаблеты
• Планшет
• Компьютеры и ноутбуки
• Surface Hub
• Интернет вещей
• Xbox
• HoloLens

Типичное использование

Существует три режима взаимодействия с речью:

Естественный язык

Естественный язык — это то, как мы регулярно взаимодействуем с людьми. Наша речь различается в зависимости от человека и ситуации, и как правило, понятна. Когда это не так, мы часто используем разные слова и порядок слов, чтобы передать ту же самую идею.

Взаимодействие естественного языка с приложением аналогично: мы говорим с приложением через наше устройство, как если бы это был человек и ожидает, что он будет понимать и реагировать соответствующим образом.

Естественный язык — это самый сложный режим взаимодействия с речью, который можно реализовать и предоставить через Кортана.

Команда и управление

Команда и управление — это использование словесных команд для активации элементов управления и функций, таких как нажатие кнопки или выбор элемента меню.

Так как команда и управление критически важны для успешного взаимодействия с пользователем, один тип ввода обычно не рекомендуется. Речь обычно является одним из нескольких вариантов ввода для пользователя на основе их предпочтений или аппаратных возможностей.

Диктовка

Самый простой метод ввода речи. Каждое высказывание преобразуется в текст.

Диктовка обычно используется, если приложению не нужно понимать смысл или намерение.

Дополнительная информация

Рекомендации по проектированию речи  

Перо

Перо (или перо) может служить точно указывающим на пиксель устройством, например мышью, и является оптимальным устройством для цифрового ввода рукописного ввода.

Заметка Существует два типа устройств пера: активные и пассивные.

• Пассивные пера не содержат электронику и эффективно эмулируют сенсорный ввод от пальца. Для них требуется базовый дисплей устройства, который распознает входные данные на основе давления контакта. Поскольку пользователи часто опираются рукой, когда пишут на поверхности ввода, входные данные могут быть искажены из-за неудачного распознавания ладони.
• Активные ручки содержат электронику и могут работать со сложными дисплеями устройств, чтобы обеспечить гораздо более обширные входные данные (включая наведение курсора или данные о близости) для системы и вашего приложения. Отключение ладони стало гораздо более надежным.

Когда мы ссылаемся на устройства пера, мы имеем в виду активные перья, которые предоставляют богатые входные данные и используются в первую очередь для точного рукописного ввода и взаимодействий при указании.

Поддержка устройств

• Телефоны и фаблеты
• Планшет
• Компьютеры и ноутбуки
• Surface Hub
• Интернет вещей

Типичное использование

Платформа рукописного ввода Windows вместе с пером предоставляет естественный способ создания рукописных заметок, рисунков и заметок. Платформа поддерживает захват чернильных данных с цифрового планшета, создание этих данных, отображение их в виде чернильных штрихов на выходном устройстве, управление чернильными данными и распознавание рукописного ввода. Помимо захвата пространственных движений пера как пользователь пишет или рисует, ваше приложение также может собирать такие сведения, как давление, форма, цвет и непрозрачность, чтобы предложить пользователям взаимодействие, которое тесно напоминает рисование на бумаге с пером, карандашом или кистью.

Различие между вводом пера и касания заключается в том, что сенсорный ввод может имитировать прямые манипуляции элементами пользовательского интерфейса на экране с помощью физических жестов над объектами (например, свайпинг, сдвиг, перетаскивание, вращение и т. д.).

Для поддержки этих взаимодействий следует предоставить команды пользовательского интерфейса и возможности взаимодействия, специфичные для пера. Например, используйте кнопки предыдущий и следующий (или + и -), чтобы пользователи могли перелистывать страницы содержимого, а также поворачивать, изменять размер и увеличивать объекты.

Дополнительная информация

Рекомендации по проектированию пера  

Трогать

При касании физические жесты с одного или нескольких пальцев можно использовать либо для эмуляции прямых манипуляций с элементами пользовательского интерфейса (например, сдвига, поворота, изменения размера или перемещения), в качестве альтернативного метода ввода (аналогично мыши или перу), либо в качестве дополнительного метода ввода (для изменения аспектов других входных данных, таких как смещание росчерка рукописного ввода, рисуемого пером). Тактильные интерфейсы, такие как это может обеспечить более естественные, реальные ощущения для пользователей, так как они взаимодействуют с элементами на экране.

Поддержка устройств

• Телефоны и фаблеты
• Планшет
• Компьютеры и ноутбуки
• Surface Hub
• Интернет вещей

Типичное использование

Поддержка сенсорного ввода может значительно отличаться в зависимости от устройства.

Некоторые устройства не поддерживают касание вообще, некоторые устройства поддерживают один сенсорный контакт, а другие поддерживают несколько контактов (два или более контактов).

Большинство устройств поддерживающих мультитач-ввод, обычно распознают десять уникальных одновременных контактов.

Устройства Surface Hub распознают 100 уникальных одновременных сенсорных контактов.

В общем, касание — это:

• Один пользователь, если не используется с устройством Microsoft Team, например Surface Hub, где подчеркивается совместная работа.
• Не ограничивается ориентацией устройства.
• Используется для всех взаимодействий, включая ввод текста (сенсорной клавиатуры) и рукописный ввод (настроенное приложением).

Дополнительная информация

Рекомендации по проектированию сенсорного ввода  

Сенсорный панель

Сенсорная панель объединяет как косвенные много сенсорные входные данные, так и точные входные данные на указывающее устройство, например мышь. Это сочетание делает сенсорную панель подходящей как для пользовательского интерфейса, оптимизированного для сенсорного ввода, так и для мелких элементов приложений для повышения производительности.

Поддержка устройств

• Компьютеры и ноутбуки
• Интернет вещей

Типичное использование

Сенсорные панели обычно поддерживают набор жестов сенсорного ввода, которые обеспечивают поддержку сенсорного ввода для прямого управления объектами и пользовательским интерфейсом.

Из-за этого сближения опыта взаимодействия, поддерживаемого сенсорными панелями, мы рекомендуем также предоставлять команды пользовательского интерфейса, как у мыши, или другие функции, а не полагаться исключительно на поддержку сенсорного ввода. Предоставьте команды пользовательского интерфейса, специфичные для тачпада, или средства взаимодействия для поддержки этих взаимодействий.

Для поддержки этих взаимодействий следует предоставить команды пользовательского интерфейса, относящиеся к мыши, или возможности. Например, используйте кнопки предыдущий и следующий (или + и -), чтобы пользователи могли перелистывать страницы содержимого, а также выполнять поворот, изменение размера и масштабирование объектов.

Дополнительная информация

Рекомендации по проектированию сенсорной панели  

Keyboard

Клавиатура является основным устройством ввода для текста и часто является обязательным для людей с определенными ограниченными возможностями или пользователями, которые считают его более быстрым и эффективным способом взаимодействия с приложением.

Поддержка устройств

• Телефоны и фаблеты
• Планшет
• Компьютеры и ноутбуки
• Surface Hub
• Интернет вещей
• Xbox
• HoloLens

Типичное использование

Пользователи могут взаимодействовать с универсальными приложениями Windows с помощью аппаратной клавиатуры и двух программных клавиатур: экранной клавиатуры (OSK) и сенсорной клавиатуры.

OSK — это визуальная программная клавиатура, которую можно использовать вместо физической клавиатуры для ввода данных с помощью сенсорного ввода, мыши, пера или другого указывающего устройства (сенсорный экран не требуется). OSK предоставляется для систем, не имеющих физической клавиатуры, или для пользователей, чьи нарушения мобильности препятствуют использованию традиционных физических устройств ввода. OSK эмулирует большую часть, если не все, функциональные возможности аппаратной клавиатуры.

Сенсорная клавиатура — это визуальная программная клавиатура, используемая для ввода текста с сенсорным вводом. Сенсорная клавиатура не является заменой OSK, так как она используется только для ввода текста (она не эмулирует аппаратную клавиатуру) и отображается только в том случае, если текстовое поле или другой редактируемый текстовый элемент управления получает фокус. Сенсорная клавиатура не поддерживает команды приложений или системы.

Заметка OSK имеет приоритет над сенсорной клавиатурой, которая не будет отображаться, если OSK присутствует.

Как правило, клавиатура:

• Один пользователь.
• Не ограничивается ориентацией устройства.
• Используется для ввода текста, навигации, игрового процесса и доступности.
• Всегда доступно, как в проактивном, так и в реактивном режиме.

Дополнительная информация

Рекомендации по проектированию клавиатуры  

Mouse

Мышь лучше всего подходит для производительных приложений и пользовательского интерфейса с высокой плотностью, где взаимодействие с пользователем требует пиксельной точности для выполнения целевых действий и команд.

Поддержка устройств

• Телефоны и фаблеты
• Планшет
• Компьютеры и ноутбуки
• Surface Hub
• Интернет вещей

Типичное использование

Входные данные мыши можно изменить с добавлением различных клавиш клавиатуры (CTRL, SHIFT, ALT и т. д.). Эти клавиши можно объединить с левой кнопкой мыши, правой кнопкой мыши, кнопкой колеса и кнопками X для расширенного набора команд, оптимизированных для мыши. (Некоторые устройства мыши Microsoft имеют две дополнительные кнопки, называемые кнопками X, которые, как правило, используются для перехода назад и вперед в веб-браузерах).

Как и перо, там, где различаются ввод мыши и сенсорный ввод, сенсорный ввод может эмулировать манипуляции, аналогичные прямым, с элементами пользовательского интерфейса на экране с помощью физических жестов, выполняемых с помощью этих объектов (например, свайп, скольжение, перетаскивание, поворот и т. д.).

Для поддержки этих взаимодействий следует предоставить команды пользовательского интерфейса, относящиеся к мыши, или возможности. Например, используйте кнопки предыдущий и следующий (или + и -), чтобы пользователи могли перелистывать страницы содержимого, а также выполнять поворот, изменение размера и масштабирование объектов.

Дополнительная информация

Рекомендации по проектированию мыши  

Жест

Жест — это любая форма перемещения пользователей, распознаваемая как входные данные для управления или взаимодействия с приложением. Жесты могут принимать различные формы: от простого использования руки для указания на что-либо на экране до конкретных, выученных шаблонов движения или длительных непрерывных движений с использованием всего тела. Будьте осторожны при разработке пользовательских жестов, так как их смысл может отличаться в зависимости от языкового и культурного контекста.

Поддержка устройств

• Компьютеры и ноутбуки
• Интернет вещей
• Xbox
• HoloLens

Типичное использование

События статических жестов запускаются после завершения взаимодействия.

• События статических жестов включают «Касание», «Двойное касание», «Правое касание» и «Удержание».

События связанных с манипуляцией жестов указывают на находящееся в процессе взаимодействие. Они начинают запускаться, когда пользователь прикасается к элементу и продолжается до тех пор, пока пользователь не поднимает пальцы или манипуляцию отменяется.

• События манипуляции включают много сенсорные взаимодействия, такие как масштабирование, сдвиг или поворот, а также взаимодействия, использующие инерцию и скорости, такие как перетаскивание. (Информация, предоставляемая событиями манипуляции, не определяет взаимодействие, а предоставляет такие данные, как положение, разность перевода и скорость.)

• События указателя, такие как PointerPressed и PointerMoved, предоставляют низкоуровневые сведения для каждого сенсорного контакта, включая движение указателя и возможность различать события нажатия и отпускания.

Из-за слияния опыта взаимодействия, поддерживаемого Windows, мы рекомендуем также предоставлять команды пользовательского интерфейса, пригодные для мыши, или инструменты, а не полагаться исключительно на поддержку только сенсорного ввода. Например, используйте кнопки предыдущий и следующий (или + и -), чтобы пользователи могли перелистывать страницы содержимого, а также выполнять поворот, изменение размера и масштабирование объектов.

Геймпад или контроллер

Геймпад или контроллер — это высоко специализированное устройство, обычно выделенное для игр. Однако он также используется для эмуляции основного ввода с клавиатуры и обеспечивает навигацию по UI, очень схожую с использованием клавиатуры.

Поддержка устройств

• Компьютеры и ноутбуки
• Интернет вещей
• Xbox

Типичное использование

Играйте в игры и взаимодействуйте со специализированной консолью.

Несколько входных данных

Учет интересов максимально возможного числа пользователей и устройств и проектирование ваших приложений для работы с как можно большим количеством типов ввода (жест, речь, сенсорный ввод, тачпад, мышь и клавиатура) увеличивает гибкость, удобство использования и доступность.

Поддержка устройств

• Телефоны и фаблеты
• Планшет
• Компьютеры и ноутбуки
• Surface Hub
• Интернет вещей
• Xbox
• HoloLens

Типичное использование

Так же, как люди используют сочетание голоса и жеста при взаимодействии друг с другом, при взаимодействии с приложением также может быть полезно несколько типов и режимов ввода. Однако эти объединенные взаимодействия должны быть как можно более понятными и естественными, так как они также могут создать очень запутанный интерфейс.