Азбука взаимодействия

Взаимодействие пользователей в приложении Windows — это сочетание источников ввода и вывода (например, мыши, пера, пера, сенсорного ввода, сенсорной панели, речи, Кортаны, контроллера, жеста, взгляда и т. д.), а также различных режимов или модификаторов, которые обеспечивают расширенные возможности (включая колесико мыши и кнопки, кнопки пера и кнопки за баррель, сенсорный клавиатура и фоновые службы приложений).

UWP использует "интеллектуальную" контекстную систему взаимодействия, которая в большинстве случаев устраняет необходимость индивидуально обрабатывать уникальные типы входных данных, полученные приложением. Это включает обработку сенсорного ввода, сенсорной панели, мыши и пера в качестве универсального типа указателя для поддержки статических жестов, таких как касание или удержание, жесты манипуляции, такие как слайд для сдвига или отрисовка цифрового рукописного ввода.

Ознакомьтесь с каждым типом входного устройства и его поведением, возможностями и ограничениями при паре с определенными форм-факторами. Это поможет вам решить, достаточно ли для приложения элементы управления платформой и возможности, или вам потребуется предоставить настраиваемые возможности взаимодействия.

Взгляд

В обновлении Windows 10 апреля 2018 г. мы ввели поддержку входных данных Gaze с помощью устройств ввода для отслеживания глаз и головы.

Примечание.

Поддержка оборудования отслеживания глаз появилась в Windows 10 Fall Creators Update вместе с элементом управления глаз, встроенной функцией, которая позволяет использовать глаза для управления указателем на экране, введите экранную клавиатуру и общайтесь с людьми, использующими текст в речь.

Поддержка устройств

• Планшет
• Компьютеры и ноутбуки

Типичное применение

Отслеживайте взгляд, внимание и присутствие пользователя в зависимости от расположения и движения глаз. Этот мощный новый способ использования и взаимодействия с приложениями Windows особенно полезен в качестве вспомогательной технологии для пользователей с нейро-мышечной болезнью (например, ALS) и другими ограниченными возможностями, связанными с нарушениями мышц или нервных функций. Входные данные взгляда также предоставляют убедительные возможности для игр (включая целевое приобретение и отслеживание) и традиционных приложений для повышения производительности, киосков и других интерактивных сценариев, где традиционные устройства ввода (клавиатура, мышь, сенсорный) недоступны, или где это может быть полезно или полезно, чтобы освободить руки пользователя для других задач (например, держать сумки для покупок).

Дополнительная информация

Взаимодействие взгляда и отслеживание глаз

Surface Dial

Для юбилейного обновления Windows 10 мы представили категорию "Колесо Windows" входного устройства. Surface Dial является первым в этом классе устройства.

Поддержка устройств

• Планшет
• Компьютеры и ноутбуки

Типичное применение

При использовании форм-фактора на основе действия поворота (или жеста) Surface Dial предназначено в качестве дополнительного много модального входного устройства, которое дополняет или изменяет входные данные с первичного устройства. В большинстве случаев устройство управляется не доминирующей рукой пользователя при выполнении задачи с доминирующей рукой (например, рукописным вводом пера).

Дополнительная информация

Рекомендации по проектированию Surface Dial

Кортана

В Windows 10 расширяемость Кортаны позволяет обрабатывать голосовые команды от пользователя и запускать приложение для выполнения одного действия.

Поддержка устройств

• Телефоны и фаблеты
• Планшет
• Компьютеры и ноутбуки
• Surface Hub
• IoT
• Xbox
• HoloLens

Типичное применение

Голосовая команда — это одно высказывание, определенное в файле определения голосовой команды (VCD), направленное на установленное приложение через Кортана. Приложение можно запустить на переднем плане или в фоновом режиме в зависимости от уровня и сложности взаимодействия. Например, голосовые команды, требующие дополнительного контекста или ввода пользователей, лучше всего обрабатываются на переднем плане, а основные команды можно обрабатывать в фоновом режиме.

Интеграция основных функций приложения и предоставление центральной точки входа для пользователя для выполнения большинства задач без прямого открытия приложения позволяет Кортана стать связью между приложением и пользователем. Во многих случаях это может сэкономить значительное время и усилия пользователя. Дополнительные сведения см . в рекомендациях по проектированию Кортаны.

Дополнительная информация

Рекомендации по проектированию Кортаны  

Речь

Речь — это эффективный и естественный способ взаимодействия людей с приложениями. Это простой и точный способ общения с приложениями, и позволяет людям эффективно работать и оставаться в курсе различных ситуаций.

Речь может дополнять или во многих случаях быть основным типом входных данных в зависимости от устройства пользователя. Например, устройства, такие как HoloLens и Xbox, не поддерживают традиционные типы ввода (помимо программной клавиатуры в определенных сценариях). Вместо этого они полагаются на входные и выходные данные речи (часто в сочетании с другими не традиционными типами входных данных, такими как взгляд и жест) для большинства взаимодействий с пользователем.

Текст в речь (также известный как TTS или синтез речи) используется для информирования или направления пользователя.

Поддержка устройств

• Телефоны и фаблеты
• Планшет
• Компьютеры и ноутбуки
• Surface Hub
• IoT
• Xbox
• HoloLens

Типичное применение

Существует три режима взаимодействия с речью:

Естественный язык

Естественный язык — это то, как мы регулярно взаимодействуем с людьми. Наша речь зависит от человека и ситуации до ситуации, и обычно понимается. Если это не так, мы часто используем разные слова и порядок слов, чтобы получить одну и ту же идею между.

Взаимодействие естественного языка с приложением аналогично: мы говорим с приложением через наше устройство, как если бы это был человек и ожидает, что он будет понимать и реагировать соответствующим образом.

Естественный язык — это самый сложный режим взаимодействия с речью, который можно реализовать и предоставить через Кортана.

Команда и управление

Команда и управление — это использование словесных команд для активации элементов управления и функций, таких как нажатие кнопки или выбор элемента меню.

Так как команда и управление критически важны для успешного взаимодействия с пользователем, один тип ввода обычно не рекомендуется. Речь обычно является одним из нескольких вариантов ввода для пользователя на основе их предпочтений или аппаратных возможностей.

Диктовка

Самый простой метод ввода речи. Каждое высказывание преобразуется в текст.

Диктовка обычно используется, если приложению не нужно понимать смысл или намерение.

Дополнительная информация

Рекомендации по проектированию речи  

Перо

Перо (или перо) может служить точно указывающим на пиксель устройством, например мышью, и является оптимальным устройством для цифрового ввода рукописного ввода.

Примечание. Существует два типа устройств пера: активные и пассивные.

• Пассивные пера не содержат электронику и эффективно эмулируют сенсорный ввод от пальца. Для них требуется базовый дисплей устройства, который распознает входные данные на основе давления контакта. Так как пользователи часто отдыхают по мере записи на входной поверхности, входные данные могут быть загрязнены из-за неудачного отклонения пальмы.
• Активные ручки содержат электронику и могут работать с сложными дисплеями устройств, чтобы обеспечить гораздо более обширные входные данные (включая наведении указателя мыши или данные близкого взаимодействия) к системе и приложению. Отклонение пальмы гораздо надежнее.

Когда мы ссылаемся на устройства пера здесь, мы ссылаемся на активные ручки, которые предоставляют богатые входные данные и используются в первую очередь для точного рукописного ввода и указания взаимодействия.

Поддержка устройств

• Телефоны и фаблеты
• Планшет
• Компьютеры и ноутбуки
• Surface Hub
• IoT

Типичное применение

Платформа рукописного ввода Windows вместе с пером предоставляет естественный способ создания рукописных заметок, рисунков и заметок. Платформа поддерживает запись рукописных данных из входных данных дигитайзера, создание рукописных данных, отрисовку данных в виде росчерков рукописного ввода на выходном устройстве, управление данными рукописного ввода и распознавание рукописного ввода. Помимо захвата пространственных движений пера как пользователь пишет или рисует, ваше приложение также может собирать такие сведения, как давление, форма, цвет и непрозрачность, чтобы предложить пользователям взаимодействие, которое тесно напоминает рисование на бумаге с пером, карандашом или кистью.

Где разбиение ввода пера и сенсорного ввода — это возможность сенсорного ввода эмулировать прямые манипуляции элементами пользовательского интерфейса на экране с помощью физических жестов, выполняемых на этих объектах (например, прокрутка, скольжение, перетаскивание, поворот и т. д.).

Для поддержки этих взаимодействий следует предоставить команды пользовательского интерфейса для конкретного пера или возможности. Например, используйте предыдущие и следующие кнопки (или + и -), чтобы пользователи перелистылили страницы содержимого, а также поворот, изменение размера и масштабирование объектов.

Дополнительная информация

Рекомендации по проектированию пера  

Сенсорный ввод

При касании физические жесты с одного или нескольких пальцев можно использовать либо для эмуляции прямых манипуляций с элементами пользовательского интерфейса (например, сдвига, поворота, изменения размера или перемещения), в качестве альтернативного метода ввода (аналогично мыши или перу), либо в качестве дополнительного метода ввода (для изменения аспектов других входных данных, таких как смещание росчерка рукописного ввода, рисуемого пером). Тактильные интерфейсы, такие как это может обеспечить более естественные, реальные ощущения для пользователей, так как они взаимодействуют с элементами на экране.

Поддержка устройств

• Телефоны и фаблеты
• Планшет
• Компьютеры и ноутбуки
• Surface Hub
• IoT

Типичное применение

Поддержка сенсорного ввода может значительно отличаться в зависимости от устройства.

Некоторые устройства не поддерживают касание вообще, некоторые устройства поддерживают один сенсорный контакт, а другие поддерживают несколько контактов (два или более контактов).

Большинство устройств, поддерживающих много сенсорный ввод, обычно распознают десять уникальных одновременных контактов.

Устройства Surface Hub распознают 100 уникальных одновременных сенсорных контактов.

Как правило, касание:

• Один пользователь, если не используется с устройством Microsoft Team, например Surface Hub, где подчеркивается совместная работа.
• Не ограничивается ориентацией устройства.
• Используется для всех взаимодействий, включая ввод текста (сенсорной клавиатуры) и рукописный ввод (настроенное приложением).

Дополнительная информация

Рекомендации по проектированию сенсорного ввода  

Touchpad

Сенсорная панель объединяет как косвенные много сенсорные входные данные, так и точные входные данные на указывающее устройство, например мышь. Это сочетание делает сенсорной панель подходит как для пользовательского интерфейса, оптимизированного для сенсорного ввода, так и для небольших целевых объектов приложений для повышения производительности.

Поддержка устройств

• Компьютеры и ноутбуки
• IoT

Типичное применение

Сенсорные панели обычно поддерживают набор жестов сенсорного ввода, которые обеспечивают поддержку сенсорного ввода для прямого управления объектами и пользовательским интерфейсом.

Из-за этой конвергенции взаимодействия, поддерживаемых сенсорными панели, мы рекомендуем также предоставлять команды пользовательского интерфейса в стиле мыши или возможности, а не полагаться исключительно на поддержку сенсорного ввода. Предоставьте команды пользовательского интерфейса для сенсорной панели или разрешения для поддержки этих взаимодействий.

Для поддержки этих взаимодействий следует предоставить команды пользовательского интерфейса, относящиеся к мыши, или разрешения. Например, используйте предыдущие и следующие кнопки (или + и -), чтобы пользователи перелистылили страницы содержимого, а также поворот, изменение размера и масштабирование объектов.

Дополнительная информация

Рекомендации по проектированию сенсорной панели  

Клавиатура

Клавиатура является основным устройством ввода для текста и часто является обязательным для людей с определенными ограниченными возможностями или пользователями, которые считают его более быстрым и эффективным способом взаимодействия с приложением.

Поддержка устройств

• Телефоны и фаблеты
• Планшет
• Компьютеры и ноутбуки
• Surface Hub
• IoT
• Xbox
• HoloLens

Типичное применение

Пользователи могут взаимодействовать с универсальными приложениями Windows с помощью аппаратной клавиатуры и двух программных клавиатур: экранной клавиатуры (OSK) и сенсорной клавиатуры.

OSK — это визуальный, программный клавиатура, которую можно использовать вместо физической клавиатуры для ввода и ввода данных с помощью сенсорного ввода, мыши, пера или пера или другого указывающего устройства (сенсорный экран не требуется). OSK предоставляется для систем, не имеющих физической клавиатуры, или для пользователей, чьи нарушения мобильности препятствуют использованию традиционных физических устройств ввода. OSK эмулирует большую часть, если не все, функциональные возможности аппаратной клавиатуры.

Сенсорная клавиатура — это визуальный, программный клавиатура, используемая для ввода текста с сенсорным вводом. Сенсорная клавиатура не является заменой OSK, так как она используется только для ввода текста (она не эмулирует аппаратную клавиатуру) и отображается только в том случае, если текстовое поле или другой редактируемый текстовый элемент управления получает фокус. Сенсорный клавиатура не поддерживает команды приложений или системных команд.

Обратите внимание , что OSK имеет приоритет над сенсорной клавиатурой, которая не будет отображаться, если OSK присутствует.

Как правило, клавиатура:

• Один пользователь.
• Не ограничивается ориентацией устройства.
• Используется для ввода текста, навигации, игрового процесса и специальных возможностей.
• Всегда доступно либо упреждающее, либо реактивное.

Дополнительная информация

Рекомендации по проектированию клавиатуры  

Мышь

Мышь лучше всего подходит для приложений для повышения производительности и пользовательского интерфейса с высокой плотностью, где взаимодействие с пользователем требует точности на уровне пикселей для целевого объекта и команд.

Поддержка устройств

• Телефоны и фаблеты
• Планшет
• Компьютеры и ноутбуки
• Surface Hub
• IoT

Типичное применение

Входные данные мыши можно изменить с добавлением различных клавиш клавиатуры (CTRL, SHIFT, ALT и т. д.). Эти клавиши можно объединить с левой кнопкой мыши, правой кнопкой мыши, кнопкой колеса и кнопками X для расширенного набора команд, оптимизированных для мыши. (Некоторые устройства мыши Майкрософт имеют две дополнительные кнопки, называемые кнопками X, как правило, используются для перехода назад и пересылки в веб-браузерах).

Как и перо, где разбиение ввода мыши и сенсорного ввода — это возможность сенсорного ввода эмулировать прямые манипуляции с элементами пользовательского интерфейса на экране с помощью физических жестов, выполняемых на этих объектах (например, прокрутка, скольжение, перетаскивание, поворот и т. д.).

Для поддержки этих взаимодействий следует предоставить команды пользовательского интерфейса, относящиеся к мыши, или разрешения. Например, используйте предыдущие и следующие кнопки (или + и -), чтобы пользователи перелистылили страницы содержимого, а также поворот, изменение размера и масштабирование объектов.

Дополнительная информация

Рекомендации по проектированию мыши  

Жест

Жест — это любая форма перемещения пользователей, распознаваемая как входные данные для управления или взаимодействия с приложением. Жесты принимают много форм, от просто с помощью руки, чтобы нацелиться на что-то на экране, к конкретным, изученным шаблонам движения, до длинных растяжения непрерывного движения с помощью всего тела. Будьте осторожны при разработке пользовательских жестов, так как их смысл может отличаться в зависимости от языкового стандарта и языка и региональных параметров.

Поддержка устройств

• Компьютеры и ноутбуки
• IoT
• Xbox
• HoloLens

Типичное применение

События статических жестов запускаются после завершения взаимодействия.

• События статических жестов включают касание, DoubleTapped, RightTapped и Holding.

События жестов манипуляции указывают на текущее взаимодействие. Они начинают запускаться, когда пользователь прикасается к элементу и продолжается до тех пор, пока пользователь не поднимает пальцы или манипуляцию отменяется.

• События манипуляции включают много сенсорные взаимодействия, такие как масштабирование, сдвиг или поворот, а также взаимодействия, использующие инерцию и скорости, такие как перетаскивание. (Информация, предоставляемая событиями манипуляции, не определяет взаимодействие, а предоставляет такие данные, как положение, разность перевода и скорость.)

• События указателя, такие как PointerPressed и PointerMoved, предоставляют низкоуровневые сведения для каждого сенсорного контакта, включая движение указателя и возможность различать события прессы и выпуска.

Из-за конвергенции взаимодействия, поддерживаемых Windows, мы рекомендуем также предоставлять команды пользовательского интерфейса в стиле мыши или возможности, а не полагаться исключительно на поддержку сенсорного ввода. Например, используйте предыдущие и следующие кнопки (или + и -), чтобы пользователи перелистылили страницы содержимого, а также поворот, изменение размера и масштабирование объектов.

Геймпад или контроллер

Геймпад или контроллер — это высоко специализированное устройство, обычно выделенное для игр. Однако он также используется для эмуляции основных вводов клавиатуры и обеспечивает интерфейс навигации пользовательского интерфейса очень похож на клавиатуру.

Поддержка устройств

• Компьютеры и ноутбуки
• IoT
• Xbox

Типичное применение

Играйте в игры и взаимодействуйте со специализированной консолью.

Несколько входных данных

Аккомодирование как можно больше пользователей и устройств и проектирование приложений для работы с таким количеством типов входных данных (жест, речь, сенсорный ввод, сенсорной панели, мышь и клавиатура) максимально повышает гибкость, удобство использования и специальные возможности.

Поддержка устройств

• Телефоны и фаблеты
• Планшет
• Компьютеры и ноутбуки
• Surface Hub
• IoT
• Xbox
• HoloLens

Типичное применение

Так же, как люди используют сочетание голоса и жеста при взаимодействии друг с другом, при взаимодействии с приложением также может быть полезно несколько типов и режимов ввода. Однако эти объединенные взаимодействия должны быть как можно более понятными и естественными, так как они также могут создать очень запутанный интерфейс.