Вид интерфейса когда компьютер получает команды через движения жесты
- Жесты мышью — способ управления программами в компьютере при помощи движений (жестов) мыши, которые преобразуются в команды.
Идея способа состоит в замене навигации по командам меню на ввод команд с помощью знаков, нарисованных на плоскости экрана движениями мыши. «Рисовать» команды может быть быстрее и проще, чем искать нужный пункт меню или (в нек. случаях) использовать горячие клавиши. Кроме того, такой способ облегчает работу для тех, кому затруднительно пользоваться клавиатурой.
Естественно-языковое взаимодействие
Идея напрямую обращаться к компьютеру не нова, но именно успех приложения Siri для iPhone наконец вывел эту технологию на первый план в отрасли. Главным преимуществом естественно-языкового взаимодействия является то, что данная технология имитирует нашу с вами манеру общения, усвоенную каждым еще в раннем детстве.
Продуманные естественно-языковые интерфейсы не только придают взаимодействию человека и компьютера естественность: при речевом взаимодействии пользователь очеловечивает компьютер и воспринимает его как некоего члена социума. Благодаря этому дизайнеры и авторы контента получают колоссальные возможности для выстраивания по-настоящему глубоких взаимоотношений с пользователями.
Материальный
Это тактильный контакт с гаджетами. Он включает в себя прикосновения к сенсорному экрану, действия с мышкой или джойстиком.
Связанные понятия (продолжение)
Око́нный интерфе́йс — способ организации полноэкранного интерфейса программы (разновидность графического интерфейса), в котором каждая интегральная часть располагается в графическом окне — собственном субэкранном пространстве, находящемся в произвольном месте «над» основным экраном. Несколько окон, одновременно располагающихся на экране, могут перекрываться, виртуально находясь «выше» или «ниже» друг относительно друга.
Панель инструментов (англ. toolbar) — элемент графического интерфейса пользователя, предназначенный для размещения на нём нескольких других элементов.
Экранное считывающее устройство — это один из видов вспомогательных технологий (вт), предназначенных для слепых людей, имеющих плохое зрение а также людей имеющих затруднения при обучении. Считывающие устройства это такие программные обеспечения, с помощью которых, их пользователи могут постигать визуальную информацию без использования зрения, например озвучивания, звуковые значки или Брайлевского дисплея.В операционных системах Windows, начиная с версии Windows 2000, встроено экранное считывающее.
Бу́фер обме́на (англ. clipboard) — промежуточное хранилище данных, предоставляемое программным обеспечением и предназначенное для переноса или копирования между приложениями или частями одного приложения через операции вырезать, копировать, вставить.
Дамп памяти (англ. memory dump; в Unix — core dump) — содержимое рабочей памяти одного процесса, ядра или всей операционной системы. Также может включать дополнительную информацию о состоянии программы или системы, например значения регистров процессора и содержимое стека. Многие операционные системы позволяют сохранять дамп памяти для отладки программы. Как правило, дамп памяти процесса сохраняется автоматически, когда процесс завершается из-за критической ошибки (например, из-за ошибки сегментации.
Полоса прокрутки — элемент (виджет) графического интерфейса пользователя, использующийся для отображения информации и элементов интерфейса, больших по размеру, чем используемый для их отображения контейнер (окно просмотра, область прокрутки). При использовании полосы прокрутки в контейнере отображается часть информации, которая помещается в отведённое окно, а остальное содержимое как бы спрятано за его границами. Полоса прокрутки позволяет перемещать окно просмотра, и одновременно является индикатором.
Рабо́чий стол (англ. desktop) — в компьютерной терминологии основное окно графической среды пользователя вместе с элементами, добавляемыми в него этой средой.
Область уведомлений (англ. notification area) — элемент панели инструментов среды рабочего стола («панель задач» в Windows), используемый для нужд длительно запущенных, но при этом не постоянно используемых программ. Обычно находится в правом нижнем углу (левом нижнем, если порядок чтения — справа налево), но в настраиваемых GUI может помещаться в произвольное место. Имеет также неофициальное название «системный трей» (англ. system tray, от англ. tray — «поднос, поддон»)
Текстовый пользовательский интерфейс, ТПИ (англ. Text user interface, TUI; также Character User Interface, CUI) — разновидность интерфейса пользователя, использующая при вводе-выводе и представлении информации исключительно набор буквенно-цифровых символов и символов псевдографики. Характеризуется малой требовательностью к ресурсам аппаратуры ввода-вывода (в частности, памяти) и высокой скоростью отображения информации. Появился на одном из начальных этапов развития вычислительной техники, при развитии.
По умолча́нию — термин, используемый для обозначения значений параметров какой-либо программы, предустановленных разработчиком. Пользователь может изменить эти установки явным образом, однако, если он не сделал этого, то в качестве значений используются параметры, заданные разработчиком.
Вкла́дка (англ. tab) — элемент графического интерфейса пользователя, который позволяет в одном окне приложения переключение между несколькими открытыми документами или предопределёнными наборами элементов интерфейса, когда их доступно несколько, а на выделенном для них пространстве окна можно показывать только один из них.
Меню́ (англ. menu, фр. menu) — элемент интерфейса пользователя, позволяющий выбрать одну из нескольких перечисленных опций программы.
Установка программного обеспечения, инсталляция — процесс установки программного обеспечения на компьютер конечного пользователя. Выполняется особой программой (пакетным менеджером), присутствующей в операционной системе (например, RPM, APT или dpkg в Linux, Установщик Windows в Microsoft Windows), или же входящим в состав самого программного обеспечения средством установки. В операционной системе GNU очень распространено использование системы GNU toolchain и её аналогов для компиляции программного.
Эмулятор терминала, приложение терминала, term или tty для краткости — это программа, которая эмулирует терминал компьютера внутри некоторой другой архитектуры вывода данных на экран.
Ярлы́к (англ. shortcut) — файл, служащий указателем на объект (например, файл, который требуется определённым образом обработать), программу или команду и содержащий дополнительную информацию.
Элеме́нт интерфе́йса — примитив графического интерфейса пользователя, имеющий стандартный внешний вид и выполняющий стандартные действия.
Блокнот (англ. Notepad) — простой текстовый редактор, являющийся частью операционных систем Microsoft Windows, начиная с вышедшей в 1985 году Windows 1.0.
Загрузочный сектор, бутсектор (англ. boot sector, Volume boot sector (Volume boot record), Partition boot sector) — это особый сектор на жёстком диске, дискете или другом дисковом устройстве хранения информации. (Для дискеты это первый физический сектор, для жёсткого диска — первый физический сектор для каждого раздела.) В процессе загрузки компьютера с дискеты он загружается в память программой POST (в компьютерах архитектуры IBM PC обычно с адреса 0000:7c00), ему передается управление командой.
Ассоциация или ассоциирование файлов — в программном обеспечении привязывание файла (по расширению или по каким-либо другим признакам) к прикладной программе, которая обрабатывает эти файлы. При «вызове» этого файла, например, в файловом менеджере, вызовется связанная с ним программа и откроет файл.
Ribbon (Лента) или Microsoft Fluent Interface — тип интерфейса в GUI-приложениях, основанный на панелях инструментов, разделенных вкладками. Приложения пакета Microsoft Office начиная с версии 2007, выпущенные компанией Microsoft, применяют эту форму интерфейса, главной частью которой является модульная лента с пиктограммами вместо текстовых пунктов меню.
Иконка (от англ. icon) — элемент графического интерфейса, небольшая картинка, представляющая приложение, файл, каталог, окно, компонент операционной системы, устройство и т. п. В ответ на щелчок, совершённый мышью или другим указательным устройством ввода на иконке, обычно выполняется соответствующее действие (запуск приложения, открытие файла и т. д.).
Текстовый видеорежим — режим компьютерного видеоадаптера, в котором экран представлен в виде решётки знакомест (а не пикселей, в отличие от графических режимов). В каждом из знакомест может находиться один символ из ограниченного набора.
Кадровый буфер (англ. framebuffer) (другие названия: буфер кадра, видеобуфер, фреймбуфер) — реальное или виртуальное электронное устройство или область памяти для кратковременного хранения одного или нескольких кадров в цифровом виде перед его отправкой на устройство видеовывода. Буфер может быть использован для выполнения над кадром различных предварительных операций, организации стоп-кадра, устранения мерцания изображения и др. Обычно кадр хранится в виде последовательности цветовых значений каждого.
Конфигурация программного обеспечения — совокупность настроек программы, задаваемая пользователем, а также процесс изменения этих настроек в соответствии с нуждами пользователя.
Перезагру́зка — процесс, при котором компьютер либо другое устройство полностью очищает, либо восстанавливает содержимое оперативной памяти и возобновляет свою работу заново.
Планировщик задач — программа (служба или демон), часто называемая сервисом операционной системы, которая запускает другие программы в зависимости от различных критериев, как, например.
В компьютерной среде термин панель задач — это элемент интерфейса, отображающийся на его краю, и использующийся для быстрого запуска программ или слежения за изменениями уже запущенных программ. Microsoft представила свою панель задач в Windows 95 в 1995 — это дало толчок в распространении этого элемента интерфейса в системах Windows и не только: во многих операционных системах и средах рабочего стола.
Строка меню — разновидность меню, предоставляющая доступ ко всем функциям программы (или к большинству функций). Обычно строка меню располагается в верхней части окна, сразу под заголовком, но в некоторых операционных системах, например OS X, она размещается в верхней части экрана и актуальна для активного приложения.
Док (англ. dock) — вид панели инструментов, часть компьютерного графического интерфейса пользователя, позволяющая запускать программы на выполнение и переключаться между работающими программами.
Диалоговое окно (англ. dialog box) в графическом пользовательском интерфейсе — специальный элемент интерфейса, окно, предназначенное для вывода информации и (или) получения ответа от пользователя. Получил своё название потому, что осуществляет двустороннее взаимодействие компьютер-пользователь («диалог»): сообщая пользователю что-то и ожидая от него ответа.
Окно — основное понятие оконного интерфейса, интерфейсный контейнер. Кроме дочерних элементов интерфейса, окно также может содержать элементы управления самим окном. Важная особенность окон — возможность перекрываться, то есть располагаться поверх друг друга, полностью или частично закрывая нижнее окно.
О программном обеспечении рассказывает другая статья.Переносимое приложение (также портативное, автономное, и — неточно, в качестве кальки — портированное; англ. portable application, portable app) — программное обеспечение, которое для своего запуска не требует процедуры установки и может полностью храниться на съёмных носителях информации, что позволяет использовать данное ПО на многих компьютерах. Переносимое приложение может быть настроено так, чтобы считывать свои конфигурационные настройки.
Модуль ядра, загружаемый модуль ядра (англ. loadable kernel module, LKM) — объект, содержащий код, который расширяет функциональность запущенного или т. н. базового ядра ОС. Большинство текущих систем, основанных на Unix, поддерживают загружаемые модули ядра, хотя они могут называться по-разному (например, kernel loadable module в FreeBSD и kernel extension в Mac OS X).
Компью́терная мышь — координатное устройство для управления курсором и отдачи различных команд компьютеру. Управление курсором осуществляется путём перемещения мыши по поверхности стола или коврика для мыши. Клавиши и колёсико мыши вызывают определённые действия, например: активация указанного объекта, вызов контекстного меню, вертикальная и горизонтальная (в специализированных мышках) прокрутка веб-страниц, окон операционной системы и электронных документов.
Расширение браузера — компьютерная программа, которая в некотором роде расширяет функциональные возможности браузера. В зависимости от браузера, термин может отличаться от условленных обозначений, к примеру, plug-in (плагин), add-on (дополнение) или extension (расширение). Mozilla Firefox был разработан с целью создания маленького и простого в использовании веб-браузера, который расширялся бы за счёт продвинутых функций расширений. Microsoft Internet Explorer начал поддерживать расширения начиная.
Клавиши управления курсором (клавиши перемещения) — восемь клавиш на клавиатуре компьютера: ↑, ↓, ←, →, Home, End, Page Up и Page Down. На цифровой клавиатуре эти клавиши совмещены с цифрами 1…9.
Уровень абстракции — один из способов сокрытия деталей реализации определенного набора функциональных возможностей. Применяется для управления сложностью проектируемой системы при декомпозиции, когда система представляется в виде иерархии уровней абстракции.
Монтирование файловой системы — системный процесс, подготавливающий раздел диска к использованию операционной системой.
Всплывающее окно (англ. pop-up) — окно, открываемое на экране компьютера в результате выполнения какой-либо операции.
Светово́е перо́ (англ. light pen) — один из инструментов ввода графических данных в компьютер, разновидность манипуляторов.
Интерфе́йс по́льзователя, он же по́льзовательский интерфейс (UI — англ. user interface) — интерфейс, обеспечивающий передачу информации между пользователем-человеком и программно-аппаратными компонентами компьютерной системы (ISO/IEC/IEEE 24765-2010).
Корзи́на — элемент графического интерфейса пользователя, предназначенный для удаления и, часто, временного хранения удалённых объектов (в некоторых реализациях — только файлов и каталогов). Корзина в ряде систем позволяет восстановить недавно удалённый объект в случае ошибки или недоразумения пользователя.
Букмарклет (англ. bookmarklet; bookmark — «закладка» и applet — «апплет») — небольшая JavaScript-программа, оформленная как javascript: URL и сохраняемая как браузерная закладка.
Сенсорные интерфейсы практически захватили развитые рынки, что повлекло за собой изменения ожиданий пользователей и взглядов UX-специалистов на человеко-машинное взаимодействие (Human-Computer Interaction, HCI). Теперь вслед за сенсорными интерфейсами в индустрию понемногу начинают проникать технологии бесконтактных жестовых и естественно-языковых взаимодействий (Natural Language Interaction, NLI). Распространение этих технологий обещает перемены в отрасли UX, начиная с эвристик, которыми мы руководствуемся, и заканчивая паттернами проектирования и конечными результатами.
Связанные понятия
Конте́кстное меню́ — элемент графического интерфейса операционной системы, представляющий собой список команд, вызываемый пользователем для выбора необходимого действия над выбранным объектом. Команды контекстного меню относятся к тому объекту, над которым это меню было вызвано.
Сочетание клавиш (синонимы: горячая клавиша, шорткат , клавиша быстрого доступа, клавиша быстрого вызова, клавиатурный ускоритель; англ. keyboard shortcut, quick key, access key, hot key) (для программного обеспечения) — разновидность интерфейса взаимодействия с вычислительным устройством (компьютером, калькулятором), представляющая собой нажатие кнопки/клавиши (или сочетания клавиш) на клавиатуре, которому назначено (запрограммировано) некое действие — команды (операции), исполняемые данной системой.
Устро́йства вво́да — периферийное оборудование, предназначенное для ввода (занесения) данных или сигналов в компьютер или в другое электронное устройство во время его работы.
Кнопка — элемент интерфейса компьютерных программ, является метафорой кнопки в технике и, соответственно, изображается схожей с ней и выполняет аналогичные функции. При нажатии на неё происходит программно связанное с этим нажатием действие либо событие.
Человеко-машинные интерфейсы: ждем перемен
Благодаря сенсорным интерфейсам взаимодействие пользователей с вычислительными устройствами стало более естественным и интуитивным. С повсеместным распространением сенсорных технологий стали появляться новые концепции взаимодействий. Усилиями корпораций Майкрософт и Apple соответственно бесконтактные жестовые и естественно-языковые (NLI) интерфейсы, дождавшись своего часа, теперь наконец начинают понемногу проникать в отрасль. Если эти технологии приживутся, то благодаря ним мы сможем сделать следующий шаг к созданию естественного пользовательского интерфейса (Natural User Interface, NUI).
GestiC
GestiC — это недорогой экономный чип от компании Microchip Technology, который можно использовать в широком круге устройств, включая планшеты, ноутбуки, автомобили и потребительскую электронику. Принцип действия чипа основан на создании электрического поля: как только часть тела или иной электропроводящий предмет оказывается в области распространения поля, система регистрирует его нарушение, определяя расположение предмета в пространстве. С помощью GestiC можно управлять устройствами с расстояния до 15 см без использования камер или видеопроцессоров. С помощью алгоритмов распознавания шаблонов система «узнает» жесты, которым ее обучили, например смахивающие или кругообразные. Производители устройств со встроенным GestiC могут запрограммировать соответствие жестов различным управляющим командам, а специальные алгоритмы помогают чипу отличать управляющие жесты от других телодвижений.
Что такое интерфейс
Интерфейс — это «проводник» между человеком и программой, операционной системой, техническим устройством или способ взаимодействия приложений между собой. Человек дает команды с помощью интерфейса, устройство их анализирует и отвечает. Основные задачи, для решения которых он предназначен:
- ввод и отображение информации (звук, изображение);
- управление отдельными приложениями;
- обмен данными с другими устройствами;
- взаимодействие с операционной системой.
Интерфейс подразумевает взаимодействие не только человека и техники, но и компьютер-программа, программа-программа, компьютер-устройство. Например, когда устройства подключают к системному блоку компьютера, как способ взаимодействия используют разъем.
Пользовательский интерфейс
Все, с чем взаимодействует обычный пользователь, когда включает компьютер, заходит на сайт или в приложение, все, что человек видит на экране — это пользовательский интерфейс.
Другие жестикуляционные интерфейсы
В преддверии выхода игровой консоли Xbox One, Microsoft обновила жестикуляционный контроллер приставки Kinect — в его новом варианте используется широкоугольная камера-дальномер с разрешением Full HD (1080 точек), регистрирующая расстояния до объектов по времени возвращения отраженного от них света. Она работает быстрее и точнее, чем в предыдущей модели контроллера, а благодаря инфракрасному датчику сохраняет работоспособность даже в темноте.
Жестовые интерфейсы есть и у других новых продуктов, например у «умных» наручных часов Kreyos Meteor, которые общаются по Bluetooth со смартфоном на базе iOS, Android или Windows 8. Взмахом руки, на которой находятся часы, пользователь сможет ответить на звонок или вывести на экран пришедшую SMS. Движения кисти рук часы распознают с помощью трехосевого гироскопа, акселерометра и других датчиков.
В Apple, в свою очередь, разработали для iOS 7 систему, оснащенную камерой, позволяющую управлять iPhone жестами руки и движениями головы.
Система Grasp компании Omek Interactive, состоящая из связующего ПО и набора программных инструментов, обрабатывает данные с дальномерных камер, позволяя разработчикам создавать жестикуляционные интерфейсы для приложений и устройств.
Что дальше?
Со временем люди освоят альтернативные способы управления компьютером и начнут пользоваться комбинацией из нескольких способов: жестов, голосовых команд, отслеживания движений глаз и т. п. Толчок к этому дадут новые вычислительные и коммуникационные устройства, в том числе носимые — вроде Google Glass. Однако жестикуляционные интерфейсы не вытеснят традиционные мышь и клавиатуру, а будут применяться только в тех случаях, когда это наиболее удобно. Первыми такие интерфейсы возьмут на вооружение молодые пользователи, и по мере их взросления эта технология станет более распространенной.
Если нынешние жестикуляционные системы, как правило, следят за пальцами и руками, то в дальнейшем они также смогут распознавать движения головы и глаз. Такие интерфейсы должны стать естественными и удобными, чтобы не повторилась ситуация с технологией распознавания речи, которая так и не стала массовой из-за того, что ее надо обучать вашему голосу, прежде чем начать ею пользоваться.
Как бы то ни было, у жестикуляционных интерфейсов появятся применения, без которых люди просто не смогут жить, — уже сегодня видно, что популярность этой технологии растет на порядок быстрее по сравнению с распознаванием голоса. По мнению аналитиков, через три года системы машинного зрения и жестикуляционные интерфейсы получат такое же признание, какого голосовые технологии добились за тридцать лет.
Ли Гарбер (lgarber@computer@org) — старший редактор IEEE Computer Society.
Lee Garber, From Synapses to Circuitry: Gestural Technology: Moving Interfaces in a New Direction, IEEE Computer, October 2013, IEEE Computer Society. All rights reserved. Reprinted with permission.
распознавание жестов,компьютерное зрение,обработка изображений,Kinect,gesture recognition, computer vision, image processing
Командная строка
Через командную строку можно выполнить максимальное количество операций — это прямой способ общения с операционной системой. Чтобы набрать команду, нужно ввести текст на языке компьютера и нажать Enter, компьютер начнет выполнять.
Минус способа в том, что он подходит только подготовленным пользователям. В командной строке нет вспомогательных графических элементов, для взаимодействия придется освоить язык, а чтобы команды работали — нельзя допускать ошибок.
Принципы человеко-машинного взаимодействия
- эффективность восприятия информации: правильно ли мы воспринимаем сигналы системы;
- принцип обработки информации: правильно ли мы понимаем и обрабатываем эти сигналы;
- эффективность передачи информации: правильно ли мы вводим результаты обратно в систему.
Жестовый, голосовой, тактильный и нейронный
Жестовое взаимодействие позволяет отдавать команды движениями пальцев. Оно применяется при работе с сенсорным экраном смартфона. Например, жест «вверх» заставляет появиться всплывающее окно.
Голосовой интерфейс — это управление голосом. Гаджет распознает и выполняет звуковые команды.
Тактильный подразумевает взаимодействие с помощью осязания: вибрация или чувствительность к силе нажатия.
Нейронный интерфейс передает команды прямо из мозга в компьютер, для этого в мозг вживляют электроды. Его применяют в медицине: так парализованный человек может общаться с окружающим миром.
Результаты
При внедрении инновационных моделей взаимодействия едва ли не самым сложным этапом является общение с заинтересованными лицами, которые еще не успели хорошенько ознакомиться с нововведением. Визуализировать несуществующие вещи довольно затруднительно, так что UX-дизайнерам придется хорошенько подумать, каким образом донести нужную информацию.
Интерфейс в телефонах
На смартфонах используют сенсорный экран, который подразумевает жестовой и тактильный интерфейсы. Пользователь прикасается к элементам, операционная система или приложение получают от него команды и выполняют их.
Каким должен быть интерфейс
Важно, чтобы интерфейс соответствовал целям и контексту. Если это взаимодействие специалиста с компьютером, то главное — это способность обеспечивать получение информации и выполнение задач. Для обычного пользователя он имеет не только техническое, но и эстетическое значение: работа с ним должна быть удобной и понятной.
Связанные понятия
Конте́кстное меню́ — элемент графического интерфейса операционной системы, представляющий собой список команд, вызываемый пользователем для выбора необходимого действия над выбранным объектом. Команды контекстного меню относятся к тому объекту, над которым это меню было вызвано.
Сочетание клавиш (синонимы: горячая клавиша, шорткат , клавиша быстрого доступа, клавиша быстрого вызова, клавиатурный ускоритель; англ. keyboard shortcut, quick key, access key, hot key) (для программного обеспечения) — разновидность интерфейса взаимодействия с вычислительным устройством (компьютером, калькулятором), представляющая собой нажатие кнопки/клавиши (или сочетания клавиш) на клавиатуре, которому назначено (запрограммировано) некое действие — команды (операции), исполняемые данной системой.
Устро́йства вво́да — периферийное оборудование, предназначенное для ввода (занесения) данных или сигналов в компьютер или в другое электронное устройство во время его работы.
Кнопка — элемент интерфейса компьютерных программ, является метафорой кнопки в технике и, соответственно, изображается схожей с ней и выполняет аналогичные функции. При нажатии на неё происходит программно связанное с этим нажатием действие либо событие.
Считывание телодвижений (косвенный ввод данных)
Вдобавок к новым возможностям управления посредством жестов сенсор Kinect для ПК способен считывать прочие телодвижения пользователей, которые выдают их усталость или настроение. Например, более активная жестикуляция (скажем, более размашистые и резкие жесты) может быть расценена системой как знак того, что пользователь взволнован, и система корректирует свое поведение соответствующим образом. У пользователей, использующих производительные приложения, такое поведение может быть вызвано чувством неудовлетворенности, и система может попытаться помочь пользователю успокоиться.
Прототипирование
Для эффективной реализации технологии распознавания телодвижений и речевых шаблонов пользователей необходимо не упустить ни одной детали и поддерживать четкий обмен информацией между заинтересованными лицами. Прототипы получают все большее распространении по той же причине, что и спецификации: лучше один раз увидеть, чем сто раз услышать. Это касается и тестирования приложений, и их разработки.
На данный момент нет такого ПО, которое позволило бы оперативно смоделировать бесконтактное жестовое взаимодействие Kinect; остается только загружать пакет SDK и самостоятельно создавать приложения. Для голосовых интерфейсов, однако, есть несколько бесплатных инструментов, таких как CSLU Toolkit, благодаря которым разработчики могут оперативно собрать голосовой интерфейс для моделирования и тестирования.
В общем, пока инструменты создания прототипов не станут достаточно быстрыми, гибкими и эффективными, мы обречены держаться корней и использовать проверенные инструменты: бумагу, демонстрационные материалы, раскадровки и «волшебника Оз».
Виды интерфейсов
Одни виды взаимодействия позволяют получить больше контроля над компьютером или смартфоном, но требуют дополнительных навыков. Другие — более комфортные, но предоставляют меньше возможностей. У каждого типа есть свои особенности.
Контроллер Leap Motion
Компания Leap Motion в 2013 году выпустила долгожданный для многих первый продукт — Leap Motion Controller, представляющий собой небольшое периферийное устройство, подключаемое к порту USB компьютера с Windows или Mac OS. С помощью двух камер и трех инфракрасных светодиодов система следит за движениями рук, пальцев или других объектов в метровом радиусе сверху и по сторонам от себя. В отличие от камеры Kinect, реагирующей на движения тела и конечностей, Leap Motion Controller распознает движения малозаметных предметов с точностью 0,01 мм.
В некоторых жестикуляционных системах применяются камеры большого разрешения, получающие массу информации из области своего обзора. Анализ всех этих данных требует внушительного объема вычислений, а контроллер Leap Motion отличается низкой задержкой, поскольку в нем используется упрощенная камера, а его алгоритмы извлекают только те данные, которые требуются для текущей задачи. Здесь программно реализованы механизмы распознавания мелких объектов и их движений, благодаря чему регистрируются даже незначительные жесты, что вместе с компактностью системы позволяет внедрить интерфейс во многих типах устройств. Компания заключила договоры об оснащении своей технологией компьютеров от ASUS и HP, а также с производителями мобильных устройств. В Leap Motion создали онлайн-магазин Airspace Store, где представлено около сотни платных и бесплатных приложений, разработанных для жестового контроллера.
Спецификации
Спецификации дизайна взаимодействий основываются на двух измерениях, которых им вполне достаточно. Однако для некоторых бесконтактных жестов могут потребоваться переменные вроде «расстояние до экрана» или «движение по оси Z», которые эффективнее визуализируются в 3D.
Речевое взаимодействие еще сложнее. Теперь, когда взаимодействие с системой в буквальном смысле становится диалогом, дизайнерам следует учитывать множество дополнительных факторов, например пользовательские интонации, акценты или выбор слов для одной и той же команды. В естественно-языковом интерфейсе такие вариации должны учитываться по максимуму.
Кроме того, появляется множество переменных, определяющих то, какой ответ система выдает пользователю. Интонация, выбор слов, модуляция, тембр — все эти и многие другие факторы влияют на то, как пользователь воспринимает систему.
Графический и текстовый
Графика упрощает взаимодействие с компьютером, с ней работать гораздо легче и комфортнее, чем с текстом. В роли графического интерфейса выступают такие элементы:
- иконки;
- меню;
- списки;
- рисунки и схемы;
- другие графические элементы.
Например, при взаимодействии с Windows используют иконки и окна, для ввода подключают мышь. На смартфоне устройством ввода служит сенсорный дисплей.
Текстовый интерфейс не использует изображения: команды отдаются с помощью текста и информация предоставляется в текстовом виде.
Катись, колесо
Со времен электронных ламп и перфокарт компьютерные пользовательские интерфейсы претерпели множество изменений, каждое из которых сопровождалось появлением новых возможностей — и новых задач. Благодаря бесконтактным жестовым и естественно-языковым интерфейсам общение человека с компьютером становится гораздо более эффективным и… человечным. Если UX-специалисты собираются по полной использовать открывающиеся перед ними возможности, то им нужно следовать в этом же направлении.
Я верю, что мы все готовы к принятию этой новой парадигмы человеко-компьютерного взаимодействия, которая позволит нам приблизиться к нашим пользователям как никогда.
Прим. пер.: Эта статья ещё интересна в контексте 10-летия выхода на экраны фильма Minority Report, в котором был показан интересный концепт подобного интерфейса.
Внимание, все графические изображение представленные ниже не несут никакой смысловой нагрузки, и если вы их не видите, то вы ничего не потеряли.
Что же такое интерфейс в целом?
Согласно Википедии, интерфейс является совокупностью средств, методов и правил взаимодействия (управления, контроля и т. д.) между элементами системы, ну а если выражаться русским не-матерным языком, то интерфейс — это способ взаимодействия чего-то с чем-то, т.е. все окружающее нас ничто иное нежели интерфейс, ведь само понятие нашей жизни раскрывается через взаимодействие с чем-то. Нет, небыло и не будет никого кто существовал бы без взаимодействия с чем-либо: например, кушаете макароны — интрефейсом является ложка (предвосхищая некоторое недовольство — да-да!, ложка — не интерфейс, а средство ввода, ну про средство вывода не будем упоминать, ну ладно — вы поняли о чем я) в рамках этого потока сознания (ЭССЭ — я сказал это — ЭССЕ) мы поговорим о человеко-компьютерном интерфейсе (хотя и это не совсем верно, но давайте убьем этого скобочного зануду и продолжим), итак сегодня мы говорим о ЧКИ.
Данный интерфейс предназначен для взаимодействия собственно человека и компьютера. Могие даже не задумываясь используют той или иной интерфейс при работе с электроникой, в частности, с компьютером. Например, данный текст целиком написан при помощи графического оконного интерфейса, а всего несколько лет назад (этак цать), автор сего эссэ пользовался текстовым интерфейсом, а возможно через несколько лет еще, или прямо завтра будет вполне успешно пользоваться другим интерфейсом (ха-ха! уже пользуюсь, и не первый год!). Последние изменения в IT-индустрии подвигли меня написать краткую статью, посвященную изменениям в интерфейсах ЧКИ. Давайте оглянемся внимательно назад — несколько десятилетий назад люди пользовались текстовыми интерфейсами и не помышляли о большем — ввод информации и команд с клавиатуры представлялся максимально удобным и единственно верным, применение других интерфейсов представлялось расточительством машинных ресурсов и замедляющим работу непотребством. Однако, компании Xerox ничто не помешало в своих лабораториях создать мышь и графический интерфейс, правда отцы основатели не отличались особой проницательностью и отличную идею получилось умыкнуть Apple — молодой и амбициозной организации, намеренной покорить рынок (забегая немного вперед — это ей удалось, но со второго раза). И что мы имеем — текстовый интерфейс пал!
Да здравствует новый король — графический оконный интерфейс. Правда текстовый интерфейс сохранился и здравствует по-ныне, однако мало кто об этом знает. Несомненно консоль и сейчас является незаменимым инструментом для диагностики и настройки не только в ОС Linux и BSD но и Windows, однако большинство пользователей даже не подозревает о ее наличии под тоннами графики. Посмотрите внимательно на экран своего компьютера (Линуксоиды — зайдите в гости к менеджерам и посмотрите на их компьютеры), что вы видите? Несмотря на многие различия в зависимости от установленной ОС вы с вероятностью 99% увидите оконный интерфейс с элементами управления окнами, со средствами создания новых окон независимо от ОС и прикладного (Ха-ха, ПРИКЛАДНОГО) ПО. Революция не за горами — удивитесь и узрите — новые интерфейсы уже сейчас перед вами!
Жестовый интерфейс
Бла-бла Ipad, бла-бла-бла iphone, android, да знаем, знаем…
Ну и знаете, ну и молодцы, однако не одними гаджетами жестовый интерфейс славится. Сам принцип жестового интерфейса далеко не нов — данный интерфейс широко эксплуатировался в кинематографии — например, сериал «Стар трек» и фильм «Особое мнение» (простите, не силен по части фильмов сайнс-фикшн, но, если покопаться, наберется много других примеров фильмов, в которых персонажи эффектно размахивая руками управляют объектами на экране или голограммами). Так что же мешало появлению жестового интерфейса? Да ничто не мешало, исследования начались задолго до первого коммерческого применения мультитача и не только начались, а были какие-никакие наработки — так первая поверхность с поддержкой мультитач появилась еще в 1985 году, а первым популярным продуктом, в котором она применялась, стал Apple iPhone — таким образом, от момента ее создания до мирового признания прошло почти 22 года (а я говорил, что революция будет — ну правда не 22 года назад, а всего-лишь двумя абзацами выше). Т.е. появлению новых интерфейсов мешают в основном недостаточный уровень текущих технологий, а вследствии этого чрезмерная дороговизна новых решений в сфере интерфейсов. Тем не менее, только ленивый сейчас не знаком с жестовым интерфейсом — на любом современном телефоне применяется именно он дорогой (Вот он! Интерфейс моей мечты!). Что же дает нам простым смертным пользователям жестовый интерфейс? Экраны с поддержкой мультитача, ориентированы на прямое взаимодействие с объектом который на них изображен, т.е. мы избавляемся от «посредника». Раньше все было просто — экран (дисплей) — устройство вывода, на нем мы видим изображение предмета, и при помощи устройства ввода (клавиатура, мышь) воздействуем на него, теперь же мы просто пальцем можем провернуть с объектом такие вещи, что раньше и не снились без участия мыши — повернуть, масштабировать, перенести, а когда нам будет нужна клавиатура — она появится на том же дисплее. Современные видеоигры также обзавелись жестовыми интерфейсами — там даже не нужно ничего трогать — достаточно производить жесты в пространстве. На сегодняшний день все лидеры игрового рынка представили свои решения в сфере жестовых интерфейсов. Первой на рынок вышла Nintendo с Wii, следом за ней с небольшим отставанием последовали Microsoft с Kinect и Sony с Move. Игровой контроллер Wii remote, «видя» инфракрасные огоньки на sensor bar, подключенный к консоли, определяет свое положение в пространстве. В Sony Move все наоборот: игрок держит в руках контроллеры со светящимися лампочками, а камера, подключаемая к приставке, наблюдает за их положением. В Kinect встроен проектор, усеивающий пространство перед собой матрицей из инфракрасных точек, одна из камер, настроенная на нужный диапазон, улавливает их расположение, и еще одна камера передает приставке обычное цветное изображение. Также Kinect снабжен стереомикрофоном и сервоприводом, корректирующим угол наклона камер. Все вместе это позволяет по-настоящему распознавать образы, а не просто улавливать расположение маркеров, т.е. при использовании Kinect нет необходимости что-либо держать в руках, однако это не позволит создать эффективную обратную связь, например тактильную, о которой речь пойдет ниже. Насколько хорош жестовый интерфейс? Об этом можно долго спорить, однако факт огромных продаж различных гаджетов с поддержкой жестового интерфейса, выпуск всеми титанами рынка видеоигр консолей с подержкой данного интерфейса говорит о многом — жестовому интерфейсу быть и здравствовать. К тому же Microsoft выводит Kinekt на рынок ПК, и есть уже готовые решения по управлению Windows при помощи жестов, например разработка от Evoluce использует Kinect, и предназначена для Home Edition и Windows 7 и позволяет управлять медиапроигрывателем и некоторыми функциями Microsoft Office и PowerPoint. В интернете есть видео, демонстрирующее все преимущества данного революционного вида управления (Гм… я бы сказал все косяки этого управления).
Однако, сможет ли жестовый интерфейс полностью вытеснить устройства ввода-вывода (А-а-а-а. Отдайте клавиатуру! Куда потащили!? Не отдам!)? Да вряд-ли, что-то этот интерфейс вытеснит в ближайшее время. Просто станет отличным дополнением к существующим, для примера возьмем масштабирование объектов — несомненно будет удобнее увеличить или уменьшить изображение щипковым жестом точно под интересующий нас размер, тоже самое с остальным медиа-контентом (перелистывание, масштабирование, перемотка и т.д.), а текст? Нет уж, текст мы как-нибудь без жестов наберем при помощи древних девайсов, хотя возможно нам предложат действительно стоящую альтернативу (ну тогда и поговорим). К тому же, то, что хорошо для малых дисплеев не всегда будет также хорошо для больших.
Попробуйте в течении нескольких часов махать руками перед 50-ти дюймовой панелью перемещая объекты (вот и решение фитнес-проблем менеджеров, не нужно дополнительных трат на абонементы). Примерно то же было и с мышью — она не вытеснила клавиатуру, а лишь удачно дополнила ее. Однако для гаджетов вроде уже все решилось — кнопки ушли, и ушли безвозратно (Ой-ли?)
Тактильный интерфейс
К сожалению нормального определения данного интерфейса найти так и не удалось, однако он является логическим продолжением и развитием жестового интерфейса, и возможно никогда не обзаведется собственным названием, а будет что-то вроде жестового интерфейса с обратной связью. Основной принцип этого интерфейса заключается в том, что, например, проводя пальцем по поверхности тач-скрина над объектом, тактильные ощущения передаются вам на пальцы (или чем вы там водите по тач-скрину). Все это связано с тем, что взаимодействие с тач-скринами при помощи жестового интерфейса является для пользователя не всегда полноценным, ввиду отсутствия тактильных ощущений при работе с тач-скрином. (Бла-бла. Это же Хабр, поэтому дальше пару абзацев я хотел вставить копипаст с какими-то примерами тактильных интерфейсов и немного технической информации. Но вы можете погуглить сами, если интересно).
Среди того, что можно пощупать простым смертным, не имеющим спецпропусков в исследовательские лаборатории — Wii. В ней помимо жестового интерфейса, который правда реализован частично и не везде, также реализована обратная тактильная связь в виде вибрации при наведении на пункты меню. Это конечно не совсем, то что имелось ввиду, но минимальное представление получить можно.
Голосовой интерфейс
И данный тип интерфейса только в последнее время вышел в более-менее удобоваримом виде, ввиду того, о Siri не знает только ленивый, долго распинаться смысла особого не вижу, вообще то разработок голосовых интерфейсов было вагон и тележка, однако до удобоваримого (коммерческого) применения дошли только Apple и Google. Этот интерфейс также шагнул прямо из фантастических фильмов (правда сначала ранние разработки в идеализированном виде шагнули в кино, а потом обратно в жизнь). Электронное устройство на вопрос заданный голосом (не при помощи голосовых меток, а именно произвольно сформулированный и заданный) мы получаем адекватный ответ ввиде текста, голоса, либо ссылки. Применение может обрести поистине широкое, но также как и предыдущие типы не претендует на полное заменение старых интерфейсов, а способен прекрасно их дополнить.
Нейрокомпьютерный интерфейс
Прямое взаимодействие мозга и компьютера, помните я говорил о посреднике? Человек ленив по своей природе, все эти мышки и мультитачи не будут нужны, если будет создан нормальный нейрокомпьютерный интерфейс. Да, они уже созданы, но под нормальными мы подразумеваем такой — подумали написать годовой отчет — и он написался! Правда немного с употреблением мата, нелестных упоминаний о руководстве и с элементами порно, но написался же! Но на данный момент данный интерфейс находится в стадии узкоспециализированного применения в сфере медицины для общения с парализованными пациентами, несмотря на то, что устройства можно даже приобрести (на Хабре уже неоднократно писали о этих девайсах).
Итоги
Вот и сбылись мечты — все, что мы видели только в кино, теперь доступно оптом и в розницу. Тем не менее не стоит выбрасывать старую добрую клавиатуру и мышь, ведь как и консоль в эпоху графических интерфейсов, она будет прекрасно чувствовать себя по-соседству с Kinect, модулем голосового управления и чего там еще придумают.
Об интерфейсе часто говорят, когда имеют в виду взаимодействие человека и компьютера или приложений. В статье разберем определение интерфейса, что это за взаимодействия, их виды и особенности.
Персоны
Благодаря голосовым функциям компьютеры становятся членами социума пользователя, и их «личности», воспринимаемые пользователем, являются крайне важным аспектом дизайна. К счастью, нам не требуется изобретать велосипед для решения этой задачи.
UX-специалисты уже давно используют образы пользователей для их классификации. Этот подход можно применить и к компьютерам, наделенным даром речи, для определения типа личности, которая моделируется системой. Создание таких образов облегчит работу вовлеченных в создание голосового интерфейса специалистов: копирайтеров, создающих сценарии, разработчиков кодировки для преобразования текста в речь, а также актеров озвучки.
Систему можно запрограммировать на эмпатию, настроив распознавание изменений в речи пользователя — волнения, раздражения или беспокойства. Если пользователь удручен чем-либо, распознавшая это система может переключиться с авторитетного, властного образа (демонстрирующего надежность и внушающего доверие) на образ заботливый и родительский (способный успокоить пользователя).
Упоминания в литературе
Жесты мыши есть, пожалуй, в любом популярном браузере, но только в Green-Browser данная функция организована самым оригинальным и удобным образом. В окне Параметры GreenBrowser на вкладке Мышь находится список доступных жестов мыши и соответствующие им команды. Помимо этого, можно добавить или изменить практически любой жест и/или команду, которая ему соответствует, с помощью области Настроить жест. Так, с помощью джойстика мы разработали новый жест, открывающий информационное окно О программе (рис. 2.27).
Touch Free
Данная программная технология, созданная компанией eyeSightс, с помощью алгоритмов машинного зрения и обработки изображений следит за жестами руки и преобразует их в команды управления каким-либо устройством. Touch Free обрабатывает видеопоток с обычной 2D-камеры, инфракрасных датчиков или датчиков глубины, отыскивая предмет, на распознавание которого она была настроена (например, руку, палец или лицо), а затем следит за его движениями. Touch Free можно внедрить практически в любое электронное устройство — это решение уже используется практически во всех видах устройств потребительской электроники: смартфонах, планшетах, ПК, телевизорах и даже в кондиционерах.
Жесты для работы в режиме Near Mode (прямой ввод данных)
- Сдвиг, растягивание и сжатие: это базовые жесты бесконтактного управления, аналогичные жестам для работы с сенсорным интерфейсом.
- Тяни-толкай: эти жесты можно использовать для приближения или отдаления объектов на экране.
- Захват и отпускание: так как в жестовых интерфейсах для масштабирования элементов используются жесты сжатия и растягивания, описанные выше, то щипковый жест можно использовать для захвата объектов на экране. «Схватив» такой объект, пользователь может управлять им посредством вторичных жестов.
- Поворот: в качестве примера вторичного жеста можно привести поворот. Благодаря тому что в бесконтактных жестовых интерфейсах к привычным двум измерениям добавляется третье, «схваченный» объект можно поворачивать, тем самым меняя его форму или положение (например, переворачивая карту или вращая куб).
- Бросок: еще один вторичный жест — пользователь может «бросить» объект на экране, чтобы быстро переместить его подальше. Этот жест можно связать с удалением объекта либо с его перемещением в 3D-пространстве.
Преимущества и применения
Пользователи предпочли бы избавиться от барьеров, воздвигаемых традиционными интерфейсами между ними и техникой, — людям удобнее взаимодействовать без посредников, а жестикуляция вполне естественный способ общения. Жестикуляционные интерфейсы позволяют привычными движениями, например имитируя перелистывание страницы, выполнить аналогичное действие на экране. Нажатия на клавиши нельзя отнести к естественным способам общения для человека, и главное преимущество жестикуляционной технологии в том, что она позволяет проще и быстрее отдавать команды устройствам. Кроме того, новые интерфейсы позволяют освободить экранное пространство от клавиш и других наглядных элементов управления. Помимо этого, жестикуляция развлекает и позволяет сосредоточиться на экране, а не на мышке, клавиатуре или пульте дистанционного управления.
Сторонники жестикуляционных интерфейсов уверены в их полезности для многих применений. Кроме возможности управлять потребительской электроникой в режиме hands-free, жестикуляционные контроллеры способны сделать игры более интерактивными и захватывающими. Геймеры будут готовы осваивать даже достаточно сложные жестикуляционные интерфейсы, а простыми, «понимающими» один-два жеста, можно оснащать телевизоры и информационные терминалы.
Жестикуляционные интерфейсы могут упростить инвалидам взаимодействие с электроникой. Еще одно потенциальное применение — автомобили. С помощью телодвижений можно управлять развлекательной системой, очистителями стекол, фарами и другим оборудованием, не отрывая глаз от дороги. Ford Motor уже выпускает автомобили, у которых автоматически открывается багажник, если под ним провести ногой.
Жестикуляционные интерфейсы позволят врачам и медсестрам управлять компьютерами и другими устройствами, не дотрагиваясь до них, — это очень ценная возможность для анатомических театров и ситуаций, когда медикам нужны чистые руки, а также в случаях, когда оборудование находится вне прямой досягаемости.
Сложности
Рыночному успеху жестикуляционных интерфейсов мешает ряд потенциальных препятствий — например, жесты не всегда распознаются точно. Кроме того, такими интерфейсами бывает сложно пользоваться, если разработка проходила без помощи экспертов по человеко-машинному взаимодействию.
Ряд экспертов считает, что жестикуляционные системы слишком сложны в освоении и применении, а системы на основе камер имеют ограниченное поле зрения, поэтому круг их применений не слишком широк. В некоторых случаях точность распознавания движений у таких систем страдает из-за загрязнения объектива, плохого освещения или посторонних предметов в поле зрения камеры.
Рынок систем жестикуляционного управления относительно нов, стандартов еще практически нет, и в различных системах используются совершенно разные интерфейсы, камеры и алгоритмы. Из-за этого пользователям сложнее переходить от одной системы к другой.
Нередко жестикуляционным системам не хватает дальности действия, что тоже ограничивает круг их применений, а некоторые системы не всегда отличают управляющие жесты от случайных. Но самая большая сложность состоит в том, чтобы заинтересовать разработчиков созданием приложений с жестикуляционными интерфейсами — многие слишком привыкли к традиционным интерфейсам, чтобы быстро от них отказаться.
Паттерны
С повсеместным распространением сенсорных интерфейсов появились вот такие библиотеки жестов в помощь дизайнерам, работающим над методами сенсорного взаимодействия. Не ограниченные двумя измерениями плоского экрана бесконтактные жестовые интерфейсы позволяют дизайнерам эффективно использовать третье измерение — глубину, а также движения тела.
Добавьте к этому голосовое управление — и вы получите практически неограниченные возможности: например, пользователь может одновременно контролировать один элемент системы посредством жестов, а другой — посредством голосовых команд.
WiSee
В Вашингтонском университете разработали жестикуляционный интерфейс WiSee, с помощью которого можно управлять домашней техникой: телевизорами, компьютерами, термостатами, освещением и т. п. Система отправляет в эфир поток сигналов микроволнового диапазона — движения руки или тела, совершаемые людьми в комнате, где находится передатчик, нарушают сигнал, вызывая частотные сдвиги. Исследователи выяснили, каким именно сдвигам соответствуют девять различных жестов и разработали алгоритмы, повышающие точность распознавания искажений,.
Система работает исключительно с радиосигналами — ей не требуются камеры или вспомогательное оборудование. Так как радиоволны проникают сквозь стены, пользователям не обязательно находиться в одном помещении с передатчиком. Чтобы начать работу с WiSee, нужно сначала совершить пусковую серию жестов.
Подготовка WiSee к коммерческому применению пока не ведется. Исследователи, испытав свою технологию в обстановке квартиры и офиса, выяснили, что она распознает «свои» девять жестов с точностью 94%.
Программный, аппаратный, аппаратно-программный
Взаимодействие программ между собой обеспечивает программный интерфейс. Программы направляют запросы друг другу и получают ответы. Например, чтобы постоянно показывать актуальную погоду в виджете или на компьютере, одна программа постоянно отправляет запрос другой, а та — предоставляет свежие данные.
Аппаратный предназначен для организации связи между физическими устройствами через разъемы и слоты. А когда компьютер считывает информацию с жесткого диска — это совместная работа программы и физического устройства, то есть, аппаратно-программный интерфейс.
Эвристики
- Распознавание неточных жестов и ошибочных движений (эффективность передачи информации) — даже на поверхности экрана человеческая рука не способна воспроизводить жесты с предельной точностью, что уж говорить о жестикуляции в пространстве. Не стоит ожидать высокой точности жестов: в противном случае пользователь столкнется с массой ошибок. Необходимо установить разумные пределы точности и прощать пользователю незначительные ошибки.
- «Личностные качества» системы должны соответствовать ее функционалу (эффективность обработки информации) — общаясь с неодушевленным объектом, люди машинально приписывают ему некие личностные качества. Полученные от данного объекта ответы помогают им сформировать более точный портрет этой «личности». Согласитесь, если бы производительные приложения вроде Excel или Numbers общались с нами в дружелюбной манере, пользоваться ими было бы куда как приятнее. Водители еще больше доверяли бы автомобильной навигационной системе, обладай она уверенным и строгим голосом. А, например, благодаря Siri пользователи теперь получают удовольствие от решения рутинных задач вроде ежедневного планирования — и все потому, что разработчики Apple запрограммировали в ней чувство юмора.
- Не надо заставлять пользователя многократно повторять жесты или просто подолгу жестикулировать, если только это не является целью (эффективность передачи информации) — многократное повторение жестов или продолжительная активность изматывают пользователей. Растет мышечное напряжение, снижается точность — в итоге все это не самым лучшим образом сказывается на эффективности работы. Конечно, данная эвристика неприменима, если цель состоит в том, чтобы заставить пользователей упражняться.
- Жестовые и голосовые команды должны быть уместными в контексте ситуации, в которой пользователь к ним прибегает (эффективность восприятия и передачи информации) — жестовые и голосовые команды прекрасно видны и слышны со стороны, и пользователь ни за что не станет ими пользоваться, если при этом он будет выглядеть нелепо. К примеру, если приложение предназначено для использования в офисе, то размашистые движения и выкрикивание странных команд будет довольно неуместно. С другой стороны, в контексте детской игры забавные жесты и команды могут оказаться весьма кстати.
- Приглашения к действию должны быть понятными, а само взаимодействие — логичным и последовательным (эффективность обработки информации) — согласно исследованиям Джоша Кларка (Josh Clark) и Дэна Саффера (Dan Saffer), управление с помощью жестов более эффективно, чем с помощью элементов графического или сенсорного интерфейса, но при этом приемы такого управления менее очевидны для пользователей. То же самое касается и голосового управления. Использование жестов и голосовых команд в интерфейсе выводит человеко-машинное взаимодействие на новый уровень, и здесь ясность приглашений к действию и последовательность операций становятся важными как никогда.
Веб, игровой сайт
Веб-интерфейс позволяет работать через браузер. Это взаимодействие программ в интернете. Например, можно зайти на сайт магазина и там же оплатить покупки. Браузер в этом случае будет веб-интерфейсом, благодаря которому страницы взаимодействуют.
Игровой — это то, как пользователь может взаимодействовать с игрой, какие команды может отдавать, в какой форме представлена игровая информация и как игра будет реагировать на действия.
Голосовое управление
Вследствие сложности естественных языков создание шаблонов для интерфейсов NLI является задачей более трудной, чем в случае с жестовыми интерфейсами. Тем не менее некоторые конструкции, присущие естественным языкам, можно использовать в качестве основы при создании таких шаблонов.
Начнем с того, что пользователи могут осуществлять голосовой ввод данных преимущественно двумя способами: задавая вопросы (и получая ответы от системы) и отдавая команды (что приводит к выполнению системой какой-либо операции). Далее, отдельные предложения можно разбить на фразы, каждая из которых является самостоятельной семантической единицей. Тому, что могут почерпнуть разработчики естественно-языковых интерфейсов из области лингвистики и коммуникаций, посвящен ряд публикаций, в том числе книга Speech Technology под редакцией Фэнга Чена (Fang Chen) и Кристины Йокинен (Kristiina Jokinen).
Что нового?
Исследования в области жестикуляционных интерфейсов ведутся уже больше сорока лет. Когда Microsoft в 2010 году выпустила популярную сегодня систему распознавания телодвижений Kinect для игровой консоли Xbox 360 и Windows-компьютеров, это стало важной вехой на пути выхода новых интерфейсов на массовый рынок. Только за первые два месяца после начала продаж корпорация продала 8 млн контроллеров Kinect.
Рост интереса к жестикуляционным интерфейсам обусловлен несколькими причинами. Люди носят с собой электронику практически повсюду, и им нужно, чтобы гаджеты стали проще в обращении. Средства распознавания жестов становятся более совершенными — например, появились недорогие экономичные быстродействующие процессоры, развиваются алгоритмы, 3D-камеры и средства обработки сигналов. Всего несколько лет назад встраиваемые компьютерные платформы еще не были способны, как сегодня, исполнять алгоритмы машинного зрения — важнейший элемент жестикуляционных интерфейсов. Как полагают аналитики Enderle Group, системы распознавания жестов появляются в основном благодаря тому, что поставщики видят возможность с их помощью сделать свои продукты привлекательнее в глазах покупателей.
Бесконтактные жестовые интерфейсы
Данная модель взаимодействия приобрела популярность благодаря сенсорам Kinect, созданным корпорацией Майкрософт для игровой платформы Xbox. Данные устройства затем были адаптированы для использования с компьютерами на базе ОС Windows и с устройствами Samsung Smart TV. Таким образом бесконтактные жестовые интерфейсы шагнули из компьютерных игр прямиком в повседневную жизнь.
В Kinect для Windows входит интересная функция, которая называется Near Mode. В режиме Near Mode пользователи могут использовать бесконтактные жесть для работы с ПК, сидя за ним, без необходимости вставать в полный рост. Технология бесконтактного жестового взаимодействия позволяет уменьшить количество элементов интерфейса в производительных приложениях, благодаря тому что с отображаемыми на экране объектами можно обращаться практически как с реальными физическими объектами. Также данная технология позволяет использовать компьютер в условиях, когда прикасаться к нему в силу каких-либо причин нежелательно, например на кухне или в операционной.
Заключение
Для пользователей интерфейс — основа работы с ПК или телефоном. От того, насколько проста или сложна эта система, будет зависеть удобство управления устройством. Разработчики могут менять системные структуры для сложных задач. Неопытным пользователям лучше покупать устройства с понятным интерфейсом, чтобы облегчить себе работу.
Сегодня все более популярны пользовательские интерфейсы, позволяющие управлять электронными устройствами с помощью жестикуляции и телодвижений.
- Ключевые слова / keywords:
- computer_____vision
- computer_____vision
- gesture recognition
- image processing
- Kinect
- компьютерное___зрение
- computer___vision
- обработка изображений
- Приложения
- распознавание жестов
Сегодня все более популярны пользовательские интерфейсы, позволяющие управлять электронными устройствами с помощью жестикуляции и телодвижений.
В начале 2013 года компания Leap Motion выпустила устройство, позволяющее управлять приложениями на компьютере, жестикулируя пальцами и руками. Аналитики разошлись во мнениях по поводу полезности такого контроллера, однако сам факт поступления его в продажу, как и состоявшийся тремя годами раньше выход Microsoft Kinect, стал большим шагом вперед к повсеместному применению жестикуляционных интерфейсов. Такие интерфейсы основаны на алгоритмах, распознающих телодвижения, — система определяет, с какой командой сопоставлен тот или иной жест и выполняет соответствующее действие. Например, если пользователь делает движение рукой в сторону, это может означать команду перелистывания страницы электронной книги.
Сторонники таких интерфейсов утверждают, что системы распознавания жестов, полагающиеся на технологии компьютерного зрения, обработки изображений и др., полезны прежде всего тем, что позволяют людям общаться с машиной более естественным образом, без мыши или иного устройства-посредника. Подобные интерфейсы уже давно обсуждаются, как потенциально удобные и многофункциональные — за последние годы вышел целый ряд продуктов с управлением жестами, однако массового применения технология все еще не получила. Но все же ситуация меняется — поддержка распознавания жестов имеется во множестве электронных новинок, а технология активно развивается. Однако имеются и определенные сложности — например, пока еще не хватает привлекательных для потребителя применений распознавания жестов, чтобы технология стала коммерчески жизнеспособной.
Читайте также: