Использование контекстной информации

при проектировании пользовательских

интерфейсов

Михаил Матвеев,Директор по технологической политике,

Microsoft Россия

Данила Корнев,Менеджер программ,

Microsoft Россия

Александр Попов,Лаборатория технологий Microsoft,Московский Государственный Университет

Содержание

1. Примеры контекстной информации

2. Определение контекста

3. Сенсоры и их применение

4. Применение контекстной информации

5. Windows Sensor and Location Platform

6. Возможности рынка

7. Заключение

Apple iPhone

Естественный интерфейс взаимодействия:

• Жесты

• Увеличение/уменьшение размера контента

• Применение физической инерции к виртуальным объектам

Контекстно-зависимыеинтерфейсы:

• Ориентация пользовательского интерфейса (меняется при изменении положениия телефона относительно земли

• Изменение яркости изображения дисплея в зависимости от яркости окружающей среды

• Экран использует сенсор для определения близости пользователя к телефону; при прижимании телефона к уху экран выключается

• Автоматическое переключение между задачи (звонок – аудио прекращает проигрываться, звонок завершен – аудио опять проигрывается)

Контекстные меню в Office 2007

• Естественный интерфейс взаимодействия:

• «Ленты» инструментов для редактированияспециальных объектов (графики, изображения, таблицы и т.д.) становятся видны и доступны только при выделении соответствующих специальных объектов

GPS-устройства

• Контекстно-зависимыеинтерфейсы:

• Определение местоположения пользователя

• Контекстная информация о точках интереса (POI) недалеко от пользователя

• Поиск пути – как добраться из точки А в точку B

• Показ трафика в реальном времени

• Показ местоположения друзей в реальном времени

• Ночной/дневной режим в интерфейсе

HTC Touch Pro

• Звуковые профили:

• Будильник можно поставить на работу всегда, в не зависимости от того, выключили ли вы общий звук или нет

• Звуковые профили –обычный/вибро/без звука

• Специальный профиль «Автоматический», который переключает поведение телефона в режим «Вибро» во время встречи в календаре и переключается в поведение телефона «Обычный» после завершения встречи

Существующие примеры

• Датчики освещенности в машинах,

• GPS-устройства и приложения,

• Online Presence в IM (Skype/Messenger/ICQ)

• Автоопределение положения UI относительно земли (iPhone)

• Контекстные меню в Microsoft Office 2007

• Звуковые профили в HTC Touch Pro

• …

Контекст – это...

• Ситуация, в которой находится продукт + изменение этой ситуации

• Рассмотрим определения контекста, данные различными компаниями и организациями, на примере Intel и ISO

Определение контекста (Intel)

• Контекстно-зависимая система может определять следующие контексты:

• Контекст среды– Физическая среда– Устройства– Сервисы

• Контекст пользователя– Identity– Физическое состояние– Психическое состояние– Активности– Контакты– Предпочтения

• Контекст платформы– Местоположение– Передвижение– Сеть– Состояние батареи– Доступные возможности

платформы– Текущие приложения– Уровень использования

памяти

© Intel 2008, “Context Aware User Interface”, Intel Developer Forum

Определение контекста по ISO 9421-11

Пользователь

• Цели

• Задачи

Социальный контекст

Физический контекст

Инфраструктура

• Оборудование

• Программы

• Материалы

Контекст – это пользователи, их цели и задачи, инфраструктура(оборудование, программное обеспечение и материалы), а также физическая и социальная среда, в которой используется продукт…

Что такое контекстно-зависимые системы?

Контекстно-зависимые системы – этосистемы, меняющие свое поведение, когда меняется ситуация

Сенсоры

• Сенсор (датчик) – устройство, которое измеряет какую-либо физическуювеличину и преобразует ее в сигнал, доступный наблюдателю

• Сенсоры помогают определить элементы контекста, которые компьютерному устройству сложно определить традиционными методами.

Контекстно-зависимые системы и сенсоры уже есть на рынке

Исследовательские организации

ИндустрияПроизводители

сенсоров

+

Университеты

Институты

+

Партнеры

Разработчики ПО

Идеи для размышлений

1. Уровень громкости в медиа-плеере автоматически увеличивается, когда пользователь находится в шумном помещении.

2. Устройство изменяет уровни яркости и контрастности экрана в зависимости от уровня освещенности.

3. Текст и изображения на экране мобильного устройства увеличиваются, если пользователь держит его в руках.

4. Когда пользователь приходит с работы домой, его портативный компьютер автоматически меняет изображение на рабочем столе, скрывает корпоративные приложения и отображает ярлыки на развлекательные программы и игры.

5. После того, как устройство перевернули, интерфейс изменяет ориентацию экрана.

6. Компьютер может следить за медицинскими показателями (например, за давлением, частотой сердечных сокращений и уровнем сахара в крови) меня или членов моей семьи.

Текущие ограничения сенсоров

• Устройства определения местоположения доступны в системе через виртуальные COM-порты– Только одно приложение может иметь доступ к данным о

местоположении

– Не безопасно

– Закрытые форматы данных (NMEA и т.д.)

• GPS не работает внутри зданий– Сложно поддерживать работу нескольких технологий

одновременно

• Сенсоры интегрированы как вертикальные решения– Приложения должны знать специфику сенсоров

(собственные драйверы, собственные API)

– Низкая распространенность сенсоров и применение

Windows Sensor и Location Platform

• Новая платформа в Windows 7• Единая модель драйверов для всех сенсоров

– Физических сенсоров (GPS, ALS и т.д.)– Логических сенсоров (Wi-Fi triangulation resolver)

• Предоставляет стандартные API для доступа к сенсорам:– Sensor API: C++/COM

• Полный доступ ко всей информации сенсора

– Location API: C++/COM, IDispatch (scriptable)• Абстрактизированный API для доступа к данным о местоположении

• Пользователь сам управляет разрешениями об использовании информации о нем (местоположение и т.д.)

Sensor and Location Platform

Logical Location Sensor(Triangulation)

User

System

Преимущества Location Platform

• Один вызов API, чтобы выяснить, «Где я»– Независимо от провайдера данных о местоположении

– Синхронные и асинхронные модели

– Совместимость для скриптов/автоматизации

• Автоматическое переключение между провайдерами– Наиболее точные провайдеры данных – наиболее

приоритетны

• Одновременный доступ к данным о местоположении из нескольких приложений

• DefaultLocation– Способ пользователю самому задать свое местоположение,

когда автоматически определить местоположения нельзя

Типы данных о местоположенни

• Географические данные (ILatLongReport)– Широта, долгота, высота, ассоциированные с точкой на

карте– Ошибка на высоту– Наиболее общий формат данных– Лучший формат для передачи данных о

местоположении– В дальнейшем можно преобразовать в почтовый адрес

• Почтовый адрес (ICivicAddressReport)– Почт.индекс, страна - обязательно– Наиболее понятен пользователю– Самый лучший формат для приблизительных

предположений, расчетов

Демонстрация

Управление безопасностью и ограничение доступа к персональной информации

• Данные о местоположении пользователя - PII– Пользователь обязан подтвердить намерение давать информацию

приложениям о его местоположении

• Все сенсоры выключены по умолчанию• Администратор-

ские права нужны

для включения

сенсоров

• Доступ к сенсорам

ограничен на

уровне пользователей

• «Разрешить

использование

сенсора» в ваших

приложениях

Материалы

Сайты и ресурсы:

• Сайт Sensor and Location Platform (EN)

• http://www.microsoft.com/whdc/sensors/

• Выступление Dan Polivy (Lead PM, Sensor & Location Platform) на Microsoft PDC 2008 (EN)

• http://channel9.msdn.com/pdc2008/PC25/

• http://www.aeroxp.org/2008/11/windows-7-sensors-framework-interview-from-pdc/

• Форум MSDN для разработчиков (EN)

• MSDN Forum

• Reverse Code (LatLong ↔ CivicAddress)with Virtual Earth

• http://msdn.microsoft.com/en-us/library/cc966828.aspx

Блоги:

• Gavin Gear (Sensors PM, EN):

• http://blogs.msdn.com/gavingear/

• Jim Travis (SDK Lead, EN):

• http://blogs.msdn.com/jimtravis/

• Daniel Kornev (EN):

• http://blogs.msdn.com/semantics/

• Jensen Harris (Office, EN):

• http://blogs.msdn.com/jensenh/archive/tags/Contextual+UI/default.aspx

Иерархия потребностей по Маслоу

Самоактуализация(Саморазвитие)

Самоуважение(статус, признание)

Социальные потребности(принадлежность, любовь)

Потребность в безопасности(безопасность, защита)

Физические потребности(голод, жажда)

Место Microsoft

Приложения

Сенсорная платформа

Операционная система

Аппаратное обеспечение

Сенсоры

Бизнес модель от инновации до платформы

Определениеиннновационной идеи и создание

прототипа

Стандитизация и интеграция в

продукт

Использование эффекта

масштаба

Преобразование в платформу

Оценка эффекта от инвестиций

Удовлетворение потребностей потребителей

Удовлетворение запросов

инвесторов

Удовлетворение потребностей

экосистемы

Это тренд

• Рынок сенсоров испытывает активный рост• Увеличивается интерес индустрии к использованию

контекстной информации и сенсоров

Резюме

Пользо-ватель

Социаль-ный

контекст

Физический контекст

Инфра-структура

Контекст

Сенсоры

Контекстно-зависимые системы

Платформа

Призыв к действию

• Используйте Windows Sensor и Location Platform, чтобы создавать LBS-сервисы, приложения и гаджеты

• Реализуйте UI, зависящий от яркости помещения/пространства, в котором находится пользователь в ваших приложениях

• Создавайте приложения, знающие об изменениях в окружающей среде, используя дополнительные сенсоры и Sensor и Location Platform

© 2008 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.

The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation.MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.