Evgeniy Kotelva, SAP Che Osborne, Questionmark...Новые типы вопросов Новые виды тестов и экзаминаций Возможность организации

Evgeniy Kotelva, SAPChe Osborne, Questionmark

Контроль знаний сотрудников, аттестации, сертификации на базе

лучших мировых практик применения SAP Assessment Management

by Questionmark

Знакомство с Questionmark

Евгений Котельва, SAP

Че Осборн, Questionmark

© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 3Public

Questionmark – глобальный стратегический партнёр SAP

Основные сведения Основана в 1988

Офисы: США, Великобритания, Канада

Партнёры – в 27 странах мира

Questionmark предоставляет технологии и сервисы,

позволяющие организациям производить оценку знаний, компетенций и мнений сотрудников, подрядчиков, партнёров.

Заказчики Свыше 1000 заказчиков в мире

Корпоративные и государственные; Высшее образование; Регуляторы; Сертификационные центры


Questionmark

Разработка

Совместная

разработка

Новые типы

вопросов

Новые виды

тестов и

экзаминаций

Возможность

организации

опросов

Проведение

Прохождение тестирования

из любого места, с любого

устройства в любом

браузере

Защищенное тестирование

(идентификация

тестируемого, блокировка

возможностей списывания

или подлога результатов)

On-line & Off-line,

инфокиоски, печатные

формы

Анализ

Преднастроенные

отчеты

Кастомизация отчетов

Интеграция с BI

системами

SAP Assessment Management, cloud edition

SAP Assessment Management, on-premise edition


Соответствие регуляторным нормам• Контроль знания законов, требований

регуляторов, стандартов безопасности

• Подтверждение соответствия; сокращение рисков

Оценка, отбор и сертификация• Надёжные, достоверные тесты для

сертификации знаний и навыков

• Публичная фиксация, обоснованные кадровые решения

Проверка соответствия канала продаж• Обеспечение компетенции и знания

продуктов

• Повышение прибыли и рост удовлетворённости заказчиков

Проверка соответствия технического канала• Обеспечение компетенций и

подтверждение экспертизы технического и сервисного персонала

• Сокращение затрат, рост удовлетворённости заказчиков

Оценка и повышение качества обучения• Оценка знаний, навыков и мнений – до,

во время и после обучения

• Корректировка неверных представлений и поддержание знаний в актуальном состоянии

How Questionmark customers use assessment


SAP Education глобально использует Questionmark для

сертификаций

Ежегодно сертификацию проходят свыше 60.000 специалистов

Свыше 350,000

сертификаций

с 2007

Глобальное

интегрированное,

смешанное тестирование

Свыше 300

различных

тестов на

более чем 20

языках


Questionmark открывает новые возможности тестирования:

Дигностическиетесты,

определение реальных

компетенций и разрывов в

знаниях

Тесты перед обучением, в процессе и по

итогу

Аттестации и проверка знаний

сотрудников

Суммарная оценка

Сертификация и лицензирование

(контроль соответствия стандартам)

Internal & Regulatory

Compliance

Наблюдательное тестирование –

коуч/тренер/менеджер оценивает

работу сотрудника

наблюдая за ним во время рабочего процесса

Оценка знаний кандидатов на

замещение вакансий

Прокторинг –контроль

прохождения экзаменацииудалённым

специалистом

Тесты на любых

устройствах в любых

браузерах

Почему именно теперь?


Оценка имеет решающее значение, когда на кону жизнь, здоровье

сотрудников а так же риск нанесение их действиями ущерба компании и

окружающей среде

Life, Limb and Livelihood

on the line


Последние заголовки

СТРОИТЕЛЬНАЯКОМПАНИЯ ОШТРАФОВАНА НА$425,000, РУКОВОДИТЕЛЬ ОШТРАФОВАН НА$85,000, ПОСЛЕ ТОГО, КАК КАМЕНЩИКРАЗБИЛСЯНАСМЕРТЬ


Организации все чаще обращаются к интегрированной платформе

оценки, чтобы ответить на следующие актуальные вопросы...

Понравилось ли

им это?

Насколько они

усвоили это?

Могут ли они это

делать?

Можем ли мы

это доказать?


Как вам поможет тестирование?

Демонстрация принятых обязательств

Раннее выявление и предупреждение проблем

Понимание документа после обучения

Повышение качества знаний / актуализация знаний

Сокращение трудозатрат на обучение соответствию

Сокращение ошибок персонала

Почему Questionmark?

Che Osborne, Questionmark


Если для вас важно…

SAP Assessment

Management by

Questionmark

Большинство

конкурентных решений

Проведение тестов в режиме повышенных мер

безопасностиДА НЕТ

Решение, прошедшее глобальный аудит SAP ДА НЕТ

Поддержка SAP ДА НЕТ

Мощные отчёты в разрезе: Вопроса, Темы,

Экзаменации, Сотрудника, Группы и географического признака

ДА НЕТ

Свыше 20 типов вопросов, включающих мультимедиа,

drug&drop, hotspot и т.д.ДА НЕТ

Объединенная модель данных, разработка,

проведение, отчётностьДА НЕТ

Интеграция с экосистемой SAP, LSO, Business Objects

и т.д.ДА НЕТ

Защищённая совместная разработка ДА НЕТ

Широкие возможности управления Банком Вопросов ДА НЕТ

Наблюдательное тестирование ДА НЕТ


Questionmark обеспечивает достоверные результаты, позволяя…

Принимать обоснованные решения

Снижать риски нарушений стандартов, соответствия и требований регуляторов

Выравнивать компетенции персонала с целями организации

С высокой точностью распоряжаться инвестициями в обучение

Эффективно адаптировать новых сотрудников

Обеспечить компетенции менеджеров продаж

Обеспечить компетенции технического персонала



© 2016 SAP SE or an SAP aff iliate company. All rights reserved. Public 16

Достоверные результаты:

• Обоснованные

• Надёжные

• Соответствующие требованиям

безопасности

Как достигаются достоверные результаты:

1. Разработка, проведение теста и анализ его

результатов – всё в рамках одной системы

2. Технологии, для поддержки сложных

сценариев тестирования

Что обеспечивает

достоверность результатов

тестов?


Шаги организации достоверного тестирования

Планирование экзаменации

Разработка объектов: вопросов,

тестов

Компановкаэкзаменации

Пилотирование и обзор

ПроведениеАнализ

результатов

Безопасность


Как Questionmark помогает на каждом этапе…


Разработка объектов: вопросов,

тестов

Компановкаэкзаменации


ПроведениеАнализ

результатов

Валидация контента с

учётом анализа рабочих процессов;

требования по

безопасности

Как проходят

экзаменации? Как сотрудники справляются с

экзаменациями?

Случайный выбор,

выбор по определённым

правилам вопросов из

Банка вопросов

Вовлечение экспертов,

знающих предметную область в совместную

разработку

Проведение в режиме

соблюдения особых мер безопасности; проведение

на планшетах и

смартфонах

Включение

“пилотных” вопросов,которые не влияют на

подсчёт баллов



Организация объектов в Банке вопросов, согласно тематической иерархии

Привязка гиперссылок к навыкам и компетенциям

Анализ рабочих процессов для проектирования экзаменаций

Безопасный доступ для предотвращения кражи/манипуляций с контентом

Управление переводом для поддержки мультиязычных экзаменаций

В фазе «Планирование» вам доступны

следующие возможности:

Planning assessment


Валидация контента с учётом анализа рабочих процессов

Задайте вопрос экспертам:

• Вы выполняете задание или контролируете его

выполнение?

• Насколько сложно выполнить эту задачу?

• Насколько важно выполнить эту задачу?

• Как часто выполняется

данная задача?


Пример использования Анализа

рабочих процессов

• Тестирование, как часть процесса адаптации и вводного обучения новых сотрудников

• Использовали Анализ рабочих процессов (JTA - Job Task Analysis) для выявления ключевых

задач / целей для каждого раздела учебной программы

• Каждый тест был согласован с опросником JTA для 50% наиболее эффективных

сотрудников

• Выявлены / установлены Высокие/Низкие/Средние

• Установлено общее количество вопросов на основе результатов

• Определён порог Сложности, параметры Значимости и Частоты на основе

усреднённых показателей исходя из ответов


Управление безопасностью через роли и полномочия

Provide users role-based access to content

Предоставление доступа

пользователям к контенту

на основе их ролей


Разработка теста

В фазе «Разработки»

вам доступны следующие возможности:

Разработчики вопросов имеют прямой доступ к авторской среде

20+ типов вопросов

Возможность использовать описание вопросов, включая медиа и математические уравнения

Контроль версионности вопросов для разбора апелляций

Простое взаимодействие для рецензентов вопросов, чтобы сделать вопросы максимально релевантными

Поиск вопросов для проверки их актуальности

Authoring items


Хранение истории исправлений вопросов для апелляций

Audit trail of edits and option to compare

versions or rollback”

Легкий контроль

исправлений,

используемый в

совместной разработке

Аудиторский след

исправлений, возможности

сравнения и «отката»

к прежней версии


Nebraska Public Power District используют Questionmark как

надёжное средство разработки и обеспечения защищённого

тестирования

Основные сведения:

• Крупная энергетическая компания в Небраске (США)

• 2200 сотрудников; годовая выручка $831M


• Простой браузерныйредактор вопросов с широкими возможностями и 20+ типами вопросов

• Наличие режимов прокторинга или

защищённого тестирования, блокирующего возможность переключение между

задачами

• Тесты на бумажных носителях (print/scan)

• Прямая интеграция с SAP Enterprise Learning “Мы предоставили нашим учащимся

‘сервис одного окна’ по обучению, на что,

собственно и рассчитывали”- Tim Pospisil,

Technology & Telecoms Analyst

Результаты:

• Улучшение результатов обучения

• Сокращение затрат, сокращение тестов на бумажных носителях

• Получение квалификационного статуса в

режиме реального времени, избавляя учащихся от лишнего стресса

• Доступный интерфейс - SAP Web Portal


Компоновка экзаменаций (тестов)

Случайным образом выбирать вопросы из Банка Вопросов

Случайным образом назначать вопросы и порядок их отображения

Устанавливать проходной балл, включая тематические пререквизиты

Устанавливать лимиты времени для прохождения теста (и переопределение, если необходимо)

Предоставлять детальный скоринг по тематикам тестов и обратную связь

В фазе «Компоновки тестов» вам будут

доступны возможности:

Assembling assessment


Скоринг по темам и обратная связь

“Темы” вопросов

зафиксированные

в тесте

Балл по

темам

Корректирующая

обратная связь

указывает участнику на

необходимые ресурсы

для обучения


Случайный подбор или подбор вопросов из Банка Вопросов на

основе установленных правил

Изменяет внешний вид

теста всякий раз при

проведении, чтобы

ограничить

возможности

списывания или иных

обманных

манипуляций



Легко проводить экзаменации с целью их обкатки

Фиксировать комментарии участников пилотирования для повышения валидности вопросов

Формировать полезные отчёты по результатам пилотного тестирования

Использовать экспериментальные вопросы не влияющие на подсчёт баллов

В фазе «Пилотирование и обзор» вам будут

доступны возможности:

Pilot and

review


Легко проводить экзаменации с целью обкатки

Фиксирует

комментарии

участников обкатки для

повышения валидности

вопросов

Beta-вопросы могут быть

включены в продуктивную

экзаменацию с фиксацией их

статуса как

«Экспериментальный». Таким

образом они собирают

статистику, но не влияют на

результат экзаменации.


Проведение

Смешанное тестирование, проведение на мобильных устройствах и в браузерах

Проведение наблюдательного тестирования

Возможность навигации между вопросами при прохождении

Фиксация временных рамок прохождения

Возможность запускать и контролировать тестирование из внешних систем

Масштабируемое безопасное прохождение тестов с поддержкой онлайн-прокторинга

В фазе «Проведение» вам будут доступны

возможности:

Delivery


Поддержка участников с ограниченными физическими

возможностями

Прохождение тестов также оптимизировано для

альтернативных устройств-манипуляторов и

средств считывания с экрана


Адаптивный дизайн тестов – идеален для наблюдательного

тестирования


Возможности проведения тестирования в условиях

повышенных мер безопасности

Windows

Mac iPad

Printing

Screen capture

Task switching

Control/system keys

Right-click / context menu

View source

Accidentally exiting exam


BNSF Railway при помощи Questionmark оценивает

35,000+ сотрудников по стандартам обеспечения

безопасности на жд транспорте

Основные данные

Одна из крупнейших

североамериканских жд

компаний

Свыше 40,000 сотрудников

в 28 штатах

Ресертификация

инженеров и кондукторов

каждые 3 года


Столкнулись с необходимостью

проводить аттестацию

одновременно на нескольких площадках

“Сохранять на ходу”

Необходимость использовать

вопросы с поддержкой мультимедиа,

drug&drop, hot spot, сопоставление, ранжирование и т.д.

Широкие возможности кастомизацииусловий тестирования и разработки

тестов

Доказанная возможность интеграции с SAP


Ведущий ритейлер по электронике оценивает знания о товарах

300,000 менеджеров по продажам в торговой сети при помощи

Questionmark

МасштабируемостьВозможность аттестовать

40,000 участников в час

Рост удовлетворённости сотрудников и

покупателейСокращение периода

разработки и тестов и

контроля знаний по продуктам, ускорение

актуализацией знаний

Интуитивно понятная разработка вопросов и

тестов

Быстрая и легкая

разработка отвечает

требованиям частого обновления продуктовых

релизов в короткие сроки

Почему

Questionmark?Результаты…

Возросшая прибыль

37Public© 2016 SAP SE or an SAP aff iliate company. All rights reserved.


Анализ результатов

Точное, достоверное, защищённое хранилище результатов

Только сотрудники со спец. доступом могут видеть защищённые результаты

«Анализ вопроса» отсеивает некачественные вопросы

«Анализ теста» для подсчёта достоверности

Широкий спектр точных отчётов для принятия профессиональных решений

Результаты могут быть анонимными, что помогает сделать опросы сотрудников честными

Потенциал “Big Data”, чтобы принимать объективные бизнес-решения

Фаза «Анализа результатов»

предоставляет следующие возможности:

Analyse results


Отчёты: Анализ Вопроса и Теста содержат полезные советы и

рекомендации

Сложность/

P-Value

Коррекция -Исключение


Финансовая организация использует Questionmark

демонстрации соответствия и подтверждения

компетентности сотрудников

“Аналитика и отчётность Questionmark помогает команде обучения

доносить значимость результатов опроса сотрудников - бизнесу.”

Основные сведения:

Начали использовать

Questionmark в 1999

Одновременно свыше 4000 сотрудников по всей

Африке могут проходить тестирование

В среднем в месяц проходит порядка 14,000экзаменаций


Детализированная и

разнообразная отчётность для документирования соответствия

Разнообразие комплекса типов

вопросов

Возможности смешанного

проведения

Доказанная прямая интеграция с SAP HR и Enterprise learning

solution (LSO-LMS)


Разнообразные авиакомпании управляют контролем

соответствия и оцениваю компетенции с помощью

Questionmark

Questionmark используется для

подтверждения, что члены экипажа

поддерживают на должном уровне знания

о технике безопасности полётов, знания по

результатам обучения, а также

подтверждают навык обслуживания

клиентов. Тесты также используются при

отборе кандидатов.

Сотрудники стоек регистрации

проходят экзаменации для

подтверждения понимания

продуктов, которые они продают.

Результаты тестирования

используются для определения

последующих направлений

обучения сотрудников.


Так почему же Questionmark?

Совместная одновременная разработка

•Защищенное

•С использованием браузера

•Доступное глобально

Смешанное проведение

•Адаптативныйдизайн, поддержка мобильных устройств

•Защищённое тестирование в процессе аттестаций и сертификаций

Отчётность и аналитика

•Свыше 30 отчётов и видов анализа

•Результаты, API

Мультиязычность

•Управление переводом

•Экраны, управление – на 36 языках

Интеграция

•Поддерживает все основные индустриальные стандарты

•APIs

•Коннекторы

Полный сервисный партнёр, которому доверяют во всём мире

© 2016 SAP SE or an SAP affi l iate company. All rights reserved.

Будем рады ответить на ваши вопросы

Евгений Котельва

Менеджер по продажам программных решений для обучения

моб.: +7 (965) 272 [email protected]

Спасибо за внимание!

Documents

Evgeniy Kotelva, SAP Che Osborne, Questionmark...Новые типы вопросов Новые виды тестов и экзаминаций Возможность организации