Данный браузер не поддерживает функционал прокторинга
Версии браузеров для ПК:
-
72+ (Windows 7+, macOS 10.12+, Linux) 19.3+ (Windows 7+, macOS 10.12+, Linux) 59+ (Windows 7+, macOS 10.12+, Linux) 66+ (Windows 7+, macOS 10.12+, Linux) 79+ (Windows 7+)
Версии браузеров для мобильных:
2 Проверка компьютера на совместимость
3 Доступ к камере и микрофону
3.1 В браузере Chrome
При первом запросе разрешения доступа к камере и микрофону нужно ответить "Разрешить".
Если к компьютеру подключено несколько камер:
1) Кликнуть на значок камеры в правой части строки адреса и зайти в настройки по кнопке "Настроить" (Windows и Linux) или кнопке "Управление настройками мультимедийных устройств" (MacOS)
2) В настройках выбрать пункт "Камера"
3) В выпадающем списке выбрать другую камеру
После изменения настроек нужно обновить страницу тестирования.
Если подключено несколько микрофонов, то нужно выполнить аналогичные шаги для пункта "Микрофон".
Если доступ был заблокирован:
1) Кликнуть на значок камеры в правой части строки адреса и зайти в настройки по кнопке "Настроить" (Windows и Linux) или кнопке "Управление настройками мультимедийных устройств" (MacOS)
2) Удалить из списка заблокированных сайтов https://*.proctoring.online:443
3) Обновить страницу и на запрос доступа ответить "Разрешить"
Другой способ разрешить доступ к камере и микрофону, это нажать на значок замка в строке адреса и напротив пунктов "Камера" и "Микрофон" выбрать "Разрешить".
3.2 В браузере Firefox
При первом запросе разрешения доступа к камере и микрофону нужно ответить "Разрешить" ("Allow"). Чтобы не было повторных запросов, можно установить галочку "Запомнить решение" ("Remember this decision"). Если доступ был запрещен, необходимо перезагрузить страницу и дать разрешение снова.
4 Доступ к экрану
4.1 В браузере Chrome
Разрешить доступ к экрану на компьютере в браузере Chrome можно тремя способами:
- В версии Chrome 72+ доступ к экрану запрашивается автоматически, никаких дополнительных действий не требуется;
- В более старых версиях Chrome требуется установить расширение браузера Supervisor;
- Вместо расширения можно разрешить доступ к экрану специальным флагом, который нужно указать как аргумент при запуске файла "chrome.exe": --enable-usermedia-screen-capturing
Нужно предоставить доступ ко всему экрану
и после этого доступ нельзя закрывать
4.2 В браузере Firefox
Разрешить доступ к экрану на компьютере в браузере Firefox можно двумя способами:
- В версии Firefox 66+ доступ к экрану запрашивается автоматически, никаких дополнительных действий не требуется;
- В более старых версиях Firefox требуется установить расширение браузера Supervisor;
Нужно предоставить доступ ко всему экрану. Для этого во всплывающем окне в поле выбора окна или экрана нужно выбрать "Весь экран" ("Entire screen"):
А затем нажать "Разрешить" ("Allow") не выбирая галку "Запомнить решение" ("Remember this decision"):
5 Проверка на совместимость с технологией WebRTC
Для корректной работы онлайн видеонаблюдения требуется, чтобы в сети пользователей были разрешены исходящие подключения на порты:
- 3478/tcp
- 3478/udp
- 49152-65535/udp
Выполнить проверку WebRTC можно на странице WebRTC Troubleshooter . Для запуска проверки нужно просто нажать кнопку "START". Если проблем не обнаружено, то все пункты должны быть зеленые или желтые.
6 Нет доступа к веб-камере или черный квадрат вместо видео
Если отображается картинка с перечеркнутой камерой, черный прямоугольник или индикатор загрузки, то это означает, что браузер не может получать доступ к камере или камера работает неправильно. Причиной могут быть проблемы с веб-камерой, драйвером камеры или доступом к камере из браузера, если в операционной системе камера используется другим приложением (например, в Skype или в другом браузере) или доступ к камере блокируется антивирусом (ESET - статическая картинка со значком перечеркнутом камеры, Kaspersky - черный экран). Нужно закрыть все приложения, которые могут работать с камерой, отключить антивирус (или защиту камеры в нем) и обновить текущую вкладку в браузере. Можно попробовать перезагрузить компьютер.
Пример блокировки антивирусом ESET:
В Яндекс.Браузере для корректной работы прокторинга нужно отключать режим "Турбо", иначе он блокирует видео с камеры:
Если ничего не помогло, можно попробовать сбросить настройки Chrome, открыв страницу "chrome://settings/resetProfileSettings" и подтвердив действие.
7 Нет доступа к экрану на macOS "Catalina"
Начиная с macOS "Catalina" 10.15 для доступа к экрану браузера нужно выдать дополнительное разрешение в настройках системы. Для этого перейдите в системные настройки меню "Системные настройки".
Затем выберите "Защита и безопасность" → "Конфиденциальность". В предложенном списке нужно отметить браузер, которому нужно разрешить доступ к записи экрана.
После этого потребуется перезапустить браузер.
8 Не открывается страница теста с прокторингом
9 Не запускается прокторинг на iOS Safari
Если разрешено прохождение тестов с прокторингом на мобильных устройствах, но в iOS 12+ Safari прокторинг не запускается (интеграция SDK), то нужно проверить настройки Safari. Для корректной работы прокторинга необходимо отключить опцию "Настройки" → "Safari" → "Конфиденциальность и безопасность" → "Без перекрестн. отслеж."
10 Появляется ошибка MediaRecorder на iOS Safari
Для корректной работы системы в iOS Safari должна быть включена опция MediaRecorder в разделе "Настройки" → "Safari" → "Дополнения" → "Experimental Features" → "MediaRecorder".
11 Не работает прокрутка (скролл) на iOS Safari
В iOS Safari может не работать скролл внутри элементов IFRAME, когда в Safari включена опция "Async Frame Scrolling". Необходимо отключить эту опцию "Настройки" → "Safari" → "Дополнения" → "Experimental Features" → "Async Frame Scrolling".
12 Отключить уведомления и звонки
Рекомендуется отключать уведомления и входящие звонки при прохождении прокторинга на мобильных устройствах или при подключении мобильной камеры. Для этого нужно выполнить описанные ниже шаги.
12.1 В iOS Safari
Зайти в "Настройки" → "Не беспокоить" → включить "не беспокоить" сверху, Тишина — всегда, Телефон — разрешить звонки от — ни от кого, Убрать флаг в "повторяющиеся звонки".
12.2 В Android Chrome
Зайти в "Настройки" → "Звук" → "Не беспокоить" → "Выключить сейчас".
Пандемия показала, что система отечественного образования срочно нуждается в модернизации, а также готовности перейти на онлайн-формат. При этом одни вузы более готовы к ней, другие – менее.
О новостях из жизни разных вузах вы можете читать на нашем телеграм-канале, который постоянно пополняется новостями. А в группе время от времени раздают бонусы и скидки студентам.
Одним из новейших решений стала система прокторинга. О том, что это такое, как оно работает и когда применяется – расскажем далее.
Что такое прокторинг и почему с ним лучше
Личный контакт с преподавателем (особенно на экзамене) многих пугает, как и ожидание перед дверью, тишина и зоркое внимание экзаменатора за каждым движением. Стоило преподавателю просто заподозрить обман. Он мог выставить студента для пересдачи. Это вносило оттенок субъективности.
С онлайн-прокторингом все стало объективнее и проще.
Прокторинг – система контроля на онлайн-экзамене/тестировании. Контроль осуществляет проктор – администратор, который наблюдает за процессом через веб-камеру.
Онлайн-прокторинг позволяет подтвердить личность учащегося, исключить использование шпаргалок и помочь преподавателю объективно оценить знания.
Система появилась в Америке еще в 2008 году
Сегодня технологии прокторинга сильно развиты. Есть 3 вида отслеживания онлайн-тестирования:
- Проктор-человек: администратор следит за процессом по камере, фиксируя нарушения.
- Автопрокторинг: программа автоматически распознает личность учащегося, мониторит его поведение, следит за направлением взгляда, анализирует появление посторонних предметов и звуков в помещении, ищет нарушения на видео и делает на основании полученных данных отчеты.
- Комбинированный способ: программа и человек. Могут быть вариации. Например, весь процесс может контролировать программное обеспечение, подавая проктору сигналы о нарушениях. Есть другой вариант, когда администратор в онлайн-режиме сам отслеживает деятельность одновременно нескольких учащихся в программе. Второй способ считается более надежным.
Вуз может использовать синхронный прокторинг с помощью программы «Экзамус» (или другой, синхронный с участием проктора) и асинхронный прокторинг (система ведет запись всего процесса с фиксацией нарушений без прерывания экзамена, а запись потом проверяют специальные люди).
Как проходит экзамен во время прокторинга
Экзамен в системе прокторинга можно пройти в любом месте, где есть надежный интернет и веб-камера.
Учащемуся нужно заранее установить на свой компьютер специализированное ПО, которая будет записывать экран.
Процедура выглядит следующим образом:
- Включить компьютер примерно за 20 минут до начала и зарегистрироваться в системе.
- Протестировать оборудование на соответствие техническим требованиям, пропускает ли устройство экзамен (не закрыты ли порты, не запрещен ли доступ).
- Подключиться к видеотрансляции, дать разрешение системе вести запись с экрана компьютера.
- Верифицировать свою личность с предъявлением документов на камеру (водительские права или паспорт).
- Показать помещение, рабочий стол (если попросит проктор) и начать проходить экзамен.
Что запрещено делать во время прокторинга
Есть четкий порядок действий, которые можно совершать во время экзамена в системе прокторинга. Например, можно пользоваться рукописным конспектом, звонить проктору, если возникли технические проблемы (пропал интернет, отключили свет и т.д.).
А вот чего делать нельзя:
- перемещаться по другим вкладкам в браузере;
- быть в наушниках;
- использовать подсказки или помощь третьих лиц во время экзамена;
- уходить без предупреждения или делать звонки по телефону.
Если проктор обнаружит хотя бы одно нарушение, он зафиксирует все и передаст замечания преподавателю. Если студент совершает сразу несколько грубых нарушений или не реагирует на замечания проктора, экзамен можно прервать или даже аннулировать.
Где можно использовать прокторинг
Эта система, ставшая популярной в сфере образования из-за пандемии, может быть полезной и в следующих сферах:
- Подбор персонала. Руководители и менеджеры по персоналу могут проводить собеседования и проверку профессиональных навыков кандидатов со всех уголков страны (и даже за ее пределами) без потери времени и денег.
- Онлайн-обучение. Компании выгодно отправлять сотрудников на обучение. Но обучение в офлайне приводит к отрыву персонала от работы и большим финансовым вложениям. Обучение сотрудников онлайн с последующей сдачей экзаменов в системе прокторинга – это проверка профпригодности и повышение квалификации персонала без отрыва от производства. А еще работодатель всегда может быть уверен, что его вложения в сотрудников оправданы, так как на экзамене за участниками будут следить.
- Тестирование/аттестация сотрудников. Систему прокторинга эффективно используют для определения у персонала hard skills. Это нужно, когда сложно принять решение о надбавках.
Советы по подготовке к экзамену в системе прокторинга
Если вы раньше никогда не проходили экзамен с прокторингом, вот несколько советов, которые помогут пройти испытание без лишней нервотрепки и проблем:
- Выберите для экзамена отдельное тихое помещение, чтобы вас никто не отвлекал. Если собираетесь сдавать экзамен дома, попросите домашних не беспокоить вас в этот промежуток времени. Ограничьте доступ домашних животных, чтобы они не отвлекали вас.
- Если проходите экзамен на работе/в офисе, лучше делать это в нерабочее время, чтобы рядом не было коллег. Посторонние шумы (разговоры, хождение людей и т.д.) – это грубое нарушение.
- Предварительно пройдите тест оборудования, чтобы не терять время на устранение технических неполадок непосредственно во время экзамена. Протестируйте камеру и микрофон, пройдите верификацию личности. Настройте освещение – так проктору будет легче идентифицировать ваше лицо и паспортные данные.
- Если во время экзамена захотите в туалет, сообщите об этом проктору в чат. Учащемуся на это отводится 2-3 минуты.
- При технических неполадках позвоните проктору. Форс-мажор в виде отключения интернета, света или отключения компьютера – достаточная причина, чтобы продлить экзамен или хотя бы не зачесть ее как нарушение.
Как обойти прокторинг на экзамене
Лучше не искать способы, как обмануть прокторинг. Если у проктора возникнут подозрения, он может досрочно завершить экзамен.
Но некоторых это не пугает. Студенты умудряются подключаться по микронаушнику задолго до начала экзамена. Таким образом можно надиктовать своему помощнику на том конце провода вопрос и прослушать ответ.
Особенно продвинутые качают программы демонстрации экрана. И к моменту начала экзамена помощник студента уже видит по экрану все то же, что видит сам студент. И по тому же микронаушнику получает правильный ответ.
Разработчики не рассказывают о том, какие технологии используют в системе онлайн-прокторинга. Это не только коммерческая тайна, но и способ не дать студентам разобраться в них, чтобы потом искать методы обхода.
С первого взгляда может показаться, что система прокторинга в электронном обучении слишком строга. На самом деле сдать в ней экзамен гораздо проще, чем у преподавателя. Здесь напрочь отсутствует субъективное отношение, человеческий фактор в виде плохого настроения/самочувствия преподавателя. Можно надеяться только на свои знания.
Впрочем, в любом случае у вас всегда будет надежная поддержка в виде сервиса студенческой помощи.
Наталья – контент-маркетолог и блогер, но все это не мешает ей оставаться адекватным человеком. Верит во все цвета радуги и не верит в теорию всемирного заговора. Увлекается «нейрохиромантией» и тайно мечтает воссоздать дома Александрийскую библиотеку.
Stepik — на данный момент единственная русскоязычная образовательная онлайн-платформа, на который любой желающий может создать экзамен с прокторингом (онлайн-сопровождением и контролем учащегося). Притом такой экзамен может иметь заданную продолжительность, ограниченное время на прохождение, точную дату начала.
В данной статье мы расскажем про то, зачем нужен прокторинг, и в подробностях опишем интеграцию системы онлайн-прокторинга ProctorEdu с платформой Stepik.
Если вы знаете, что такое онлайн-прокторинг и какие он дает преимущества для реализации процесса проведения онлайн-экзаменов, то пропускайте следующую описательную часть и сразу переходите к вопросам реализации в главе Что такое экзамен на Stepik?
Вступление
Для перевода обучающих материалов и тестовых заданий в онлайн-формат подходят практически любые области знания — от IT до HR. Например, онлайн можно можно проводить обучение новых сотрудников в компании, или осуществлять автоматическую проверку кода, или обучать работе с базами данных — и всё это непосредственно на образовательной платформе без необходимости для преподавателей или учащихся разворачивать инфраструктуру на локальных компьютерах. При этом решается проблема проверки полученных знаний, т.к. можно провести финальный экзамен по курсу в том же онлайн-формате, в котором учащийся проходил онлайн-курс. Не надо заставлять человека, желающего получить сертификат, ехать в рабочее время в Центр тестирования, нервничать из-за новой незнакомой обстановки, когда можно предоставить возможность пройти онлайн-экзамен в том же знакомом интерфейсе в удобное время, при этом сидя в комфортном кресле.
Рассмотрим IT-индустрию: например, центр сертификации Microsoft позволяет проходить сертификационные экзамены удаленно, компания Hortonworks организует получение сертификатов по администрированию собственной платформы, предоставляя доступ к удаленной виртуальной машине и список заданий, которые нужно сделать.
И, всё-таки, несмотря на неудобство для экзаменуемых, стоимость сертификатов в IT-индустрии достаточно высока, и оборудование физических помещений под цели проведения экзаменов, для которых необходимо проверять личность сдающего и осуществлять строгий контроль за процессом сдачи, может быть рентабельно. Но если посмотреть на ситуацию, когда быстрорастущей компании, которая работает в нескольких регионах, нужно массово обучать и проверять знания сотрудников, а затем на основе этой информации принимать финансовые и HR-решения, процесс организации физического присутствия сотрудников на экзаменах может стать очень дорогим и организационно сложным для масштабирования.
Как же прокторинг всех спасёт?
Давайте представим, что появился новый конкурент Uber компания Taxibus, которая называет своим ключевым преимуществом вежливость и высокий профессионализм своих водителей. Для этого водитель, сотрудничающий с компанией Taxibus, должен ежеквартально сдавать теорию по ПДД и экзамен по правилам эффективного общения. В случае успешной сдачи экзаменов водитель получает льготный тариф, который позволяет ему отдавать транспортной компании не 7, а 5% комиссии от стоимости каждой поездки. К работе с компанией Taxibus подключилось уже около 7 тысяч водителей в 15 городах страны, и чтобы не тратить деньги на аренду помещений и оплату зарплаты сотрудникам-прокторам, осуществляющим контроль процесса сдачи экзамена, компания разработала онлайн-экзамены, доступные водителям в любое время с их личных компьютеров или мобильных устройств. Однако, некоторые водители не хотят готовиться к экзаменам, но их привлекает возможность получить дополнительный бонус от компании. Поэтому они просят своих друзей, уже успешно сдавших экзамен, пройти экзамен вместо них.
Чтобы однозначно подтвердить личность сдающего и получить уверенность, что экзамен был сдан честно, без использования посторонней помощи, организаторы обучения могут подключить к экзаменам в своей обучающей платформе систему онлайн-прокторинга. Основная задача таких систем — через доступ к веб-камере, микрофону и рабочему столу пользователя подтверждать соблюдение регламента экзамена в автоматическом или полуавтоматическом режимах (о чем мы еще скажем ниже), как делал бы это реальный проктор при физическом присутствии сдающего на экзамене. Подробнее о том, как работают такие системы можно прочитать здесь.
В случае сдачи онлайн-экзаменов по IT-дисциплинам может использоваться такая же система. Системы прокторинга довольно сложны сами по себе, т.к. они требуют работы с несколькими видео-потоками, организации систем хранения видео и аудио информации, технологий распознавания лиц и речи, разработку интерфейсов проктора для управления процессом сдачи экзамена и экзаменуемого. Поэтому Stepik не стал разрабатывать свою технологию онлайн-прокторинга, а использует уже имеющиеся решения. В этом посте мы хотим рассказать некоторые технические подробности, о том, как мы интегрировали систему онлайн-прокторинга ProctorEdu для работы с нашей платформой, и как наши преподаватели курсов могут настроить прокторинг в экзаменах в своих курсах на Stepik для более надежной верификации экзаменационных сессий.
Что такое экзамен на Stepik ?
В Stepik уроки объединяются в модули или учебные недели. Любой модуль можно превратить в экзамен, выбрав в настройках тип модуля «Экзамен» и задав продолжительность экзамена. Учащиеся смогут приступить к прохождению экзамена в промежуток времени, который задает преподаватель курса, нажав кнопку «Начать экзамен». Пока длится экзамен, учащийся видит таймер с обратным отсчетом. После окончания экзамена учащийся больше не сможет набирать баллы в экзамене.
Когда пользователь приступает к экзамену, для него в базе создается запись exam-session, в которую записывается дата начала экзамена пользователем. Зная дату начала и продолжительность экзамена exam_duration_minutes, мы в интерфейсе отображаем оставшееся время пользователю. Пользователь получит только те баллы за правильные решения, которые он успел получить до окончания экзамена.
Как технически устроена интеграция с провайдером прокторинга?
Реализация возможности проходить экзамены с онлайн-прокторингом наложила дополнительные ограничения на возможность создания записи exam-session — пользователь должен иметь возможность записаться на доступный сеанс прокторинга и приступать к экзамену только, когда получил на это разрешение проктора. При этом проктор должен иметь возможность досрочно закрыть доступ к экзамену в случае нарушений, а также оценить наличие и отсутствие нарушений во время экзамена, которые могут повлиять на итоговую оценку. Для этого в Stepik мы добавили еще одну модель proctor-session, которая связана с экзаменационным модулем и позволяет создать exam-session только при наличии запущенной proctor-session (с установленной start_date).
- Start — запуск сессии (установка start_date);
- Stop — пользователь через интерфейс ProctorEdu может досрочно завершить экзамен;
- Submit — завершение сессии проктором и вынос заключения (поле score, в котором сохраняется число от 0 до 1 (шкала с границами «не одобрено»/«одобрено»).
Как мы уже упомянули выше, для учащегося отличие экзамена с прокторингом от обычного экзамена состоит в том, что на прокторинг нужно записываться заранее, когда у проктора, контролирующего экзамен, есть свободные слоты времени. В интерфейсе Stepik это решается на странице экзамена — пользователю предлагается записаться на сеанс прокторинга, для записи пользователь переходит по ссылке на ProctorEdu (в этом момент создается proctor-session для данного пользователя), регистрируется там со своим Stepik-аккаунтом через протокол OAuth2 и выбирает время, доступное для прохождения экзамена.
Учащийся сможет начать экзамен (т.е. создать exam-session) только при наличии запущенной proctor-session (для которой proctor выполнил команду start). Когда учащемуся экзамен становится доступным для прохождения, он видит активную кнопку «Начать экзамен» и может приступить к прохождению экзамена.
Для управления proctor-sessions пользователей провайдер прокторинга (которому мы назначаем специальную роль «proctor») регистрирует у нас серверное приложение по протоколу OAuth2. Данное приложение сможет управлять сессиями прокторинга учащихся на платформе Stepik, с помощью команд которые мы описали выше.
Как создать экзамен с прокторингом на Stepik?
- Создать курс;
- Сделать в нем модуль-экзамен, и наполнить его уроками с экзаменационными задачами;
- Настроить даты начала и даты окончания экзамена, продолжительность экзаменационной сессии;
- Включить для курса режим прокторинга и задать ссылку на домен провайдера прокторинга, что позволяет делать брендированный домен для разных заказчиков услуг прокторинга (пока недоступно в интерфейсе и делается по запросу администраторами платформы).
Интеграция ProctorEdu и Stepik: взгляд со стороны системы прокторинга
Автоматизированная система прокторинга ProctorEdu — облачное решение SaaS (программное обеспечение как сервис), которое позволяет организовать и провести экзамены по процедуре прокторинга. Сеансы записываются и анализируются на предмет нарушений, после чего формируются отчеты.
ProctorEdu предоставляет интерфейсы для организации рабочего пространства прокторов со стороны образовательной организации, но также может и предоставлять своих прокторов.
Как происходит интеграция ProctorEdu и LMS в общем случае?
- Подключение LMS к системе ProctorEdu;
- Добавление функций прокторинга в LMS.
Интеграция ProctorEdu и Stepik
Схема подключения Stepik к системе ProctorEdu
Для интеграции с платформой Stepik на данный момент используется первый вариант из описанных выше: был разработан специальный API, который построен таким образом, чтобы можно было гибко настраивать протокол обмена данными между LMS и системой ProctorEdu в формате JSON.
- Студент авторизуется в системе ProctorEdu через платформу Stepik по протоколу OAuth2. На странице авторизации есть кнопка для входа через Stepik. По нажатии на эту кнопку осуществляется запрос доступа к профилю текущего пользователя на платформе Stepik. После разрешения доступа автоматически происходит вход в систему без необходимости вводить логин и пароль.
- Студент попадает в интерфейс ProctorEdu и заполняет профиль. Заполнение профиля не является обязательным шагом в зависит от требований конкретной образовательной организации. В профиле делается фотография лица, заполняются текстовые поля и загружаются дополнительные документы при необходимости. Фотография из профиля пользователя в дальнейшем используется для идентификации личности студента на каждом экзамене. Если фотографию в профиле не делать, то она будет сделана и сохранена в начале первого экзамена и будет использоваться в дальнейшем для идентификации личности студента.
- После этого студент либо сразу может приступить к экзамену, либо будет необходимо выбрать время экзамена и приступить к экзамену в выбранное время. Планирование экзаменов является опциональной функцией и зависит от наличия прокторов онлайн. Если сценарий сдачи экзамена предполагает наличие наблюдателя онлайн, то имеет смысл использовать расписание. В этом случае прокторы составляют график своей работы, а студенты планируют свои экзамена на основе этого графика. Следует отметить, что есть ограничение числа одновременных экзаменов на одного проктора, обычно оно не превышает девяти.
Экзамен не будет начат пока эти требования не будут соблюдены. Во время самого экзамена осуществляется трансляция и запись веб-камеры, рабочего стола и дополнительной камеры студента, выполняется автоматическое отслеживание нарушений. В начале каждого сеанса автоматически делается фотография лица студента, эта фотография проходит процедуру идентификации личности и определяется процент схожести лица в сеансе с фотографией из профиля.
На протяжении всего экзамена осуществляется непрерывная верификация личности человека за компьютером, которая основана на методах автоматического обнаружения и распознавания лиц и методе анализа клавиатурного почерка. Проктор может наблюдать за назначенными ему студентами, видеть их трансляции, видеть уведомления о зафиксированных нарушениях. При необходимости проктор может связаться со студентом по видеосвязи или через чат. Также проктор может прервать экзамен в любой момент и указать причину в комментарии к сеансу.
После завершения экзамена формируется оценка степени доверия к результатам экзамена в процентах, формируется интерактивный протокол с видеозаписью всех трансляций, историей переписки и поминутной детализацией зафиксированных нарушений.
Интерфейс студента при прохождении экзамена на Stepik, проводящийся через систему ProctorEdu
Взаимодействие со Stepik осуществляется студентом из интерфейса системы ProctorEdu, в этом случае страница экзамена загружается через IFRAME по указанному в сеансе адресу. Экзамены импортируются из Stepik при входе студента в систему ProctorEdu.
- Получение списка экзаменов из Stepik.
- Как только пользователь авторизуется в системе ProctorEdu, ему отображается список доступных для сдачи экзаменов на платформе Stepik. Примем эти экзамены уже могут быть запланированы на какое-то конкретное время, установленное в настройках курса и модуля Stepik, либо студент сам может записаться на удобное для себя время с учетом графика работы прокторов;
- Оповещение о начале сеанса прокторинга.
- Когда время экзамена наступает, студент подключается к соответствующему сеансу. В этот момент API отправляет запрос на Stepik и доступ к этому экзамену открывается. Таким образом, нельзя начать экзамен без системы прокторинга.
- Оповещение о завершении сеанса прокторинга.
- После прохождения экзамена студент завершает сеанс прокторинга. В этот момент API отправляет запрос на Stepik для завершения экзамена и закрытия доступа к экзамену.
- Отправка заключение по сеансу на Stepik.
- После проверки протокола сеанса автоматически или вручную проктором выставляется заключение по сеансу, которое может быть положительное или отрицательное. Этот результат передается на Stepik и отображается рядом с экзаменом. Если заключение отрицательное, то результаты экзамена не засчитываются.
Заключение
В окончании статьи хотим привести плюсы и минусы экзаменов с онлайн-прокторингом.
- Экономия денег и времени на организацию компьютерных классов для проведения экзаменов, поиск и обучение людей, которые должны следить за процессом прохождения экзаменов — автоматический прокторинг проверенный, масштабируемый и несложный в настройке инструмент. Просто создаем курс с задачами и включаем для него прокторинг. Количество экзаменуемых может быть и тысяча, и десять тысяч человек.
- Удобство прохождения — экзаменуемый может выбрать время, в которое ему удобно пройти экзамен — прокторинг доступен не только в рабочее время.
- Можно проходить экзамен из дома в комфортной обстановке, способствующей высоким результатам экзамена.
- Минимум расходов на технику: компьютер, веб-камера и микрофон есть у всех или стоят очень дешево.
- Отсутствие проблем с заинтересованностью местных организаторов в успешных результатах экзаменуемых. На ЕГЭ часто учителя помогают своим ученикам, т.к. учителей наказывают или поощряют за результаты их учащихся. Известны случаи, когда даже в классах, в которых установлены видеокамеры, учитель договаривается с учениками, чтобы они вслух задавали вопросы учителю. Тогда при отсутствии звука такой вид списывания сложно обнаружить.
- Быстрое получение результатов: асинхронный прокторинг позволяет отфильтровать только подозрительные сессии, которые уже можно посмотреть вручную, и подтвердить, что экзамен был пройден честно.
- Наличие достаточно быстрого и стабильного интернет-канала (скорость сетевого соединения 1 Мбит/c).
- Проблема утечки задач — посылаем «первопроходца», который прощёлкивает и запоминает ответы и затем передает их знакомым (решается со стороны экзаменатора созданием вариаций шагов, интенсивным потоком вопросов, ответы на которые сложно запомнить).
Если вам интересно сделать свой экзамен с прокторингом на Stepik или полноценный онлайн-курс, напишите нам письмо.
Как вы считаете, достаточно ли надёжны результаты прокторинга? Если бы перед вами стояла задача проведения онлайн-экзамена, воспользовались бы вы функцией прокторинга?
Недавно ProctorEdu и КРОК запустили систему для контроля онлайн-тестирования на экономическом факультете МГУ. Она помогает наблюдать за студентами, которые сдают экзамен.
Эта система «подсвечивает» нарушения, подсказывает, на кого и на что обратить внимание. В результате один преподаватель может контролировать разом несколько десятков студентов, сидящих у себя дома.
Такой подход к онлайн-обучению, прокторинг, первыми внедрили Coursera и Udemy. Разработчики ProctorEdu задумали собственную систему прокторинга в 2016 году именно для учебных заведений, но вскоре поняли, что она способна решать другие, более серьезные задачи.
В конце концов, многие хотя бы раз в жизни списывали в школе или вузе, и мир до сих пор не рухнул, но в некоторых ситуациях жульничество на экзаменах приводит к серьезным последствиям.
Взять тестирование на знание основ информационной безопасности. Сотрудники — уязвимое звено в защите любой компании, и было бы действительно здорово, если бы все они выучили базовые меры предосторожности. Возможно, тогда бы Uber не оштрафовали на $1.2 млн. за утечку персональных данных, и не произошло скандала со взломом Twitter.
А ведь есть ответственная и опасная работа, где от знания должностных инструкций и техники безопасности зависят жизни людей.
Примеров много: от управления поездом до вахты на буровой платформе в открытом море. Это не говоря об экстремальных ситуациях, когда раздумывать просто некогда и нужны готовые, заученные решения.
Как правило, во всех этих сферах сотрудников регулярно обучают, тестируют и аттестуют, но часто это воспринимается, как формальность. К тому же, при популярных сейчас онлайн-экзаменах контролировать соблюдение правил довольно сложно.
Конечно, можно приставить к каждому участнику по проктору, следящему за соблюдением регламента из объектива веб-камеры, но чтобы всерьез протестировать персонал крупной компании за разумные сроки, потребуется целый взвод наблюдателей.
Разработчики ProctorEdu решают эту проблему при помощи нейронных сетей и нескольких десятков других алгоритмов, которые распознают нарушения по набору настраиваемых параметров.
Как это работает
Во время экзамена ProctorEdu ведет запись с камеры, микрофона и экрана компьютера.
Система отслеживает, кто находится в кадре: сравнивает человека с фотографией, сделанной перед началом тестирования, или со сканом паспорта, загруженного перед экзаменом.
Она проверяет, куда смотрит участник, нет ли в кадре других людей, и не говорит ли кто-то поблизости. Кроме того, ProctorEdu следит за тем, чтобы браузер был развернут на весь экран, детектирует переключение на другие окна и подключение дополнительных мониторов, периодически проверяет состояние сетевого подключения. Система собирает статистику по часто используемым диграфам и с ее помощью отслеживает манеру набора текста на клавиатуре.
Обычно, когда алгоритм фиксирует нарушения, например, теряет человека из виду, система сначала выводит на экран предупреждение. Если участник не реагирует, ProctorEdu приостанавливает тестирование, до тех пор, пока он не исправится. При этом делается отметка о нарушении регламента, к которой можно вернуться позже при просмотре видеозаписи экзамена.
На основе нарушений по формуле рассчитывается рейтинг достоверности результатов экзамена.
E ∈ [0, 100] ‒ оценка доверия (если E < 0, то E = 0), xk ‒ усредненное за сеанс значение метрики k, wk ‒ весовой коэффициент метрики k, M ∈ ‒ метрики
Оценка доверия базируется на всех метриках, которые отслеживает система (если они включены в настройках конкретного экзамена) и весовых коэффициентах, которые подобраны опытным путем. Оценка показывает суммарный средний процент нарушений за весь сеанс.
Протокол сеанса в PDF-формате
ProctorEdu может работать в полностью автоматическом режиме, передавать рейтинг в систему тестирования, которая аннулирует результаты с низким рейтингом достоверности. Но для большей объективности обычно приглашают живого проктора. Он может просматривать записи участников с низким рейтингом доверия уже после экзамена, а может участвовать в нем с самого начала.
В таком сценарии проктор может эффективно контролировать до 30 участников. Ему практически не нужно вмешиваться в ход экзамена. Система сообщает о нарушениях в реальном времени и подсказывает, на кого из подопечных обратить внимание.
Проктор может развернуть видео на весь экран и приглядеться к происходящему, объяснить участнику, что тот делает не так, предупредить о нарушении, приостановить или досрочно завершить экзамен.
Такая технологическая поддержка облегчает работу проктора, ускоряет проведение онлайн-экзаменов и аттестаций и позволяет сохранить высокую достоверность результатов.
Ограничения браузера и детекция лиц
Запись камеры и экрана, распознавание лиц, логирование клавиатуры… Это звучит не секьюрно, поэтому разработчики ProctorEdu сознательно отказались от идеи устанавливать свое ПО на компьютеры участников экзамена.
ProctorEdu работает через браузер при помощи супервизор SDK — JavaScript-библиотеки, в которой реализованы алгоритмы машинного обучения.
SDK не требует установки расширений и плагинов. ProctorEdu интегрируется с сервисом онлайн-тестирования при помощи стандарта IMS LTI или нескольких API-команд. Система запускается на странице тестирования и работает параллельно с ним.
Это удобно для пользователей, и браузер с его политикой безопасности дает независимую гарантию того, что данные собираются только во время экзамена.
Конечно, с таким подходом связаны определенные сложности. Разработчики сами наложили на себя ограничения, с которыми теперь вынуждены жить. Например, у системы нет доступа к оборудованию, процессам, окнам и другим ресурсам компьютера. Поэтому тестирование проходит в той же вкладке, где работает прокторинг. Это позволяет отслеживать переключение фокуса на другие вкладки и окна. Есть и нюансы, связанные с архитектурой и нейросетями.
Распознавание лиц в ProctorEdu реализовано при помощи сверточных нейросетей с использованием OpenCV и Dlib. Они регулярно переобучаются на свежесобранных данных. Для детекции лиц используется отдельная модель.
Разработчики с самого начала планировали запустить эти алгоритмы в браузере. Обычно такие задачи решают при помощи компиляции C++ в WebAssembly (Wasm). Считается, что это хорошая практика.
Чисто теоретически Wasm работает быстрее, чем JavaScript сценарий, но на практике выяснилось, что он медленнее, потребляет больше памяти и процессора, весит больше. Только загрузчик такого кода получается от 10 МБ.
Пришлось разрабатывать на JavaScript в несколько итераций. Первые версии были слабенькими и часто ошибались, но со временем команда ProctorEdu добилась стабильной работы и вывела это решение в продакшн.
Получилось быстро и компактно, но через какое-то время Сколтех пожаловался, что система не видит некоторых студентов. Оказалось, что курсы этого института проходит много чернокожих ребят, которые подключаются прямо из Африки, и алгоритм действительно не всегда их замечает.
За время обучения нейронка видела достаточно людей разных рас и возрастов, никто не ожидал возникновения такой проблемы. В конце концов выяснилось, что сетка здесь ни при чем, а дело в засветке. Африка просто слишком солнечная.
Если за спиной студента окно, или он сидит на ярком солнце в белой с иголочки рубашке, камера выставляет экспозицию по самому светлому участку изображения. Черты лица затемняются, сливаются, и алгоритму не с чем работать. Пришлось добавить рекомендации по освещению в инструкцию для участников экзамена.
Сейчас разработчики планируют перенести в браузер и алгоритм распознавания лиц. Пока что модель великовата (20—30 Мбайт с учетом сжатия), это в то время как все SDK весит около 1 мегабайта. Но здесь стоит постараться и найти решение.
Когда все изображения будут распознаваться в браузере, расходы на хостинг сократятся на добрых 30%. К тому же, на сервер будут передаваться только дескрипторы, по которым нельзя восстановить оригинальное изображение, а фото и документы так и останутся на компьютерах пользователей.
Серверная часть ProctorEdu
Кстати, об архитектуре системы.
Основной компонент ProctorEdu — сервер приложений. Он работает на Node.js и занимается обработкой веб-запросов и веб-сокетных соединений. Сервер приложений связан с базой MongoDB. Там хранятся все данные, не являющиеся бинарными объектами. Для файлов, изображений, записей экзаменов предусмотрено отдельное S3-совместимое объектное хранилище.
Архитектура ProctorEdu включает отдельный сервис под API распознавания лиц и документов, и TURN-сервер для координации WebRTC-подключений между компьютерами участников.
Раньше для видеосвязи использовался медиасервер, через который проходили видеопотоки всех клиентов. Но разработчики быстро поняли, как тяжело приходится онлайн-кинотеатрам: то соединения отваливаются, то данные не передаются, то память переполняется — вечно какие-то сложно диагностируемые проблемы. Когда они перешли на p2p архитектуру, проблемы решились сами собой.
Вся система поддерживает горизонтальное масштабирование. Ее компоненты упакованы в контейнеры. Их можно разбросать по разным физическим серверам и собрать кластерную конфигурацию в режиме мастер-мастер. Тогда нагрузка будет распределяться равномерно.
Обычно ProctorEdu разворачивают на базе одного из российских хостингов, поддерживающих хранение персональных данных, но систему можно запустить и на локальном сервере, как в проекте с МГУ и КРОК.
Требования к железу невысокие: компьютер с восьмиядерным процессором и 8 ГБ оперативной памяти потянет порядка 500 одновременных сессий. Однажды ProctorEdu обслуживала больше 5 тыс. одновременных участников экзамена и понадобилось всего 6 серверов для обработки клиентских запросов.
Можно ли обмануть систему?
Можно, но не так, как это обычно пытаются сделать.
В торговых сетях, где используют ProctorEdu, часто бывает так, что один сотрудник пытается пройти тесты за весь магазин. Порой пользователи подменяют видео с камеры на какую-нибудь видеотрансляцию. Так, однажды разработчики наблюдали, как тесты по технике безопасности на предприятии проходила известная порноактриса.
Был случай, когда один из участников подготовился особенно серьезно: напечатал чужое фото на листе А4, вырезал глаза, привязал резинку и использовал как маску.
Конечно, это все легко детектируется.
Раньше можно было поставить смартфон перед монитором так, что его не было видно с фронтальной камеры. Казалось, что участник постоянно смотрит только на монитор. Теперь ProctorEdu обеспечивает и боковой обзор. К системе подключается вторая камера или тот же смартфон.
Еще можно попробовать списывать при помощи удаленного рабочего стола или виртуальной машины. Отследить их с вкладки браузера практически невозможно. Чтобы закрыть эту возможность, в систему добавили интеграцию с Safe Exam Browser.
Это браузер с открытым исходным кодом, который блокирует компьютер на время экзамена. Он не позволяет использовать удаленный рабочий стол, посторонние программы, а также распознает виртуальные машины.
Конечно, и это не панацея. Если постараться, Safe Exam Browser можно обмануть. Еще можно раздобыть скрытые наушники или аппаратный сплиттер для мониторов. Любой алгоритм можно обойти, вопрос лишь в том, сколько усилий для этого потребуется. ProctorEdu делает так, чтобы было проще выучить, чем смухлевать. И наши клиенты подтверждают, что система успешно справляется с этой задачей.
Летом прошлого года в Университете ИТМО прошел дистанционный экзамен для поступающих в аспирантуру, а в январе этого года для слушателей курсов Национальной платформы открытого образования, желающих получить подтвержденный сертификат, была предоставлена возможность пройти итоговую аттестацию по выбранному курсу под присмотром проктора. Все это было организовано на базе открытой системы дистанционного надзора, специально разработанной для этих целей. В данной статье я постараюсь провести обзор системы, а также рассказать о некоторых особенностях ее разработки.
Система дистанционного надзора (далее СДН) предназначена для сопровождения процесса территориально удаленного прохождения экзаменов, подтверждения личности испытуемого и подтверждения результатов его аттестации. Конечно, эта система не уникальна, есть зарубежные сервисы, предоставляющие услуги дистанционного ассистирования, такие как ProctorU, Mettl Online Assessment, ProctorExam или Pearson VUE, а есть отечественный сервис Экзамус и система ProctorEdu. Однако у разрабатываемой СДН есть основное отличие — это не услуга, а программное обеспечение с открытым исходным кодом, которое может использовать в своих целях любой желающий, будь то организация собственного прокторинг-центра, проведение подтвержденных аттестаций в своей системе электронного обучения или что-то еще. Конечно, для полноценного функционирования системы нужны люди (прокторы), рабочие места с камерами и аудиогарнитурами, а также серверное оборудование и системные администраторы для развертывания и обслуживания системы. Но когда необходимая инфраструктура уже есть, остается вопрос программного обеспечения. И именно на этот вопрос дает ответ данная система.
Работа с СДН делится на две основные части: интерфейс испытуемого и интерфейс проктора. Сначала испытуемый скачивает и запускает приложение, авторизуется в нем и видит список доступных ему экзаменов для прохождения в режиме прокторинга (список экзаменов создается заранее, либо автоматически подгружается из LMS через API). Далее он может запланировать время прохождения этих экзаменов, на каждый запланированный экзамен испытуемому назначается доступный в данное время проктор. Доступное время формируется на основе расписания, которое составляют прокторы, у них для этого есть соответствующий интерфейс. Далее студент в указанное им время через приложение подключается к проктору и экзамен начинается. Проктор сопровождает испытуемого на протяжении всего времени прохождения экзамена, в его обязанности входит проведение процедуры идентификации и отслеживание нарушений правил прохождения экзамена. После завершения сеанса прокторинга студент видит заключение проктора по данному экзамену и его комментарий.
Проктор работает с СДН также через приложение. Главный интерфейс проктора — это таблица расписания экзаменов, где он видит все экзамены, на которые он назначен, и их состояние, которое меняется в режиме реального времени. Когда студент подключается к экзамену, проктор это видит, подключается к нему, и экзамен начинается. Проктор видит испытуемого через веб-камеру, а также видит его рабочий стол. Перед началом экзамена проктор должен провести процедуру идентификации, при которой студент показывает удостоверяющий личность документ, а проктор сверяет указанные данные в профиле испытуемого с фотографией документа и лицом испытуемого на веб-камере. При успешной идентификации данные и фотография документа сохраняются в протоколе экзамена, а испытуемому открывается доступ к экзамену в LMS. После этого испытуемый заходит в LMS и приступает к выполнению заданий. На протяжении всего экзамена проктор может делать заметки и сохранять скриншоты в протоколе экзамена, которые могут пригодиться при разрешении спорных моментов в будущем. По окончанию экзамена проктор подписывает протокол и выносит заключение, которое отображается студенту и передается в LMS по API. В случае нарушения правил прохождения экзамена проктор может прервать экзамен с указанием причины досрочного завершения экзамена. Проктор может одновременно наблюдать за несколькими испытуемыми, число одновременных сессий ограничивается возможностями проктора, ресурсами его компьютера и пропускной способностью сети.
Общая архитектура СДН приведена рисунке ниже. Все используемые технологии являются открытыми и распространяются под свободными лицензиями.
Система полностью написана на JavaScript, в качестве среды разработки использовалась облачная IDE Cloud9. Основные части системы — это сервер на node.js и express, база данных MongoDB с хранением небольших файлов в GridFS, медиасервер Kurento, хранилище архива медиаданных (видеозаписи сеансов прокторинга) с доступом по протоколу WebDAV и декстопное приложение на node-webkit (в качестве альтернативы приложению можно использовать специальное расширение Chrome для работы из веб-браузера).
В качестве основы для передачи видео был выбран протокол WebRTC и медиасервер Kurento для организации и управления медиапотоками между клиентами, а также записи этих потоков. На данный момент Kurento удовлетворяет всем потребностям как по функционалу, так и по производительности, однако стоит упомянуть другие похожие решения — это Licode и Jitsi Videobridge.
Авторизация в СДН основана на модуле PassportJS, на данный момент поддерживается вход по логину и паролю или через OAuth. При необходимости можно добавить стратегию авторизации из уже поддерживаемых в PassportJS или написать собственную, как это было сделано для авторизации через систему единого входа Университета ИТМО (для этого написана специальная стратегия passport-ifmosso).
Клиент реализован в виде одностраничного веб-приложения, которое может работать в веб-браузере, однако функция захвата экрана и скриншоты доступны только после установки специального расширения Chrome или через специальное приложение node-webkit, которое доступно для платформ Windows, Linux и OS X. Отдельное приложение особенно полезно, если не хочется привязываться к веб-браузеру и его версиям, где, к тому же, могут быть установлены сторонние расширения, которые могут влиять на работу приложения в браузере, что нежелательно.
СДН не содержит в себе функций системы управления обучением (LMS), однако может быть связана с ней через API. Для взаимодействия с Национальной платформой открытого образования (НПОО) был реализован специальный API, который может быть расширен для взаимодействия с другими LMS. Ниже на рисунке приведена диаграмма взаимодействия участников системы с использованием такого API.
В рамках одной сессии передается несколько видеопотоков: камера испытуемого, камера проктора и рабочий стол испытуемого. Параметры каждого потока задаются в настройках приложения, где можно задать видео- и аудиоисточник, максимальное разрешение и частоту кадров. Для проверки качества связи и картинки есть соответствующий интерфейс, что позволяет заранее узнать о возможных технических проблемах.
Все видео- и аудиопотоки сессии прокторинга записываются. Видеозаписи сессий сохраняются на отдельном хранилище с доступом по протоколу WebDAV, что позволяет логически отделить хранилище от самой системы. Благодаря протоколу WebDAV, для хранения видеозаписей можно, например, использовать Яндекс.Диск. Позже эти записи и протоколы экзаменов можно просматривать через интерфейс СДН. Для перекодирования видеозаписей и загрузки их на сервер написан специальный модуль, с описанием которого можно ознакомиться в отдельной статье.
В приложении используется точное серверное время, которое не зависит от компьютерных часов, для удобства восприятия время корректируется с учетом часового пояса клиента.
Для доступа к базе данных СДН реализован специальный JSON REST API с гибкой настройкой прав доступа и параметров выдачи данных. Например, можно настроить доступ по токену доверенному серверу, который будет агрегировать и обрабатывать статистику. Данный API полностью поддерживает CRUD (создание, чтение, обновление и удаление) для работы с коллекциями MongoDB на основе созданных в СДН моделей Mongoose, а также поддерживается оригинальный синтаксис запросов Mongo.
Читайте также: