Инструкция для проктора

1. Назначение системы

Система прокторинга предназначена для контроля самостоятельности прохождения онлайн экзаменов или тестов в системах дистанционного обучения (СДО). Она верифицирует личность участника и осуществляет наблюдение в реальном времени для выявления возможных нарушений.

2. Технические требования

Минимальные технические требования системы прокторинга перечислены ниже в таблице 1.

Таблица 1 — Технические требования
Параметр
Минимальные требования
Веб-браузер
Chrome 72, Opera 59, Firefox 66, Edge 79, Яндекс.Браузер 19.3, Safari 12
Операционная система
Windows 7, macOS 10.12 Sierra, Linux
Веб-камера для связи
640x480, 15 кадров/с
Гарнитура
любая
Сеть (интернет)
256 Кбит/c * количество наблюдаемых участников
Перед началом мероприятия необходимо проверить совместимость компьютера с системой прокторинга на странице https://proctoredu.ru/check.

Дополнительно можно проверить веб-камеру, микрофон и сеть тут:

3. Вход в систему

Вход в систему прокторинга для проктора возможен либо через СДО, зависит от варианта интеграции, либо со страницы входа системы прокторинга по логину и паролю. Для входа в систему прокторинга по логину и паролю необходимо в веб-браузере открыть адрес системы и ввести свои логин и пароль (рисунок 1).
Рисунок 1 — Вход в систему прокторинга
Рисунок 1 — Вход в систему прокторинга
После входа в систему отображается интерфейс наблюдения. В левом верхнем углу расположена кнопка для переключения на темную тему интерфейса. Чтобы избежать проблем с отображением времени, убедитесь, что время и часовой пояс на компьютере выставлены верно.

4. Составление графика работы

Для некоторых сеансов может быть включена функция планирования даты и времени мероприятия со стороны участника. В этом случае проктору нужно заполнить график своей работы в календаре, который можно открыть соответствующей кнопкой в правом верхнем углу страницы. Если график заполнен, то студенты смогут выбирать слоты, указанные проктором в календаре, а проктор станет наблюдателем в этих сеансах.

Интерфейс планировщика представлен в виде календаря на неделю, где можно выбрать произвольное количество слотов времени в любой из будущих дней (рисунок 2).
Рисунок 2 — Интерфейс планировщика
Рисунок 2 — Интерфейс планировщика
Переключаться между неделями в календаре можно кнопками со стрелками на панели инструментов.

Чтобы выбрать определенные слоты, нужно выделить мышкой диапазон и нажать кнопку добавления на панели инструментов или клавишу Enter.

Чтобы удалить определенные слоты, нужно выделить мышкой диапазон и нажать кнопку удаления на панели инструментов или клавишу Delete. Прошедшие слоты уже нельзя удалить, а прошедшая область календаря подсвечивается серым цветом.

После добавления слотов студенты смогут записываться на указанное время. Если студенты уже записались на сеансы, то удаление слотов проктором не отменяет записей студентов. Уже запланированные сеансы можно увидеть в интерфейсе наблюдения. Изменить, отменить или поменять проктора в уже запланированных сеансах может только администратор системы.

5. Интерфейс наблюдения

Каждый проктор может наблюдать до 30 сеансов одновременно (рисунок 3). Чем мощнее компьютер и быстрее интернет, тем больше сеансов можно отобразить одновременно.
Рисунок 3 — Интерфейс наблюдения
Рисунок 3 — Интерфейс наблюдения
В левой части интерфейса наблюдения отображается список сеансов, назначенных проктору. Те сеансы, которые имеют статус «Запущен», можно наблюдать онлайн. По прошедшим сеансам можно просматривать протоколы.

Можно воспользоваться поиском для отображения только нужных сеансов. В поиске можно использовать встроенные операторы фильтров, а также синтаксис регулярных выражений. Вот несколько примеров:

  • найти сеанс с нужным идентификатором: ^123$ (123 — искомый идентификатор, требовать точное совпадение);
  • найти сеансы с нужным участникам: student1 (student1 — логин участника);
  • найти сеансы, начинающиеся со слова "Вступительный": ^вступительный (регистр не учитывается);
  • найти сеансы, содержащие слово "экзамен" в названии: экзамен.

Поисковый запрос можно сформулировать более точно, используя синтаксис выражений. В поисковых запросах поддерживаются следующие операторы, перечисленные в таблице 2. Формат даты и времени в формате ISO-8601 (YYYY-MM-DDThh:mm:ss).

Таблица 2 — Операторы для поисковых выражений
Оператор
Описание
Пример запроса
>
Больше
createdAt > 2019-12-01
<
Меньше
duration < 5
>=
Больше или равно
averages.b1 >= 50
<=
Меньше или равно
score <= 50
=
Равно (любой из списка)
status = template | status = [accepted,rejected]
!=
Не равно
conclusion != positive
==
Строгое равно (точное соответствие)
members == [proctor1,proctor2]
!==
Строгое не равно
members !== []
~
Соответствует регулярному выражению
student ~ ^student\d+$
~*
Соответствует регулярному выражению без учета регистра
subject ~* ^экзамен
&
Логическое И
createdAt > 2019-12-01 & duration < 5
|
Логическое ИЛИ
status = accepted | score > 90
()
Группировка выражений
startedAt > 2019-12-01 & (status = rejected | score < 50)
" " ' '
Текст, который может включать пробелы или другие операторы
subject ~* "какое-то название"
В центральной части отображается видео тех сеансов, которые выбраны в списке слева. Выбрать один сеанс можно кликом по элементу списка, выбрать несколько сеансов можно кликом с зажатой клавишей «Ctrl». Выбрать несколько последовательно идущих сеансов можно кликом по другому элементу списка с зажатой клавишей «Shift». Выделить все идущие сеансы из списка можно комбинацией «Ctrl+A». Убрать из центральной части наблюдения выбранный зеленой рамкой сеанс можно клавишей «Del».

Между выбранными сеансами можно переключаться, текущий активный сеанс обведен зеленой рамкой. Звук с компьютера участника воспроизводится только для активного сеанса обведенного зеленой рамкой, звук остальных сеансов в это время заглушен. Для активного сеанса на верхней панели отображается заголовок сеанса и элементы управления.

Проктор может досрочно завершить активный сеанс кнопкой «Завершить», при этом появится диалог, в котором можно сразу указать заключение и комментарий (рисунок 4). Комментарий обязателен, без него выставить заключение по сеансу не получится.
Рисунок 4 — Диалог завершения сеанса
Рисунок 4 — Диалог завершения сеанса
Проктор может общаться с участником выбранного сеанса в чате. Помимо чата проктор может общаться с участником по видеосвязи, для этого достаточно нажать на иконку микрофона (только звук) или камеры (видео + звук) в верхней части интерфейса наблюдения. Также проктор может продемонстрировать свой экран студенту, нажав на иконку экрана.

При переключении между сеансами в чат подгружается история одного выбранного сеанса. В чат можно отправлять не только сообщения, но и картинки или файлы. Для отправки нужно открыть чат, нажать кнопку с изображением скрепки и выбрать файл на компьютере. После этого файл будет прикреплен к чату. Для его отправки нужно нажать кнопку «Отправить» или клавишу «Enter».

В чате можно отправить сообщение в режиме "Инцидент", в этом случае сообщение помечается красным цветом, а у пользователя блокируется доступ к тесту. Чтобы разблокировать тест, нужно отправить еще одно сообщение в обычном режиме.

В режиме наблюдения непрочитанное сообщение от ученика помечается иконкой оранжевого цвета (рис. 5). Подсветка соответсвующего цвета также появится в нижней части экрана сеанса (рис. 6), где ученик ожидает ответа на свое сообщение.
Рисунок 5 — Отображение непрочитанного сообщения
Рисунок 5 — Отображение непрочитанного сообщения
Рисунок 6 — Отображение непрочитанного сообщения в режиме наблюдения
Рисунок 6 — Отображение непрочитанного сообщения в режиме наблюдения
В блоке чата есть три вкладки — сообщения, лица или события. На вкладке «Лица» сохраняются фотографии лица участника, которые проверяются подсистемой верификации лица. Фотографии помечаются тремя цветами: (1) зеленый - фотография соответствует профилю участника; (2) желтый - фотография соответствует профилю участника, но найдены другие профили с похожей фотографией; (3) красный - фотография не соответствует профилю участника. На вкладке «События» поминутно отображаются данные о нарушениях подсистемы автоматического наблюдения в виде гистограммы.

Если участник покинул сеанс (закрыл вкладку браузера или потерял интернет-соединение), то вместо видео будет отображаться пустой блок.

В каждом наблюдаемом сеансе с помощью специальных пиктограмм поверх видео участника отображаются фиксируемые за последнюю минуту события, которые обновляются раз в минуту. Список всех фиксируемых событий с условными обозначениями приведен в таблице 3.

Таблица 3 — Список фиксируемых событий и их условные обозначения (УО)

6. Оценивание сеансов

Каждый сеанс завершается либо самим участником, либо автоматически после окончания отведенного времени, либо в соответствие настройками СДО, либо проктором в ручном режиме. Все аудио- и видеозаписи, текстовые сообщения и зафиксированные события сохраняются в системе и привязываются к протоколу сеанса (рисунок 5). Видеозаписи сеанса появляются в протоколе не сразу, а по мере их обработки. Обработка видеозаписей может занимать до 20 мин. в зависимости от продолжительности сеанса и числа одновременных сеансов в системе.
Рисунок 5 — Протокол сеанса
Рисунок 5 — Протокол сеанса
После окончания сеанса система автоматически выставляет оценку доверия к результатам мероприятия, включающую все отслеживаемые показатели данного сеанса. Оценка может находиться в промежутке от 0 до 100.

Внизу протокола отображается таймлайн сеанса, который состоит из шкалы времени, текущей позиции воспроизведения (вертикальная движущаяся линия) и трех горизонтальных секций. Цветом (от зеленого до красного) выделяются минуты, за которые собраны метрики в системе прокторинга. Чем больше сумма метрик за эту минуту, тем краснее подсвечивается минута. В первой секции отображаются события: момент фотографирования лица для верификации личности, сообщения в чате, пометки проктора. Во второй секции отображаются дорожки с видео. В третьей секции отображается всплывающая гистограмма метрик за каждую минуту.

Перемещаясь по таймлайну можно находить интересующие нарушения и воспроизводить видеозаписи этих участков. По гистограмме средних значений показателей можно определить наиболее частые и продолжительные нарушения.

Если заключение по сеансу не выставлено автоматически, проктор может это сделать после проверки протокола. Чтобы выставить заключение, нужно нажать кнопку «Оценить» на верхней панели протокола, после чего отобразится диалог заключения проктора (рисунок 3).

7. Критерии оценивания результатов

Системой автоматически выставляется оценка уровня доверия к результатам мероприятия, которая зависит от факторов, описанных ниже. Для корректной работы алгоритмов участник должен обеспечить выполнение следующих условий:

  • участник дает свое согласие на аудио- и видеозапись и последующее хранение данных всего мероприятия;
  • веб-камера должна быть установлена строго перед лицом, не допускается установка камеры сбоку;
  • голова должна полностью помещаться в кадр, не допускается частичный или полный уход из поля видимости камеры;
  • лицо должно находиться в центре области обзора веб-камеры и занимать не менее 10% захватываемого камерой пространства на протяжении всего мероприятия;
  • лицо должно быть освещено равномерно, источник освещения не должен быть направлен в камеру или освещать только одну половину лица;
  • волосы, одежда, руки или что-либо другое не должно закрывать область лица;
  • не разрешается надевать солнцезащитные очки, можно использовать очки только с прозрачными линзами;
  • в комнате не должно находиться других людей;
  • на время мероприятия запрещается покидать свое рабочее место;
  • на фоне не должно быть голосов или шума, идеально, если мероприятие будет проходить в тишине;
  • прохождение мероприятия должно осуществляться в браузере, окно которого должно быть развернуто на весь экран, нельзя переключаться на другие приложения (включая другие браузеры) или сворачивать браузер, нельзя открывать сторонние вкладки (страницы) или закрывать браузер;
  • на компьютере должны быть отключены все программы, использующие веб-камеру, кроме браузера;
  • требуется обеспечить стабильную работу интернет-соединения;
  • запрещается записывать каким-либо образом материалы и содержимое экзамена, а также передавать их третьим лицам;
  • запрещается пользоваться звуковыми, визуальными или какими либо еще подсказками;
  • в случае обнаружения попытки обмануть систему или проктора, результаты экзамена аннулируются.

8. Конференц-связь с другими прокторами

В некоторых сценариях проведения экзаменов предполагается организация экзаменационной комиссии. Члены такой комиссии могут общаться между собой через специальный интерфейс видеоконференций (Рисунок 6).

В главном меню есть пункт «Конференция», при выборе которого нужно ввести идентификатор конференции. По умолчанию туда подставляется идентификатор группы, в которую входит проктор. Если несколько прокторов подключаются к конференции с одним идентификатором, они могут общаться друг с другом по аудио- и видеосвязи, а также в чате.
Рисунок 6 — Интерфейс конференц-связи
Рисунок 6 — Интерфейс конференц-связи