Бояшова Светлана Анатольевна
1. Основные термины и определения[1]
Система – совокупность объектов (подсистем и элементов), взаимодействие которых обуславливает наличие новых интегративных качеств, не свойственных образующим ее компонентам.
Элемент – такая часть системы, которая в рамках данного исследования является неделимой.
Подсистема – часть системы, выделенная по определенному классификационному признаку. Это система в системе более высокого порядка. Подсистема выполняет самостоятельную частную задачу или группу задач.
Структура – относительно устойчивый порядок внутренних пространственно-временных связей между компонентами системы, обуславливающих реализацию системных свойств, определяющих функциональное назначение системы и ее взаимодействие с внешней средой.
Целенаправленность – это ориентация системы на достижение определенной цели, выполнение определенной функции, решение конкретной задачи. Цель выступает основным системообразующим параметром.
Модель – мысленно представляемая или материализованная система, которая замещает некоторый объект (оригинал) в смысле определенного сходства, служит средством фиксации известной информации об оригинале и средством получения новой информации.
2. Цель функционирования системы и ее основные подсистемы
Целью функционирования системы сертификации квалификации работника является независимая оценка знаний, умений и навыков в областях его профессиональных компетенций.
Система включает в себя несколько основных подсистем.
Подсистема 1. Кодификатор содержания предметной области, представляющий собой систему, элементами которой являются дидактические единицы, среди них выделяют подсистемы т.н. блоки, элементы которых объединяет принадлежность к общей теме.
Кодификатор представляет собой таблицу. Каждой подсистеме и каждому элементу кодификатора присваивается порядковый номер (код подсистемы и код элемента в подсистеме).
Если предметом сертификации является вендорная или независимая оценка квалификации работника на его соответствие занимаемой должности, то дидактические единицы кодификатора отбираются в соответствии с требованиями к знаниям умениям и навыкам работника, которые установлены в Профессиональных стандартах и Квалификационных требованиях.
Если предметом сертификации является оценка знаний умений и навыков обучающегося по дополнительной профессиональной программе, то дидактические единицы кодификатора отбираются в соответствии с содержанием дополнительной профессиональной программы.
Пример кодификатора содержания предметной области «Машинное обучение», как основа оценки знаний умений и навыков обучающегося по дополнительной профессиональной программе повышения квалификации преподавателей машинного обучения в системе высшего образования приводится в приложении.
Приложение 1. Кодификатор содержания предметной области «Машинное обучение».
Подсистема 2. Количественные эталоны содержания предметной области, составленные в соответствии с кодификатором предметной области.
Первичный эталон содержит все подсистемы и все элементы дидактических единиц согласно кодификатору. Последующие эталоны более низкого уровня соответствия кодификатору от 1-го класса до 4-класса включительно определяются способом исключения одной дидактической единицы в каждой подсистеме дидактических единиц.
Приложение 2. Числовые эталоны содержания предметной области «Машинное обучение».
На основании числовых эталонов содержания предметной области рассчитываются эталонные коэффициенты соответствия эталонов более низкого уровня первичному эталону.
В соответствии с эталонными коэффициентами строятся оценочные балльные шкалы предметной области.
Подсистема 3. Средство измерения (мера), представляющее собой систему, состоящую из совокупности контрольных заданий, каждое из которых отбирается для оценки усвоения испытуемым соответствующей дидактической единицы кодификатора, размер которой принимается неизменным в пределах установленной погрешности и времени.
В качестве рабочего средства измерения в системе сертификации используются тесты, структурными элементами которых являются тестовые задания. Количественная модель теста составляется в соответствие с кодификатором содержания предметной области.
Длина теста (общее число тестовых заданий, включенных в тест) определяется общим числом дидактических единиц кодификатора содержания предметной области. Число блоков в тесте равно числу подсистем дидактических единиц. Число заданий в блоках определяется по числу дидактических единиц в блоках. Тестовое задание имеет код соответствующий его дидактической единице. Содержание тестового задания определяется содержанием его дидактической единицы.
Форма тестового задания выбирается в зависимости от его содержания и целей измерения по методикам составления тестовых заданий, описанных в работах Аванесова В.А., Майорова А. Н. и других авторов[2].
Приложение 4. Модель теста. Предметная область: «Машинное обучение».
Формирование теста происходит автоматически из базы тестовых заданий (далее - БД). В основу автоматизации процесса составления теста положен метод типического отбора. Согласно принятому кодификатору тестовые задания распределены в БД по соответствующим ячейкам, из которых при формировании теста выбираются случайным бесповоротным отбором.
Важной составляющей является система апробации тестов, определение метрологических характеристик средств измерения.
Вначале модель теста, созданная экспертными группами, предоставляется для анализа широкому кругу практикующих специалистов. Далее проходит их апробация на контрольных выборках испытуемых. Основным показателем качества теста является валидность содержания — степень соответствия содержания разделов Кодификатору.
Для того чтобы гарантировать высокую степень валидности теста, в независимой сертификации экспертами систематически анализируются накопленные эмпирические и статистические данные.
Подсистема 4. Тестовая среда, которая создается на основе модели тестов.
Тестовая среда обеспечивает надежность тестирования, не создает у испытуемого ощущения страха перед испытанием, дает ему достаточное время на выполнение тестовых заданий, позволяет избегать двусмысленных и непонятных вопросов, обеспечивает высокий процент верного выполнения при условии допустимой сложности тестовых вопросов, хранит регистрационную информацию об испытуемом и результаты тестов.
Имеется временное ограничение, которое позволяет проверить квалификацию испытуемого и оптимально пользоваться программным обеспечением.
Приложение 6. Окна автоматизированной системы измерений знаний, умений и навыков (Сертификация «АСИЗУН»).
Подсистема 5. Организационно-методическая модель сертификационного тестирования, определяется установленным регламентом.
Заявка на тестирование передается в Головной центр мониторинга и сертификации Отраслевой системы Университета ИТМО (далее — Центр тестирования). Испытуемый получает коды доступа в сертификационную систему АСИЗУН в установленное договором время. Тестирование производится в режиме реального времени посредством сети Интернет, после его завершения производится выгрузка результатов испытуемого, как индивидуальных, так и сводных по заданной группе.
Результаты представляются: 1) в виде таблицы (результаты выполнения каждого отдельного задания), 2) в виде диаграммы (результаты выполнения блока тестовых заданий) 3) в виде отметок по стобалльной и пятибалльной шкалам.
Приложение 7. Анализ результатов тестирования испытуемых Предметная область: «Машинное обучение».
Подсистема 6.АСИЗУН является двухуровневой системой управления процессом измерения знаний, умений и навыков испытуемого.
На первом уровне системы реализуются следующие функции: 1) создание тестов; 2) формирование базы тестовых заданий; 3) взаимодействие с центрами второго уровня; 4) обработка и анализ результатов тестирования.
На втором уровне системы реализуются следующие функции: 1) основное тестирование; 2) пробное тестирование; 3) настройка; 4) ведение собственной статистики; 5) взаимодействие с центром первого уровня.
Архитектура системы комплекса измерений построена на технологической основе, включающей современныевысокопроизводительные и надежные решения. Система имеет гибкую настройку, единая БД обеспечивает хранение информации: о дате и времени проведения каждого сеанса тестирования; о персональных данных испытуемых; о порядке показа тестовых заданий; о результатах тестирования и времени выполнения заданий; о дополнительной апелляционной информации.
Отличительные особенности АСИЗУН
1. В АСИЗУН исследуются только те показатели, которые можно формализовать и, следовательно, измерить в соответствии с общей теорией и практикой измерений. Ее разработка проведена на основе метрологического подхода к процессу педагогического измерения в соответствии с общими метрологическими правилами.
2. Основой разработки системы явились повсеместно распространенные и дополнительно разработанные программные пакеты, образцы компьютерной техники и средства телекоммуникаций, что обеспечивает устойчивость системы и возможность ее широкого применения различными категориями пользователей. Система предусматривает перестройку методов и приемов автоматизации в соответствии с новыми возможностями ИКТ. Данное свойство предполагает минимальную затрату времени и средств на ее перестройку и получение экономического, социального или иного эффекта автоматизации.
3. Модель АСИЗУН экономична (имеет минимальную норму расходов ресурсов, использованных для ее создания и применения), имеет модульную структуру построения, предполагает возможность включения новых элементов, и позволяет решать три основные класса задач:
- расчетные задачи, которые реализуются на основе расчетных моделей (результат – числовое значение);
- информационные задачи, которые реализуются на основе информационных моделей (результат – смысловой текст, график, рисунок);
- модельные задачи, которые реализуются на основе моделей знаний о предметной области (результат – модель объекта или процесса).
Описанная выше сертификационная система, может быть использована большим кругом пользователей: 1) в системах независимой оценки квалификации работников на соответствие занимаемым должностям, 2) при проведении итоговой аттестации по программам дополнительной профессиональной подготовки; 3) в системах внутренней оценки качества образования для проведения мониторинга качества результатов образования обучающихся.
Приложение 8. Международные аналоги сертификации квалификаций
Головной центр мониторинга и сертификации Отраслевой системы.
Университет ИТМО
[1]Шпак В.Ф. Основы автоматизации управления: учебное пособие. / В.Ф. Шпак. – Петродворец: ВВМУРЭ им. А. С. Попова, 1997. – 211 с.
[2] Аванесов, В. С. Композиция тестовых заданий. : учебное пособие. / В. С. Аванесов. – М. : Изд-во Центр тестирования, 2002. – 217 с.
Майоров А. Н. Теория и практика создания тестов для системы образования. / А. Н. Майоров. – М. : Изд-во Народное образование, 2000.