Разработка методов тестирования продукта

Виталий ЛебедевМетодолог ГлобалЛаб, учитель профильных ИТ-классов

Этот этап является частью обобщённого этапа «Разработка и планирование» в рамках проектного цикла и идёт после этапа «Исследование критериев успешности продукта». Этап предназначен для разработки методов оценки успешности проекта.

На данном этапе определяется методика оценки результатов, составляется список необходимых мероприятий и выбираются техники для измерения.

Ключевые вопросы этапа: Как измерить результат? Какие действия необходимы для оценки успешности результата?

Возможные цифровые артефакты: документ «Методы тестирования продукта».

Особенностью данного этапа является то, что планируемые методы тестирования должны не только определить качество продукта, но и оценить его соответствие заявленным целям проекта, то есть ответить на вопрос: «Насколько продукт решает проблему проекта?».

Все тесты можно условно разделить на две категории: промежуточные и итоговые. Результаты промежуточных тестов помогают понять, насколько правильно выбрана технология производства продукта, и внести изменения как в технологию, так и в критерии успешности. Итоговые тесты определяют качество продукта и результативность проекта.

Перед началом этого этапа преподавателю рекомендуется ознакомить учащихся с особенностями различных типов тестирования и областями их применения.

Разработка методов тестирования продукта включает не только описание самого метода, но и определение контролируемых параметров, диапазонов допустимых значений каждой из метрик, а также календарное планирование проведения тестов.

Посмотреть Cправочник по настройке этапов >>

Познакомиться со Средой управления проектами и исследованиями >>

<< К предыдущему этапу | К следующему этапу >>

Содержание

Пример задания на разработку методов тестирования продукта

Задача тестирования продукта — определить уровень достижения качественных характеристик продукта на основе критериев успешности продукта.

Определите один или несколько видов тестов, в зависимости от типа продукта:

Анкетирование потребителей.
Тестирование продукта.
Тестирование продукта в реальных условиях.
Экспертное мнение.
Оценка по спецификации (для объективных количественных и качественных показателей достижимость критерия оценивается по достижению качественного или количественного уровня).

Продумайте и опишите:

Условия проведения каждого теста.
Контролируемые параметры.
Для анкетирования потребителей и изучения экспертного мнения составьте список вопросов для потребителей и экспертов.

Спланируйте время и способ проведения каждого теста.

Для обоснованного выбора тестов рекомендуется познакомиться с описаниями разных видов тестов.

Пример выполения

Проект «Тесты по математике»

Цель: Разработать тесты для повышения на 30% успеваемости 8 класса по алгебре по итогам диагностической работы в конце 1 четверти.

Ключевая характеристика: Качество знаний.

Минимальное значение, при котором проект можно считать успешным: 30%

Критерии успешности продукта

Тип тестов
Сложность заданий
Количество заданий
Выбор сложности заданий
Темы
Доступность
Дидактичность
Корректность заданий
Эргономичность

Виды тестов и контролируемые параметры

Оценка по спецификации

Тип тестовых заданий
Количество заданий
Выбор сложности заданий
Темы
Доступность

Экспертная оценка на основании тестирования продукта

Сложность заданий
Дидактичность
Корректность заданий
Анкетирование пользователей

Эргономичность
Проверка ключевой характеристики

Тестирование продукта в реальных условиях

Разработка тестов

Оценка по спецификации

Заполнение таблицы уровня качества критериев вместе с куратором проекта не позднее 1 ноября.

Экспертная оценка

Анкетирование не менее трёх экспертов (учителей математики нашей школы) на основе прохождения компьютерного теста не позднее 7 ноября.

Вопросы для анкеты:

Насколько корректно задания распределены по уровням сложности (оцените по шкале от 1 до 10)?
Насколько корректны формулировки заданий (оцените по шкале от 1 до 10)?
Насколько материалы по ссылкам соответствуют заданиям (оцените по шкале от 1 до 10)?
Насколько материалы по ссылкам могут помочь при самостоятельной подготовке (оцените по шкале от 1 до 10)?
Укажите номера заданий не соответствующих указанным для них уровням и необходимый уровень сложности.
Укажите номера некорректно сформулированных заданий.
Укажите номера заданий к которым даны ссылки на несоответствующие им материалы.

Анкетирование пользователей

Не позднее 10 ноября провести тестирование продукта не менее, чем для пяти восьмиклассников.

Вопросы:

Оцените понятность формулировок заданий по шкале:

Большинство формулировок не понятны
Меньшинство формулировок не понятны
Есть отдельные непонятные заданиям
Все задания понятны

Для заданий с непонятными формулировками укажите номера заданий.
Оцените удобство управления тестом:

Понято, куда вставлять ответ (оцените по шкале от 1 до 10)
Понятно, как перейти к следующему заданию (оцените по шкале от 1 до 10)
Понятно, как выбрать уровень сложности задания (оцените по шкале от 1 до 10)
Понятно, какому уровню сложности относится текущее задание (оцените по шкале от 1 до 10)
Понятно, как выбрать тему (оцените по шкале от 1 до 10)
Понятно, к какой теме относится текущее задание (оцените по шкале от 1 до 10)
Понятно, куда нажимать, чтобы посмотреть материалы по теме задания (оцените по шкале от 1 до 10)
Интерфейс теста мне понятен, я не испытывал сложностей по управлению тестом

План проверки ключевой характеристики

Публикация тестов в сети со свободным доступом учащихся до 15 ноября.
Договориться с учителем математики 8 классов о том, чтобы он выдал данные тесты учащимся в виде рекомендованного домашнего задания. Зафиксировать фамилии учащихся, проходивших тесты.
Договориться с учителем математики 8 класса о проведении тестирования в одном или нескольких классах параллели на уроке не позднее 25 ноября.
Сравнить результаты учащихся, проходивших тесты в качестве рекомендованного домашнего задания и тех, кто не проходил эти тесты дома.