Тестирование продукта

  • Виталий Лебедев
    Виталий ЛебедевМетодолог ГлобалЛаб, учитель профильных ИТ-классов

Тестирование продукта является одним из первых этапов этапа «Анализ и рефлексия» обобщённого проектного цикла и предназначено для оценки качества продукта и анализа достижения цели проекта.

На этом этапе учащиеся организуют различные мероприятия по определению качества продукта и его результативности (насколько продукт решил заявленную проблему?):

  • проводят тесты потребителя,
  • анкетирование потребителя,
  • собирают отзывы экспертов.

На основе собранных данных проводят оценку продукта по критериям успешности, делают вывод о качестве продукта и о достижении цели проекта.

Ключевые вопросы этапа:

  • Как проверить, обладает ли продукт нужными свойствами?
  • Как организовать замер результата?
  • Продукт решал проблему?

Возможные цифровые артефакты:

  • отзывы экспертов,
  • отчеты по тестам потребителя,
  • результаты анкетирования,
  • документ «Оценка качества продукта»

Этап «Тестирование продукта» также может быть включён в этап «Создание продукта».

Такое тестирование позволяет:

  • Выяснить насколько продукт соответствует заданным требованиям и цели проекта.
  • Узнать мнение пользователей и понять, что можно улучшить.
  • Научиться анализировать, искать проблемы и предлагать решения.
  • Проанализировать работоспособность и ценность разработанного продукта.
  • Выявить и исправить недостатки.

Промежуточное тестирование помогает учащимся создать более качественный, полезный и востребованный продукт. Итоговое тестирование позволяет сделать вывод о качестве продукта и достижении цели проекта.

Для неопытных проектантов рекомендуется создать чек-листы, заполнение которых поможет им оценить качество продукта.

 

Посмотреть Cправочник по настройке этапов  >>

Познакомиться со Средой управления проектами и исследованиями   >>

 


<<  К предыдущему этапу  |   К следующему этапу  >>


Содержание
  • Пример задания на тестирование продукта
  • Пример выполения

Пример задания на тестирование продукта

 

  • Проведите необходимые тесты продукта, разработанные на этапе «Разработки и планирования» в соотвествии с «Критериями успешности продукта:
    • Проведите тесты и оцените качество продукта по каждому из критериев успешности.
    • Результаты каждого теста представьте в виде таблиц или графиков.
    • Создайте таблицу по критериям успешности с указанием достигнутого уровня для каждого.
    • Проведите тест и оцените ключевую характеристику достижения цели.
  • Сделайте вывод о качестве продукта и достижении цели проекта.

 

Пример выполения

 

Цель проекта

Разработать тесты для повышения на 30% успеваемости 8 класса по алгебре по итогам диагностической работы в конце 1 четверти.

Оценка по спецификации

Критерий

Значение

Уровень

Тип тестов

Автопроверяемый
с вводом ответа

Высокий

Количество заданий

Есть задания базового и углублённого уровня.

Средний

Выбор сложности заданий

Присутствует

Высокий

Темы

Охвачены все темы

Высокий

Доступность

Online-тесты доступный с компьютера

Средний

Экспертная оценка

Оценка материалов

Вопрос

Оценка экспертами
по 10-бальной шкале

Среднее значение

Корректность выбора уровня сложности

9

8

9

8,3

Корректность формулировок заданий

10

10

9

9,7

Соответствие материалов заданиям

8

8

7

7,8

Возможность самостоятельной подготовки

6

5

7

6,0

Анкетирование потребителей

Вопрос

Оценка пользователями
по 10-бальной шкале

Среднее значение

Эргономичность

Понято, куда вставлять ответ

10

10

10

10

10

10,0

Понятно, как перейти к следующему заданию

10

10

10

10

10

10,0

Понятно, как выбрать уровень сложности задания

8

10

10

8

9

9,0

Понятно, как выбрать тему

8

8

10

10

7

8,6

Дидактичность

Понятно, куда нажимать, чтобы посмотреть материалы по теме задания

9

10

10

10

9

9,6

Понятно, какому уровню сложности относится текущее задание

7

5

5

6

7

6,0

Понятно, к какой теме относится текущее задание

7

5

7

7

7

6,6

 

Критерий

Значение

Уровень

Эргономичность

94% пользователей не испытывает сложностей с интерфейсом

Высокий

Корректность заданий

Корректность заданий оценивается в 74%

Средний

Дидактичность

85% пользователей не испытывает сложностей с интерфейсом

Высокий

 

Тестирование ключевой характеристики

Количество человек использовавших традиционные домашние задания: 12

Количество человек использовавших домашние задания: в виде online тестов: 12

Разбиение на группы проходило с учётом среднего балла учащихся по предыдущим темам.

 

Группа 1. Традиционные домашние задания

Средний балл по предыдущим темам

3,55

Количество 2 по результатам контрольной работы

2

Количество 3 по результатам контрольной работы

4

Количество 4 по результатам контрольной работы

4

Количество 5 по результатам контрольной работы

2

Средний балл по результатам контрольной

3,50

Группа 2. Домашние задания в виде online тестов

Средний балл по предыдущим темам

3,57

Количество 2 по результатам контрольной работы

0

Количество 3 по результатам контрольной работы

3

Количество 4 по результатам контрольной работы

5

Количество 5 по результатам контрольной работы

4

Средний балл по результатам контрольной

4,08

Группа 2 показала на 16,6% лучший результат, чем группа 1.

Вывод

Качество продукта оценивается, как высокое, так как по большинству критериев успешности продукт достиг высокого уровня.

Продукт внёс вклад в решение проблемы, но не достиг запланированного показателя в 30%.

 

Другие материалы
  • Разработка методов тестирования продукта