Критерии успешности продукта

  • Виталий Лебедев
    Виталий ЛебедевМетодолог ГлобалЛаб, учитель профильных ИТ-классов

Этап «Критерии успешности продукта» — один из первых этапов фазы «Разработка и планирования» обобщённого проектного цикла. Он предназначен для формулирования требований к продукту проекта.

На этом этапе проводится описание актуальных качеств потенциального продукта и  составляется список критериев оценки.

Ключевые вопросы этапа:

  • Как понять, что проблема будет решена?
  • Какими свойствами должен обладать продукт для решения проблемы?

Возможные цифровые артефакты: документ «Исследование критериев успешности».

Фактически, критерии успешности — это спецификация на продукт с указанием шкал оценки для каждой характеристики продукта.

Критерии успешности вытекают из исследования подобных продуктов. Для опытных учащихся требуется проведение исследования с указанием источников информации, тогда как неопытным достаточно объяснить, как они собираются измерять каждый критерий и почему этот критерий важен.

Важным критерием успешности является критерий достижения цели — именно по нему выносится оценка смог ли продукт решить проблему проекта или нет. Соотвественно, для каждого критерия, в том числе и для ключевого должны быть определены метрики и описаны уровни достижения каждого критерия по этим метрикам.

Исследование критериев можно оформлять в таблице со ссылками на источники информации или отдельным текстом.

Этот этап является критически важным для проекта, поскольку он устанавливает чёткие и измеримые параметры, по которым будет оцениваться эффективность решения проблемы. Он помогает сосредоточиться на цели проекта, а чёткие критерии помогают понять, что именно будет считаться успехом. Критерии служат основой для оценки итогов проекта, позволяя объективно определить, достигнута ли поставленная цель. Формулирование требований к продукту способствует повышению его качества, наличие критериев позволяет обосновывать принятые решения в процессе создания и корректировать свои действия при необходимости.

Таким образом, этап определения критериев успешности продукта является основой для успешного выполнения проекта и достижения его цели.

 

Посмотреть Cправочник по настройке этапов  >>

Познакомиться со Средой управления проектами и исследованиями   >>

 


<<  К предыдущему этапу  |   К следующему этапу  >>


Содержание
  • Пример задания на критерии успешности продукта
  • Пример выполнения задания

Пример задания на критерии успешности продукта

  • На основании исследования проблемы проекта определите ключевую характеристику продукта, которая покажет, достигнута ли цель или нет.
  • На основании исследования подобных продуктов вычлените основные характеристики вашего продукта (критерии качества), которые определяют его качество.
  • Для каждого критерия опишите принцип измерения и обоснуйте актуальность характеристики с точки зрения цели проекта.
КритерийИзмеримость Обоснование
   
  • Для каждой характеристики опишите уровни качества.
КритерийНизкий уровеньСредний уровеньВысокий уровень
    
  • В обосновании необходимости критериев укажите ссылки на источники информации. Уточните, при достижении скольких критериев и каких уровней продукт можно считать качественным.

 

Пример выполнения задания

 

Цель: Разработать  тесты для повышения на 30% качества знаний 8 класса по алгебре проверяемые диагностической работой по итогам 1 четверти.

Ключевая характеристика: Качество знаний.

Минимальное значение, при котором проект можно считать успешным: 30%.

Под качеством знаний понимается соотношение между количеством пятёрок и четверок к общему количеству отметок [1].

Критерии успешности

Критерий

Измеримость

Обоснование

Тип тестов

  • Автопроверяемые
  • Со свободным ответом
  • На соответствие
  • Множественный выбор
  • Единственный выбор
  • Ввод ответа

Так как у учащихся разный уровень подготовки, то тесты должны обеспечивать возможность выполнять задания в собственном темпе. Для этого тесты должны быть автопроверяемым, что снижает время тестирования [2].

Тесты в диагностической работе будут с вводом ответа, поэтому тренироваться необходимо на тестах с вводом ответа [3].

Сложность заданий

Задания разных типов: простые, средние, сложные

Процесс обучения должен быть системным и последовательным «от простого к сложному» [4].

Количество заданий

22 задания по каждой теме

Исходя из оптимальной длительности теста [5] и времени на выполнение отдельного задания [5] по каждой теме должно быть примерно 10 заданий простого уровня, 7 заданий среднего уровня и 5 заданий сложного уровня.

Выбор сложности заданий

Должен присутствовать выбор заданий по сложности

Для реализации индивидуального подхода должна быть обеспечена возможность выбирать задания разной сложности, что позволит тренироваться по принципу «от простого к сложному» [6].

Темы

  • Рациональные выражения: целые и дробные
  • Основное свойство дроби: сокращение дробей
  • Сложение и вычитание дробей с разными знаменателями
  • Умножение и деление дробей: сокращение дробей
  • Возведение дроби в степень: отрицательная, буквенная, со степенью

Тесты должны охватывать все темы 1 четверти 8 класса по алгебре [7].

Доступность

Постоянный доступ с компьютера или телефона

Доступ к тестированию не должен зависеть от программного обеспечения и времени обращения к тесту, что обусловлено целью проекта.

Дидактичность

Рядом с ответом есть/нет ссылки на материал для повторения

К ответу на каждое задание должна быть прикреплена ссылка на учебный материал по теме задания [3].

Корректность заданий

Все задания проверены учителем

Так как я не являюсь профессиональным учителем, то для достижения цели необходим экспертный взгляд на качество заданий.

Эргономичность

Интуитивно понятный интерфейс, удобство использования

Удобство использования теста очень важно, так как тестируемый должен сосредоточить своё внимание на заданиях теста, а не на сложностях интерфейса [8].

Уровни качества критериев

Критерий

Низкий уровень

Средний уровень

Высокий уровень

Тип тестов

Со свободным ответом

С множественным или одиночным выбором

Автопроверяемый
с вводом ответа

Сложность заданий

Есть задания только одного уровня сложности

Есть задания двух уровней сложности

Есть задания трех и более уровней сложности

Количество заданий

Есть по одному тесту из менее чем 22 заданий по теме

Есть по одному тесту из 22 заданий по каждой теме

Есть по два или более теста из 22 заданий по каждой теме

Выбор сложности заданий

Отсутствует

Присутствует

Темы

Охвачено менее
2/3 тем

Охвачены 2/3 тем

Охвачены все темы

Доступность

Тесты доступны только со школьных компьютеров

Online-тесты доступный только с телефона или с компьютера

Online-тесты доступный и с телефона, и с компьютера

Дидактичность

Отсутствуют ссылки на материалы по темам заданий

Ссылки на материалы по темам заданий даны перед или после тестовых заданий

Ссылки на материалы по темам заданий даны непосредственно под ответом на задание

Корректность заданий

Задания не проверялись учителем

Задания взяты из учебника или специализированных сайтов, но не проверялись учителем

Все задания проверены и одобрены учителем

Эргономичность

Менее 75% пользователей не испытывает сложностей с интерфейсом

Более 75% пользователей не испытывает сложностей с интерфейсом

Более 85% пользователей не испытывает сложностей с интерфейсом

Продукт будет считаться качественным при достижении не менее половины критериев высокого уровня и при не более двух критериев низкого уровня.

Источники информации

  1. Калькулятор СОУ, процента качества — Сдавайка [Электронный ресурс], URL: https://sdavayka.ru/con_teacher_soucalc/
  2. Масько М.В., Столер В.А., Компьютерное тестирование как современная форма экспресс-контроля знаний — Сайт Пермского Политеха [Электронный ресурс], URL:  https://dgng.pstu.ru/conf2016/papers/23/
  3. Интервью с учителем математики Ивановым А.А.
  4. Афанасьев А.В., Тестирование как одна из форм контроля знаний — Белгородский государственный национальный исследовательский университет. Автореферат диссертации.
  5. Составление КИМ для автоматизированного тестирования. — Автореферат диссертации. Глава 1.3 — Сборник трудов Дальневосточного федерального университета
  6. 12 принципов обучения — Студенческий справочник [Электронный ресурс], URL: https://spravochnick.ru/pedagogika/principy_obucheniya/12_principov_obucheniya/
  7. Программа по математике для 8 класса — Сайт «Репетитор» [Электронный ресурс], URL: https://nado5.ru/e-book/matematika-8
  8. Юзабилити-тестирование – Википедия [Электронный ресурс], https://ru.wikipedia.org/wiki/Юзабилити-тестирование

 

Другие материалы
  • Критерии оценивания проекта по навыкам
  • Критерии оценивания проекта по этапам проектного цикла