Во многих курсов, наиболее значимых с присвоением не легко поддаются классификации автоматизированных с помощью компьютера. Например, в поэзии Конечно, мы хотели бы, чтобы студенты на практике критическое мышление и навыки интерпретации, отвечая эссе стиле вопросов, которые не имеют четких правильных или неправильных ответов.
Аналогичные вопросы возникают, когда мы оцениваем бизнес-планы, технические проекты, медицинский анализ историй болезни, или многие другие. Это особенно вопрос в курсах в области гуманитарных, социальных наук, бизнеса и других дисциплин, где относительно небольшую часть содержания хорошо поддается авто-градуированных формате.
Учитывая наше стремление предлагать курсы из широкого спектра дисциплин, мы вложили значительные усилия по разработке технологии оценки сокурсников, где студенты могут оценить и прокомментировать работы друг друга. Эта технология основывается на двух тел литературы: во-первых, литература по образованию оценки сокурсников. После литературы по отзывам студентов сверстников, мы разработали процесс, в котором студенты первого обучены использованию классификации рубрику класса других оценок.
Это было показано, приводит к точной обратной связи с другими студентами, а также предоставить ценный опыт для студентов проводят аттестации. Во-вторых, мы опираемся на идеи из литературы по краудсорсинга, которая изучает, как можно принимать различные рейтинги (различной степени надежности) и объединить их, чтобы получить высокоточную оценку. Использование таких алгоритмов, мы ожидаем, что при наличии нескольких классе студенты каждого домашнего задания, мы сможем получить Аккуратность оценки сопоставимы или даже выше, чем обеспечивается одним ассистентом преподавателя.