Я начну с того, что на примере одного школьного класса, работа которого наблюдалась в процессе специально организованного исследования, покажу ограниченность общепринятых средств измерения и оценки результатов обучения. Нас попросили провести это исследование, поскольку Инспекция школ Ее Величества – орган, отвечающий за контроль качества обучения в Шотландии, – обнаружила, что, несмотря на все изданные ею приказы и постановления, за последние сорок лет в школах мало что изменилось.[1] Перед нами были поставлены следующие задачи:
• найти несколько примеров новаторской работы педагогов;
• описать работу этих педагогов так, чтобы и другие могли воспользоваться их опытом;
• выявить и описать преимущества используемых ими способов организации учебной работы, чтобы как можно больше родителей, педагогов, учащихся и политиков смогли понять их принципиальную важность и перспективность;
• выявить препятствия, стоящие на пути подобных педагогических нововведений;
• предложить пути их преодоления.
Результаты выполнения этого проекта описаны в книге «Открытая начальная школа» («Opening the Primary Qassroom»[2]). Приведенный ниже пример представляет собой фрагмент этого исследования, но с равным успехом оно могло бы быть проведено в любой из средних школ, работу которых мы изучали в предыдущем проекте, приведшем к появлению моей книги «Образование, ценности и общество: Цели образования, природа и развитие компетентности» («Education, Values and Society. The objectives of Education and the Nature and Development of Competences»[3]).
Учебная деятельность в классе, работу которого я здесь описываю, была необычной во многих отношениях. Но особое значение имеет не сама по себе необычность этой работы, а то, что это один из немногих классов, где обучение действительно было построено в полном соответствии с рекомендациями авторитетных педагогов – от Паркера и Дьюи до современных – и в соответствии с многочисленными правительственными документами.
Работа учащихся была организована в основном в форме междисциплинарных проектов. Эти проекты носили многосторонний и углубленный характер. Учащиеся, объединившись в группы, проводили оригинальные исследования в районе, где расположена их школа. Их работа непосредственно в классе составляла завершающий этап такого исследования. Внутри этих общих проектов многие учащиеся имели персональные задания, свои области специализации и выполняли определенные роли.
Необычной в этом подходе была направленность забот и усилий преподавателя. В отличие от большинства своих коллег учительница, которая вела этот класс, не была сверх меры озабочена выполнением программы (и по содержанию, и по срокам). Вместо этого ее внимание было сосредоточено на компетентно-стях, которые учащиеся могли приобрести, выполняя ту или иную работу. Эти компетентности включали стандартные школьные навыки: чтение, письмо, орфографию и счет. Но при этом они включали также поиск информации, необходимой для достижения цели (такую информацию чаще приходилось добывать в процессе непосредственного наблюдения или общения с людьми, чем путем чтения книг), изобретательность, умение убеждать, руководить (лидерство) и др.
Обсуждение проблем, встающих перед внешней экспертизой такого способа обучения, проще всего начать с тех его аспектов, которые ближе всего к широко обсуждаемым и традиционно оцениваемым целям обучения.
В процессе работы над проектом по изучению окружающей среды один ученик стал специалистом в вопросах распространенности различных видов бабочек в данной местности, их жизненных циклов и взаимоотношений с другими видами. Другой ознакомился с историей определенного типа сельскохозяйственного оборудования: он связал изменения оборудования с последовательным – и относительно автономным – улучшением конструкции этих орудий и технологии обработки стали, с одной стороны, и способами ведения сельскохозяйственных работ – с другой. Третий ученик изучал вопрос о взаимосвязи изменений в сельскохозяйственной технике, способов обработки земли, к которым они привели, и изменений в социальной структуре общества. Четвертый специализировался по проблемам современной социальной структуры района – кто кого знает и о чем они разговаривают. Другие учащиеся изучали изменения в архитектуре и планировке деревни и в занятиях ее обитателей.
Проблемы, которые ставят перед традиционным способом оценивания результаты такого обучения, практически непреодолимы. Усвоенное учащимися специальное знание попросту не может быть выявлено традиционными тестами достижений: конечно, эти учащиеся покажут более низкие результаты, поскольку время, которое другие ученики потратили на отработку навыков, контролируемых этими тестами, они посвятили совершенно другим занятиям. Для справедливой оценки достижений этих учащихся придется разработать совокупность индивидуальных тестов, ориентированных на предмет деятельности каждого из них.
Однако это еще не самая большая проблема, которую такой метод обучения ставит перед современной измерительной парадигмой, доминирующей в образовании и психологии. Например, для первого из упоминавшихся выше учеников более важным приобретением был не сам по себе уникальный запас специальных знаний, а то, что он сформировал некоторые компетентности, необходимые для ученого, исследователя. Среди прочего он научился отмечать признаки, указывающие на то, что он имеет дело с нерешенной проблемой; он развил способность эксплицировать свои догадки и озарения (он даже просыпался по ночам, пытаясь это сделать); он стал изобретать способы наблюдения; он научился замечать то, что раньше никто не замечал; он узнал не только, как добывать необходимую информацию из научных журналов, но и как использовать ее практически; он научился принимать во внимание и оценивать идеи своих одноклассников и даже самых невежественных людей и извлекать из них пользу; он научился писать письма, звонить по телефону, посещать университетских преподавателей, интересующихся той же проблемой; он разговаривал с ними на равных; он оттачивал свои идеи в этих беседах; он узнал, что имеет право сам ставить новые вопросы и отвечать на них, а не только отвечать на вопросы других людей; он научился справляться с огорчениями, вызванными неудачными попытками найти наилучшие способы решения задачи; он научился придумывать способы организации и обобщения полученных данных для сообщения их другим людям – и не только в письменном виде.
Перечисленные в последнем абзаце компетентности составляют лишь часть того набора компетентностей, которые обеспечивают достижение почти любой практически значимой и подлежащей оцениванию цели, и они в определенной степени взаимозаменяемы.[4] Мы их выделили в связи с предметным обучением, но мы могли бы их также обнаружить и при анализе других занятий, которые люди ценят и которым охотно предаются. Однако, оставаясь в рамках академической предметно-ориентированной парадигмы тестирования и оценки учащихся, важно заметить, что второй из упомянутых выше учеников проявил мотивацию к иным занятиям и, соответственно, развил другой набор компетентностей и способностей, способов мышления и восприятия в процессе предпринятого им оригинального исторического исследования. Третий развил похожий – но ни в коем случае не идентичный – набор компетентностей, необходимых для выполнения высококлассной социологической работы. То же можно сказать и о других учениках.
Если традиционные способы оценивания не могут зафиксировать наличие необычных, узкоспециальных знаний, то еще в меньшей степени они способны улавливать формирование навыков особого рода, мотивов и привычек, способов мышления и видов деятельности, способных составить в будущем арсенал компетентного ученого, историка, социолога, фотографа, репортера, повара или родителя.
Но и это еще не исчерпывает всех проблем, которые возникают при оценке подобного нетрадиционного учебного процесса.
Учащиеся работали в группах. В этих группах у них сложились определенные роли. В процессе работы они развили определенные компетентности, необходимые для эффективного выполнения соответствующих функций в группе. Один ученик научился эффективно координировать работу нескольких человек. Другой – успокаивать товарищей и сглаживать межличностные трения. Третий – вести переговоры. Четвертый – представлять результаты чужой работы официальным лицам, посетителям и посторонним людям, а не только своему учителю. И так далее. В процессе выполнения этих работ каждый учился общаться, изобретать, проводить собственные наблюдения, сотрудничать с другими, руководить и подчиняться.
Все эти компетентности чрезвычайно важны, однако они не «схватываются» общепринятыми измерениями. А без средств для оценки этих качеств учащиеся, которые прошли через такие обучающие программы, не смогут узнать, чем они отличаются от тех, кто обучался по другим программам. Еще меньше они могут узнать, чем они отличаются друг от друга: что они по-другому думают, по-другому видят окружающее, имеют другие приоритеты, иначе взаимодействуют с людьми и владеют разными навыками. Не имеющий средств для оценки этих качеств учитель, разрабатывая следующий проект, не сможет учесть те компетентности, которые достигнуты учениками при выполнении предыдущего. Ученики не имеют возможности предъявить документальное подтверждение способностей, которые они приобрели в процессе такого обучения, когда они хотят получить работу или продолжить образование. Учителя не получают признания своих заслуг в развитии этих способностей у учащихся по результатам выполнения ими итоговых тестов. На социальном уровне мы не можем воспрепятствовать тому, чтобы люди, у которых отсутствуют социально значимые потребности и вышеупомянутые интеллектуальные качества, занимали влиятельное положение в обществе. Но хуже всего то, что отсутствие средств оценки таких качеств ограничивает наши представления об образовании. При нынешнем положении дел даже слово «академический» не охватывает всего того круга занятий, в процессе которых люди наблюдают, обдумывают, размышляют, выносят суждения, оттачивают аргументы и готовят публичную презентацию важного материала.
Прежде чем двигаться дальше, отметим, что сам факт выявления такого рода знаний и способностей показывает, что проблема педагогического оценивания и измерения принципиально разрешима. Вот что мы делали в процессе этого исследования:
• наблюдали за учениками в процессе выполнения интересных для них заданий;
• фиксировали многочисленные и взаимозаменяемые компетентности, которые они проявляли при выполнении этих заданий;
• приняли описательный подход при заполнении протоколов наблюдения вместо того, чтобы фиксировать результаты в баллах или «переменных»;
• различали учеников по занятиям, которые их интересовали, и компетентностям, которые они проявляли в ходе этих занятий.
Основная мысль следующих глав состоит в том, чтобы показать возможность построения альтернативной концепции оценки содержания, методов и результатов обучения.
Показав проблемы, которые передовая педагогическая практика ставит перед традиционным оцениванием, я перейду теперь к рассмотрению некоторых крайне дезориентирующих выводов исследований, выполненных в рамках доминирующей измерительной парадигмы, и обосную необходимость альтернативной измерительной концепции.
Исследования показали, что обучение по программе «Открытое образование» приводит к снижению баллов при традиционной тестовой оценке чтения, письма и счета. Stallings[5] обнаружила то же самое при оценке программы «Помощь на старте» («Headstart Follow Through» – программа, направленная на развитие интеллектуального потенциала учащихся, принадлежащих к низшему социо-экономическому слою. – Примеч. переводчиков). Однако она отметила и кое-что еще: «Открытое образование» повышает остроту восприятия и мышления – фактор, измеряемый с помощью теста «Прогрессивные матрицы Равена».[6] («Прогрессивные матрицы Равена» – один из классических тестов интеллектуальных способностей; разработан Дж. К. Ра-веном-старшим, отцом автора данной книги. – Примеч. переводчиков.) Теперь спросим: какие выводы получились бы, если при оценке результатов «Открытого образования» использовались бы тесты, направленные на измерение наиболее значимых для этих программ качеств (лидерства, способности работать с другими, общаться, понимать других людей и оказывать на них влияние) и чувствительные к особенностям приобретенного в обучении опыта (вместо тестов, сконструированных так, чтобы результаты по ним как можно меньше зависели от этого опыта)? Очень возможно, что удалось бы обнаружить существенные позитивные результаты данной программы. Важно отметить, что даже использование очень хороших тестов для оценки навыков чтения, письма и счета может привести к противоречивым результатам. Традиционные измерения навыка чтения не в состоянии оценить стратегии работы с текстом, такие, как отказ от дальнейшего чтения книги или статьи, не соответствующей цели чтения, использование оглавления для поиска нужной информации или привлечение прочитанного для стимуляции собственных размышлений. Программы обучения, способствующие развитию такого высокого уровня компетентности читателя, могут легко привести к снижению оценок по таким тестам, которые измеряют готовность прочесть фрагмент неинтересного текста и способность запомнить ответы, которые испытуемый легко нашел бы, если бы они ему понадобились. Как показали Bullock[7] и McClelland,[8] традиционные тесты по английскому языку не измеряют способности эффективно общаться. Действительно, станет ли беспокоиться о нарушениях грамматических правил тот, кто способен влиять на аудиторию посредством намека, аллюзии, привлечения широкого контекста?[9] (Cockcroft[10] пришел к аналогичным выводам в отношении арифметики.)
Прочитав последний абзац, легко согласиться и сказать: «Ну, конечно!» – однако не сделать самых важных выводов.
Как утверждается в изданных Объединенным комитетом «Стандартах экспертизы образовательных программ, проектов и материалов»,[11] экспертные заключения должны опираться только на результаты, полученные с помощью надежных и валидных тестов. К сожалению, трудно понять, как можно считать валидным измерение, если оно не способно зафиксировать наиболее важные результаты педагогического процесса; не служит оправданием данной ситуации и то, что в настоящее время нет надежных и валидных тестов для выявления этих результатов. Многие из самых важных результатов образовательного процесса очень трудно оценить формально, потому что им, как и результатам экономического или социального развития, требуется немало лет, чтобы проявиться в полной мере. Отказ от обсуждения результатов, которые в данный момент не поддаются измерению «надежными и валидными тестами», уводит дискуссии о политике в сфере образования от обсуждения реального педагогического процесса и его наиболее важных результатов к обсуждению того, что легче всего измерить. Объединенный комитет не проявляет беспокойства по этому поводу, а Стэнфордский исследовательский институт (где работала Stallings) однажды даже лишился контракта, когда указал, что для проведения квалифицированной экспертизы придется сначала разработать измерители такого рода результатов. Это позволяет предположить, что существует глубоко укоренившееся нежелание рассматривать те последствия, которые происходят от недостатка адекватных способов выявления и измерения более широкого спектра результатов педагогического процесса. Одним из ярких проявлений этой позиции служит нынешнее слепое применение тестов на оценку компе-тентностей элементарного уровня как показателей эффективности обучения. Как-то ускользает от внимания то обстоятельство, что эти тесты вообще неспособны оценивать обсуждавшиеся выше результаты обучения и поэтому не должны рассматриваться в качестве тестов эффективности обучения. Вопреки заявлениям, звучащим в начале большинства докладов и речей по проблемам образования, внимание политиков, школьных реформаторов, администраторов, учителей, родителей и учащихся, тем не менее, полностью сосредоточено на элементарных результатах, которые, как будет показано дальше, не имеют особого значения ни для отдельных людей, ни для всего общества. И эти доклады, и политика в сфере образования в целом совершенно справедливо были названы бывшим английским премьер-министром Эдвардом Хитом «лукавым трюком». Есть все основания опасаться, что отсутствие связи между правильно поставленными высокими целями, верно сформулированными проблемами в образовании и существующими способами «контроля качества» приведет к игнорированию имеющихся трудностей и не позволит достигнуть желаемых целей. В то же время контроль качества образования, направленный на измерение не тех результатов, которые хотелось бы получить, уводит всех работающих в системе образования и определяющих политику в этой области в ложном направлении.
Второй пример неадекватных выводов, сделанных исследователями, находящимися в плену существующей парадигмы педагогических измерений, заимствован нами из работ по программе «Совершенствование школьных навыков» («Mastery learnings»). Если кто-нибудь спросит, что в первую очередь станет делать ученик – участник программы «Совершенствование школьных навыков», когда он, выполнив задание, ждет, пока остальные его догонят, то получит ответ: он либо будет помогать своим более медлительным товарищам, либо пойдет играть в футбол. Таким образом, эти ученики не только узнают, что они «умные» (то есть способны быстро справляться с рутинными заданиями), но они также имеют возможность развить какие-то дополнительные компетентности – необходимые, например, чтобы учить других или чтобы играть в футбол. Другими словами, это ведет также к возрастанию различий между учениками в такого рода компетент-ностях. Итак, вопреки цели выравнивания школьных достижений, на которую направлена программа «Совершенствование школьных навыков», она просто перемещает неравенство учащихся в иную, неконтролируемую область. Еще серьезнее то, что, заставляя учеников выполнять задания, в которых они не могут добиться успеха, такого рода программы лишают медлительных, отстающих учеников возможности упражнять и развивать их наиболее важные и наиболее оригинальные способности. То же самое происходит, например, при стандартизированной проверке базовых навыков перед допуском учеников к выполнению новых заданий (например, к работе в проектах) и в большинстве «кор-рекционных» программ, которые требуют, чтобы дети с трудностями в обучении проводили едва ли не все свое учебное время в работе над базовыми навыками. Эти программы формируют такую самодостаточную среду, в которой только и можно выразить различие между учениками по какой-то одной единственной «способности». Медлительные ученики фактически лишены возможности попрактиковать свои способности в изобретательстве, умении убеждать, лидерстве, общении и слушании в процессе деятельности, которая их интересует. К тому же они лишены возможности показать, что, находясь в обстоятельствах, не выставляющих их в смешном виде, они, несмотря на свои «низкие способности», на самом-то деле могут хорошо справиться по крайней мере с некоторыми заданиями. Подобные процедуры обучения и контроля рождают представление об особой значимости фактора общих способностей. Если бы те люди, которые заказывали разработку и экспертизу школьных навыков, обладали бы более широкими и разносторонними взглядами на образование, на педагогические достижения и попытались бы содействовать развитию разнообразных способностей учащихся, а эксперты, в свою очередь, постарались измерить более широкий спектр результатов образования, их выводы были бы существенно иными.
Программа «Совершенствование школьных навыков» может быть использована для иллюстрации еще одного фундаментального порока современной теории тестов. Несмотря на все сказанное выше в адрес экспериментальных программ развития школьных навыков, ее основная философская установка правильна: если определенным учащимся действительно важно освоить некий навык, они его осваивают. Если же этого не происходит, то виновата программа. Когда освоение этого навыка или материала неважно для учащихся, они и не должны этому учиться. Отсутствие положительных результатов обучения означает, что либо учащимся некомпетентно преподавали, либо они не получили адекватной помощи и руководства. Другими словами, не выработанное в процессе обучения умение – это приговор способу обучения, а не самому ученику. Отсюда следует поистине катастрофический вывод для применяемых в настоящее время моделей измерения результатов обучения, поскольку большинство из них основано на предположении, что «нормальное распределение» педагогических результатов – явление не только ожидаемое, но и желательное. Как бы ни обстояло дело с врожденными способностями учащихся, это допущение не применимо к тем способностям, которые должны формироваться в процессе обучения.
Третий пример ошибочных выводов, сделанных в результате применения традиционных измерений в экспертных исследованиях, основан на работе Coleman[12] и отчете Международной ассоциации по оценке достижений в сфере образования.[13] В обеих этих работах представлены доказательства того, что «разные школы не отличаются друг от друга». Обе работы использовали традиционные тесты для измерения достижений в обучении. В обоих случаях попытались выявить зависимость результатов обучения от особенностей учителей. И когда статистическими методами исключили влияние таких факторов, как «домашняя ситуация» и «способности» детей, получили вывод, что «школы не различаются». Этот абсурдный вывод был получен благодаря тому, что использовались тесты, сконструированные специально для измерения содержания, общего для всех педагогических программ. В них не могли проявиться особенности профессиональной компетентности отдельного учителя. Другими словами, даже наиболее вероятные различия между учителями не могли быть выявлены в принципе.
Когда мы сами попытались измерить и как-то зафиксировать нестандартные результаты, полученные учениками при работе с конкретным учителем (а не то, научились ли они чему-то такому, что некий исследователь полагает необходимым для освоения текущего материала), и включили в опросники для учащихся нежелательные результаты наряду с желательными, мы обнаружили огромные различия во влиянии разных учителей на самооценки, набор компетентностей, ценности и приоритеты, складывающиеся у их учеников. Ученики из разных классов овладевали чрезвычайно разными умениями, многие из которых не только не подразумевались учителем, но и не несли никакой функциональной нагрузки. То же самое было отмечено и в ходе единственной исследованной нами обучающей программы проектного типа – то, что усваивал один ученик, значительно отличалось от того, что усваивали другие. Учащиеся выбирали и выполняли разные виды деятельности и, следовательно, оказывались в разной образовательной среде.
Было показано, что традиционные тесты достижений не могут должным образом оценить результаты педагогического – в полном смысле этого слова – процесса; что они не подходят для выявления одаренности учащихся; что при попытках улучшить качество образования доверие к тестам уводит внимание учителей от тех целей, которые особо подчеркиваются при обсуждении недостатков системы образования, в сторону частных, незначительных целей; что они сужают наши представления об образовании вообще и об академическом образовании в частности и что их общепринятое применение при экспертизе содержания и методов обучения приводит к выводам, которые в лучшем случае некорректны, а по большому счету противоречат интересам как ученика, так и всего общества.
Остается добавить, что учителям совершенно необходимо иметь средства выявления интересов и способностей учеников, чтобы эффективно использовать обучающие программы. Им нужно уметь следить за продвижением учеников к цели, чтобы, если это понадобится, предпринять адекватные коррекционные действия. Ученикам необходимы средства, позволяющие определить, чему именно они научились и чем они отличаются от других учеников, обучающихся по другим программам. Они должны иметь возможность получить признание своих достижений. Учителям и администраторам необходимо уметь выявлять относительные преимущества разных программ, а также определять, в каких отношениях эти программы хороши, а в каких нет и как их можно улучшить.[14]
Очевидно, что новая концепция измерения и оценки навыков и способностей учащихся остро необходима всей системе образования.
Однако примеры, которые я привел, содержат не только критику. Они также указывают основание, на котором можно было бы построить альтернативную концепцию: вместо использования «надежных и валидных» измерений лишь отдельных результатов педагогического процесса следует попытаться описать всю область его возможного влияния.[15] Это предполагает, что альтернативная концепция измерений могла бы основываться на наглядных описаниях, аналогичных химическим, а не на установлении связи между переменными, как в физике. Подробнее мы раскроем эту идею в следующих главах. А пока, поскольку мы назвали еще далеко не все негативные последствия современной измерительной и оценочной практики и не привели достаточно свидетельств в пользу альтернативной измерительной концепции, рассмотрим еще несколько важных примеров.