Я.В. Соловьев. Анализ результатов Единого государственного экзамена 2009 года по истории

В статье использованы материалы Краткого аналитического отчета ФИПИ и материалы, подготовленные специалистом ФПК по истории Л.И. Лариной. Представляемые в статье данные носят предварительный характер, относятся только к первой волне ЕГЭ (июнь) и могут еще измениться в результате дальнейшей обработки полученных статистических данных.

В 2009 г. впервые Единый государственный экзамен по истории проходил в штатном режиме, только его результаты открывали перед выпускниками двери соответствующих факультетов высших учебных заведений. Годы эксперимента остались в прошлом. Сравнение результатов ЕГЭ 2009 г. с предыдущими годами возможно только со значительными оговорками. В ЕГЭ 2009 г. участвовало 185 343 человека. Это 18,4 % от числа всех выпускников. В предыдущий год эта доля составляла лишь 4,6 %, т. е. мы наблюдаем рост в 4 раза (число участников экзамена 2008 г. – 48 567 человек). Естественно, что этот колоссальный рост, новые условия экзамена (отсутствие возможности поступить без сдачи ЕГЭ, отмена правила +1, по которому участникам экзамена не ставились в период эксперимента неудовлетворительные оценки) не может не сказаться и на статистических результатах экзамена. Даже сравнение только с предыдущим годом (без учета первых лет эксперимента) может привести к ошибочным выводам. Поэтому и говорить о каких-либо тенденциях следует очень осторожно.

В КИМ 2009 г. сознательно не вносились какие-либо изменения по сравнению с КИМ 2008 г. Ниже приводятся основные характеристики экзаменационной работы ЕГЭ 2009 г.

Табл. 1. Данные о контрольных измерительных материалах для ЕГЭ 2009 г. по истории

Время на выполнение работы (мин)	Общее число заданий в варианте	Число заданий с выбором ответа (А)	Число заданий с кратким ответом (В)	Число заданий с развернутым ответом (С)	Максимальный первичный балл
210	50	32	11	7	68

Полученный средний тестовый балл составил 48,0 (в прошлом году – 51,2). 8,8 % участников экзамена не смогли преодолеть установленную в 13 первичных баллов минимальную границу. 152 участника получили 100 баллов, что составляет 0,08 % от числа сдававших (показатель, полностью совпавший с прошлым годом).

Для анализа результатов экзамена в этом году вводится пять уровней выполнения тестов: минимальный, низкий, удовлетворительный, хороший и отличный.

Минимальный уровень (здесь и далее – выполнения тестов ЕГЭ 2009 г.) характеризует результаты тех выпускников, которые преодолели минимальную границу ЕГЭ, набрав за выполнение экзаменационной работы число баллов, соответствующее минимальному количеству баллов ЕГЭ (граница – 30 тестовых баллов, полученных на экзамене по истории). Низкий уровень характеризует результаты выпускников, которые получили балл, соответствующий 25-му процентилю, т. е. балл, фиксирующий уровень, ниже которого находятся 25 % экзаменуемых по их результатам выполнения ЕГЭ 2009 г. Выше этого уровня находится 75 % экзаменуемых (граница – 35 тестовых баллов). Удовлетворительный уровень характеризует результаты выпускников, которые получили балл, соответствующий 50-му процентилю, т. е. балл, фиксирующий уровень, разделяющий экзаменуемых на две равные части (45 тестовых баллов). Хороший уровень характеризует результаты выпускников, которые получили балл, соответствующий 75-му процентилю, т. е. балл, фиксирующий уровень, выше которого находятся результаты 25 % наиболее подготовленных экзаменуемых (граница – 59 тестовых баллов). Отличный уровень характеризует результаты выпускников, которые получили балл, соответствующий 90-му процентилю, т. е. балл, фиксирующий уровень, выше которого находятся результаты 10 % наиболее подготовленных экзаменуемых (граница – 70 тестовых баллов).

Табл. 2. Распределение выпускников (в %) по уровням подготовки к ЕГЭ

Уровень	%
Ниже минимального	8,8
Минимальный	16,2
Низкий	24,4
Удовлетворительный	24,8
Хороший	15,2
Отличный	10,6

Приблизительные средние результаты выполнения заданий разных уровней сложности участниками экзамена, разделенными на соответствующие группы, показаны в таблице 3.

Табл. 3. Средние результаты выполнения заданий разных уровней сложности по группам участников экзамена

Экзаменующиеся, показавшие…	Процент выполнения (в заданиях частей В и С – % от максимального балла, которые возможно получить за их выполнение)
	задания 1(А)	задания 2 (В)	задания 3 (С)
минимальный уровень	33–34	9–10	4–5
низкий уровень	41–42	19–20	11–12
удовлетворительный уровень	57–58	36–37	25–26
хороший уровень	74–75	59–60	45–46
отличный уровень	86–87	76–77	66–67

Еще раз хочется подчеркнуть, что представленные данные приблизительные и в дальнейшем могут быть скорректированы. Тем не менее, они позволяют сделать несколько интересных наблюдений.

Во-первых, мы видим достаточно четкую дифференциацию по выполнению заданий разных уровней сложности. Только учащиеся с хорошим и высоким уровнем подготовки справляются с заданиями повышенного уровня сложности. Разница в выполнении заданий составляет между группами низкого и удовлетворительного, а также удовлетворительного и хорошего уровня: по заданиям базового уровня – 16 % и 17 %, по заданиям повышенного уровня – 25 % и 23 %. Более резкий разрыв в выполнении заданий высокого уровня сложности – 14 % и 20 %. Таким образом, выполнение заданий высокого уровня сложности особенно отличает подготовку хорошего уровня от подготовки удовлетворительного уровня. От выполнения заданий базового уровня к выполнению заданий высокого уровня растет и разрыв между показателями группы с хорошим уровнем и группы с отличным уровнем подготовки: 12 % по заданиям базового уровня, 17 % по заданиям повышенного и 21 % по заданиям высокого уровня сложности.

Чем выше уровень подготовки, тем меньше разрыв в выполнении заданий базового и повышенного уровня сложности: для группы с минимальным уровнем подготовки он составляет 24 %, с низким – 22 %, с удовлетворительным – 21 %, с хорошим – 15 %, с отличным – 10 %. При этом качественное сокращение разрыва наблюдается именно относительно групп с хорошим и отличным уровнем подготовки. А это еще раз показывает, что выполнение заданий повышенного уровня – отличительная черта этих групп.

Особенные затруднения у экзаменуемых из других групп были связаны с выполнением заданий на соотнесение двух рядов информации, систематизацию исторических фактов (средний процент выполнения выпускниками от максимального балла – 42,4 %) и на установление хронологической последовательности (средний процент выполнения всеми выпускниками – 30,6 %). Приведем пример задания, дифференцировавшего группы удовлетворительного и хорошего уровня:

Пример 1.

В2. Установите соответствие между фамилиями исторических личностей и их деятельностью.

К каждой позиции первого столбца подберите соответствующую позицию второго и запишите в таблицу выбранные цифры под соответствующими буквами.

	ИСТОРИЧЕСКИЕ ЛИЧНОСТИ		ДЕЯТЕЛЬНОСТЬ
А)	Аристотель Фиораванти	1)	изобретатель
Б)	Иван Ползунов	2)	писатель
В)	Александр Радищев	3)	архитектор
Г)	Дмитрий Левицкий	4)	живописец
		5)	скульптор

Процент выполнения задания от максимального балла (данное задание оценивается в 2 балла) по группам, показавшим уровень:

минимальный	низкий	удовлетворительный	хороший	отличный
5,3	14,4	42,8	68,8	76,9

С некоторыми заданиями на установление хронологической последовательности не справлялись даже выпускники из группы, показавшей хороший уровень подготовки. Приведем пример:

Пример 2.

В1. Расположите в хронологической последовательности следующие события. Запишите буквы, которыми обозначены события, в правильной последовательности в таблицу.

А)	разгром князем Святославом хазар
Б)	сражение на реке Воже
В)	Невская битва
Г)	битва на реке Калке

Процент выполнения задания по группам, показавшим уровень:

минимальный	низкий	удовлетворительный	хороший	отличный
7,2	11,9	27,2	44,8	72,3

Результаты выполнения этого задания еще раз свидетельствуют о настоятельной необходимости обратиться к этим упражнениям на уроках истории. Ведь выпускники с хорошим уровнем подготовки здесь показали не просто недостаточный уровень знания дат и событий (в части А они справлялись с заданиями по проверке этих дат и фактов), а, скорее, слабые представления о последовательности исторического развития нашей страны.

Даже для участников экзамена с отличным уровнем подготовки выполнение заданий части 3 (С) было сопряжено с трудностями, результат для этой группы невысокий (66 % от максимального балла). Конечно, надо помнить, что задания части 3 (С) и предназначены для более тонкой дифференциации этой группы, выявления самых достойных. Но, хотя в выполнении некоторых заданий наблюдается тенденция изменений к лучшему (задание на сравнение), к сожалению, большие затруднения до сих пор наблюдаются в выполнении заданий на анализ исторической ситуации. Выпускники с отличным уровнем подготовки (не говоря уж об остальных) выполняют это задание лишь на 51 % от максимального балла. Выпускники с хорошим уровнем подготовки на необходимом уровне (50 %) выполняют только задания С1–С3, особенные же затруднения у них вызывает часть задания С7 на выявление общих характерных черт.

Приведем пример задания части 3 (С), которое выполнили только участники группы с отличной подготовкой:

Пример 3.

С6. Рассмотрите историческую ситуацию и ответьте на вопросы.

В 1914 г. Австро-Венгрия, за спиной которой стояла Германия, начала войну с Сербией. Перед российским императором Николаем II встал нелегкий выбор: поддержать Сербию и вызвать войну как с Австро-Венгрией, так и с ее союзницей – Германией, или отказать сербам в поддержке. Многие приближенные убеждали царя не вступать в войну. Однако Николай II решил поддержать Сербию, и Германия, а затем Австро-Венгрия, объявили России войну.

Приведите не менее трех причин, по которым Николай II принял такое решение. Укажите не менее двух основных последствий начавшейся войны для России.

Процент выполнения задания от максимального балла (в этом задании – 4 балла) по группам, показавшим уровень:

минимальный	низкий	удовлетворительный	хороший	отличный
1,4	4,1	14,9	33,5	61,2

При этом, оценивая выполнение заданий с развернутым ответом, следует отметить тенденцию снижения числа выпускников, которые не приступают к ее выполнению (14,5 % в этом году). Это результат и увеличившегося еще с прошлого года времени на выполнение экзаменационной работы, и большей заинтересованности участников экзамена в его итогах. Только 4,8 % приступивших к выполнению этих заданий не получили ни одного балла, а 80,7 % получили хотя бы балл.

Содержательный анализ результатов экзамена показывает, что наиболее успешно большинством экзаменуемых были усвоены знания по периоду VIII–XVIII вв. (по темам «Русь и Золотая Орда», «Объединение русских земель», «Смута», «Крестьянские восстания», преобразования Петра I и др.); по XIX в. – знания по темам, связанным с Отечественной войны 1812 г., реформами 1860–1870-х гг.; по истории ХХ в. – знания по темам, связанным с Великой Отечественной войной, общественно-политическим развитием в послевоенный период.

Наибольшие проблемы у выпускников возникли при выполнении заданий, посвященных XX в. Причины этого уже не раз обсуждались, поэтому возвращаться к ним не будем. По всем типам заданий части 1 (А) по XX в. не достигнута норма среднего процента выполнения в 65 %.

Над результатами экзамена 2009 г. предстоит еще очень серьезная аналитическая работа и представленные в данной статье сведения носят пока фрагментарный характер (особенно о результативности выполнения заданий по периодам и темам исторического курса). Надеюсь, что к следующим номерам ПИШ мы сможем нарисовать более широкую картину состояния качества знаний выпускников средних школ по истории. Переведенный в штатный режим экзамен дает нам такую возможность. На данном этапе мы можем ответственно заявить, что ЕГЭ оказывает определенное позитивное воздействие на качество обучения истории, о чем свидетельствует безусловное улучшение показателей выполнения самой сложной и предполагающей максимальную самостоятельность экзаменуемых части 3 (С). Экзамен эффективно выполняет свою дифференцирующую функцию. О высокой степени надежности результатов ЕГЭ по истории свидетельствует и проведенная осенью этого года Рособрнадзором перепроверка первокурсников ряда отечественных вузов, получивших высокие баллы на ЕГЭ. В результате средний балл, полученный этими студентами на ЕГЭ по истории, полностью совпал с их результатом на перепроверке.

При этом сложности, возникающие у выпускников с выполнением ряда заданий повышенного и высокого уровня сложности, должны обратить на себя внимание учителей. Развитие умений, связанных с установлением хронологической последовательности, систематизацией, сравнением и др., – важная задача исторического образования.

Однако и от разработчиков новая ситуация требует дополнительных усилий. Результаты выполнения некоторых заданий ставят еще раз вопрос об отказе от «копания в мелочах», о некотором содержательном облегчении заданий повышенного уровня сложности. Остается и проблема обеспечения валидности вариантов КИМ ЕГЭ. Полученная на экзамене 2009 г. статистика должна облегчить эту задачу. Значительного совершенствования требуют, как и прежде, критерии оценивания заданий части 3 (С). Должна возрастать и профильная направленность экзамена.

Во всех этих направлениях разработчики рассчитывают на помощь учительского сообщества и призывают учителей делиться идеями о совершенствовании ЕГЭ по истории.

Необходимо также знать об изменениях, произведенных в контрольно-измерительных материалах ЕГЭ по истории 2010 г. по сравнению с КИМ ЕГЭ 2009 г. Главное из них – сокращение до 27 (с 32) числа заданий базового уровня за счет заданий на группировку и знание дат, и увеличение до 15 (с 11) числа заданий повышенного уровня сложности с открытым ответом. Благодаря этому все существующие типы заданий части 2 (В) распространены на все периоды Отечественной истории. В вариантах КИМ ЕГЭ 2009 г. задания на группировку исторической информации были отнесены к одному периоду (VIII–XVIII вв., XIX в., первая половина XX в., вторая половина XX – начало XXI в.), т. е. задания по периодам чередовались в вариантах (в первом варианте – по одному периоду, в следующем – по другому и т. д.). Таким же образом варьировалась в вариантах принадлежность к периодам (XIX в., первая половина XX в., вторая половина XX – начало XXI в.) задания по установлению хронологической последовательности. В КИМ ЕГЭ 2010 г. по каждому разделу курса представлены задания на группировку, на систематизацию фактов, понятий, на поиск информации в источнике. Задания на установление хронологической последовательности представлены в каждом варианте по периодам VIII–XVIII вв. и XIX в. Еще одно задание на установление хронологической последовательности представлено по обобщенному периоду XX – начала XXI в. (В15).

Таким образом, изменения направлены на сокращение заданий базового уровня с выбором одного ответа из четырех предложенных в пользу увеличения заданий с открытым ответом. Из 49 заданий варианта КИМ ЕГЭ по истории лишь 27 заданий (55 %) будут направлены на проверку базовых знаний, а количественная доля заданий повышенного уровня сложности возрастет с 22 % (2009 г.) до 31 %. Соответственно, изменяется и соотношение в распределении баллов по этим двум частям работы (47 % и 22,1 % от максимального балла за всю работу в 2009 г.; 40,2 % и 28,4 % – в КИМ 2010 г.). Это приведет к росту возможностей для дифференциации выпускников по уровню их знаний и умений, повышению эффективности КИМ ЕГЭ в деле определения достойных абитуриентов для высших учебных заведений.

Как показывают данные экзамена 2009 г. и данные предыдущих (времени эксперимента) экзаменов, с заданиями повышенного уровня сложности справляются в основном выпускники с высоким уровнем подготовки (процент выполнения этих заданий около 35–40 %). С новой структурой КИМ ранее звучавшие в адрес ЕГЭ по истории нелепые обвинения в «игре в угадайку» станут еще более нелепыми: получить путем «угадайки» хороший результат на экзамене при таком соотношении заданий с выбором ответа и с открытым ответом физически невозможно. Увеличение заданий повышенного уровня сложности также направлено на усиление роли проверки разнообразных умений на экзамене (впрочем, задания базового уровня в КИМ ЕГЭ рассчитаны тоже как на проверку знаний, так и на проверку умений).

Кроме того, в новых КИМ расширяется возможность проверять знания учащихся по современной истории России.

Предложенные изменения, по мнению разработчиков, могут серьезно повлиять на результаты экзамена в сторону усиления дифференцирующей его силы и профильной направленности. Экзамен станет, безусловно, несколько сложнее для выпускников, но и более точно позволит определить реальный уровень их знаний и умений. Эти изменения также предполагают, что в ближайшие два-три года структура экзаменационной работы кардинально меняться больше не будет. Основные усилия на этом этапе разработчики предполагают направить на достижение валидности вариантов КИМ ЕГЭ, дальнейшую отработку имеющихся моделей заданий. Выполнение данных задач требует усиления апробационных исследований, в проведении которых разработчики рассчитывают на активную помощь учителей.

Ключевые слова: Единый государственный экзамен, контрольно-измерительные материалы.

Keywords: Uniform State Exam, test materials.