Леонид Ашкинази - Очень общая метрология

• Название: Очень общая метрология
• Автор: Леонид Ашкинази
• Жанр: Научпоп

---

При ознакомлении с заданиями ЕГЭ возникает ощущение, что некоторые из составителей отчасти понимали ограничения, свойственные разным типам задач и пытались включить в задания как одноходовки с выбором ответа из списка, так и некое слабое подобие творческих задач. Задачи того и другого типа составляют в заданиях ЕГЭ отдельные блоки, и внесение в итоговый документ оценок по каждому блоку позволило бы потребителю оценок (например, вузу) устанавливать более сложные и содержательные критерии. Логика использования таких двумерных оценок совершенно очевидна и мы не будем на ней останавливаться. Однако составители не пошли по этому пути (наверное потому, что он увеличивает на несколько процентов расход типографской краски на печать дипломов) и предпочли заняться формалистической игрой в «веса», которая позволяет — если задачи одного блока слишком просты, а другого слишком сложны — путем подбора «весов» придать общей функции распределения цивилизованный вид.

Данные о результатах ЕГЭ-2003 по всем предметам, причем не только отдельно по частям А+В и по части С («творческие» задачи), но и по корреляции этих результатов, приведены в издании «Новости образования». 17–18 за 2003 год. Мы воспользовались этими данными, чтобы ответить на вопрос — задания частей С по каким именно предметам ЕГЭ являются более и менее творческими по сравнению с частью А+В.

В названном выше издании результаты экзаменов приведены в форме изоуровней плотности распределения оценок в координатах (балл за А+В) — (балл за С). То есть для каждого сочетания оценок «А+В» и «С» указано, сколько экзаменующихся получили именно это сочетание. В общем случае изолинии должны иметь вид эллипсов (при неправильно выбранном среднем уровне сложности задач — урезанных вплоть до половины). По мере усиления корреляции эллипсы должны делаться более узкими, а при полной корреляции вырождаться в прямые линии — каждой оценке за «А+В» соответствует одна оценка за «С», отклонений нет. По мере ослабления корреляции эллипсы делаются относительно шире, а при ее отсутствии превращаются в окружности — изменение одной оценки не отражается на среднем значении другой.

Если посмотреть на опубликованные данные, то видно, что по отношению осей эллипсов предметы распадаются на две группы. Для русского языка, обществознания, математики и физики это отношение лежит в пределах от 2 до 3, а для географии, истории России, биологии и химии — в пределах от 4 до 5. Это означает, что для первых четырех предметов степень «творческости» в задачах блока С по отношению к А+В больше, чем для остальных предметов. Что касается сравнения наших тестов и ЕГЭ, то в тестах по математике за указанный год средний балл составляет по A+B около 20 из 30 (относительно терпимо), по С — меньше 3 из 16 — (плохо), а ширина функции распределения составляет около трети максимальной оценки, что несколько хуже, чем у нас.

Деление задач на «творческие» и «нетворческие» является экстремально примитивным. Можно, наверное, увидеть несколько параметров задач и построить выделить систему (или несколько независимых систем) параметров. Создание системы параметров плавно перетекает в создание модели явления. На этом пути мы могли бы понять, что такое задача. С другой стороны, имея систему параметров, мы могли бы попытаться составлять задачи, зондирующие способности экзаменующегося по каждому параметру или по заданным их сочетаниям. Пока же мы этого не умеем, надо пользоваться задачами, приближенными к жизни. Помните — «некто купил пять аршин синего сукна по три копейки и три аршина…»

Кто-то скажет, что в век компьютеров оно выглядит смешно. Может быть. Но много смешнее абитуриент вуза, не умеющий складывать дроби.

Ашкинази Л.А., Гайнер М.Л., Чернацкий С.Г., Физико-математическая школа МИЭМ

Наконец, упомянем оригинальный метод обработки данных, изложенный в частности в книге Франселла Ф. и Баннистер Д. Новый метод исследования личности.

В этом методе строится таблица, в которой по столбцам расположены элементы: люди, предметы, понятия, звуки, цвета, а по строкам расположены «конструкты»: параметры, шкалы, биполярные отношения, с точки зрения метрологии все это просто шкалы. Примеры конструктов: приятный-противный, хозяин-слуга, здесь-там, прошлое-будущее, уродливый-красивый. В клетках таблицы респондент отмечает, какое место на данной шкале (в данном конструкте) занимает тот или иной элемент, если он вообще может быть расположен на этой шкале. Так мы получаем, например, распределение по приятности людей, распределение по приятности цветов, распределение по близости к нам понятий и опять же людей и так далее. Исследователь может сам указывать респонденту конструкты-шкалы, а может в ходе интервью выявлять шкалы, которыми пользуется испытуемый, то есть выяснять, как он упорядочивает мир, в каких понятиях и терминах он мыслит. С точки зрения метрологии мышление «в шкалах» — продвинутое: мы не просто говорим, что политик M. - жулик, а точно определяем, что он чуть менее жулик, нежели N., но более жулик, чем P.

Далее можно самыми разнообразными способами исследовать стабильность конструктов во времени — дрейф сам по себе или в процессе терапевтического взаимодействия. Или связь конструктов между собой — и выявить, например, что для данного человека связаны конструкты прошлое-будущее и лучше-хуже, причем чем дальше в прошлое, тем лучше.

Существуют ли поколения

Близко к вопросу об индексах лежит вопрос о кластерах. Ибо если кластеры — это ассоциации в пространстве переменных, то кластеры — это ассоциации в пространстве объектов. Но в индекс объединяют по определенным правилам иногда говорящие нечто близкое величины, а иногда — говорящие нечто противоположное. Например, можно назвать индексом качества изделия сумму очков, набираемых им по шкалам нескольких параметров, а упомянутая выше «оценка экономического положения страны» — индекс, составленный и из говорящих и нечто близкое, и нечто противоположное. В кластер же объединяют всегда нечто схожее.

Классический кластер в социологии — поколения. Но существуют ли они реально, или это имя без денотата? Формально это можно определить по функции распределения значений некоторого параметра по возрасту — если оно не унимодально, то кластеры существуют. По существу же можно спросить, есть ли причина, серьезно влияющая на параметры объекта и такая, что она по-разному действуют для части группы. Например, какие-то пережитые исторические события, повлиявшие на людей. «Послевоенное поколение» — 23, «Потерянное поколение» — 19, «Военное поколение» — 13, «Предвоенное поколение» — 0,7, «Поколение исхода» — 0,5 и, — о, мой личный восторг! — «Поколение П» — 180! Числа — это мощности кластеров в тысячах ссылок Google (тсG) — новых единицах, которые я предлагаю ввести…

На ком измерять

Специфической проблемой социологии является составление выборки, то есть определение, кого обмерять. Бюст, талию, бедра и так далее. В технике этот вопрос возникает два раза — при периодическом контроле и при выборочном контроле. Станок, поточная линия, вообще то или иное производство выпускает какие-то изделия и у каждого десятого, сотого или какого-то иного изделия контролируется некий параметр. Выбор частоты контроля определяется просто — прогнозом скорости дрейфа данного параметра, вызванного дрейфом параметров технологического процесса. Ну и, как всегда, стоимостью контроля и «стоимостью» пропуска какого-то количества бракованных изделий. Выборочный контроль — это скорее контроль не изготовителя, а получателя. Выбор из партии изделий производится случайным образом (если нет подозрений, что бракованные располагаются детерминировано — как хорошая хозяйка покупает на рынке?), а количество определяется ровно так, как сказано выше.

В плане классической метрологии это может быть сопоставлено с выбором объектов или моментов для измерения. Например, мне надо проконтролировать партию в восемь тысяч приборов, сложенных штабелем. Оказывается, не стоит брать для контроля из последнего верхнего слоя, что было бы проще всего, а надо, увы, брать из всех слоев. Сообразите сами, почему, и назовите несколько причин. Далее, сколько брать образцов для анализа? А как отбирать пробы воды для анализа загрязнений в пруду? Или вот — нам надо измерить напряжение в сети. А в какой момент надо измерять? Днем или вечером? Или ночью? Или в момент финала чемпионата мира по хоккею, в котором встретились команды России и Буркина-Фасо? А давление воды в водопроводе — в ходе игры или немедленно по ее завершении? В метрологии эти вопросы не являются вопросами первого плана, их обычно относят в разделы, посвященные контролю продукции. Для социологии эти вопросы фундаментальны.