Юрий Курносов - Аналитика: методология, технология и организация информационно-аналитической работы

• Название: Аналитика: методология, технология и организация информационно-аналитической работы
• Автор: Юрий Курносов
• Издательство: Русаки
• Жанр: Прочая научная литература
• Год: 2004
• ISBN: 5-93347-151-8

В книге рассматривается широкий спектр вопросов, связанных с методологией, организацией и технологиями информационно-аналитической работы (безотносительно к области деятельности). Книга содержит и разделы, непосредственно посвященные методам и приемам эффективной организации мыслительной деятельности (как учебной, так и профессиональной), и разделы, затрагивающие вопросы, связанные с разработкой технологического инструментария информационно-аналитической работы.

Раскрыта сущность интеллектуальных технологий. Определена роль ряда научных дисциплин, прежде всего философии, социологии, логики, математики, экономической науки, информатики, управленческой науки, психологии и др. в формировании современной русской аналитической школы. Показаны возможности использования методик и моделей системного анализа для исследования социально-политических и экономических процессов, прогнозирования и организации эффективного функционирования систем управления предприятиями и учреждениями на принципах развития, совершенствования процессов принятия управленческих решений.

Для специалистов, занятых в сфере информационно-аналитического обеспечения управленческой деятельности, руководителей информационно-аналитических центров и подразделений, сотрудников СМИ и PR-центров, научных работников, аспирантов и студентов.

---

Семантическая компонента формальной системы, используемой для представления данных, полученных в результате процедур принципиально различного типа, обычно остается вне поля зрения аналитика вплоть до завершения цикла аналитической обработки, когда привлекается модель интерпретации результатов. Но, в то же время, именно семантическая компонента определяет саму схему обработки данных (содержание метода).

В рамках рассмотрения методов обработки и анализа числовых данных мы не будем рассматривать математические процедуры и операции, традиционно используемые для обработки результатов инструментальных измерений. Наше внимание будет сосредоточено на проблемах обработки численных данных, полученных в результате проведения опроса экспертов, поскольку этот класс данных отличается отсутствием возможности аналитическим путем оценить точность полученных данных. В числе таких методов следует выделить два класса:

— методы экспертных оценок;

— метод решающих матриц.

Методы экспертных оценок представляют собой еще одну разновидность способов привлечения опыта и знаний экспертов для решения задач управления и анализа сложных систем. Метод экспертных оценок представлен множеством модификаций, и, по мнению некоторых авторов, является более широким классом, нежели такие классы методов, как мозговые атаки, методы типа Дельфи и иные, основанные на опросе мнений экспертов. Но авторы этой книги считают иначе — не стоит смешивать различные виды классификаций: классификацию по способу активизации мышления, классификацию по источнику знаний и классификацию по способу обработки полученных данных.

По причине такого смешения и возникла путаница — методы экспертных оценок по источнику знаний равноценны методам коллективной генерации идей, методам типа Дельфи и методам опроса экспертов, по способу обработки — включает перечисленные методы, а к классу методов активизации мышления вообще никак не относится. Заметим, что в данном случае мы сосредоточим внимание на способе обработки данных, полученных в ходе экспертных опросов, на методах анализа экспертных оценок.

Рассматривая возможность использования экспертных оценок, обычно исходят из того, что неизвестная характеристика исследуемого явления может трактоваться как случайная величина, знаниями о законе распределения которой располагает специалист-эксперт. Также предполагается, что эксперт в силах оценить достоверность и значимость того или иного события, происходящего в системе. То есть, применительно к группе экспертов, считается, что истинное значение исследуемой характеристики находится внутри диапазона экспертных оценок, полученных от группы, и что в результате обобщения мнений экспертов может быть получена достоверная оценка.

Однако это не всегда так, поскольку все зависит от первоначального объема знаний о системе и степени изученности проблемы. Если знания экспертов в данной предметной области достаточно обширны, для того, чтобы полагать группу экспертов «хорошим измерителем», тогда, действительно, предположение об адекватности коллективной оценки небеспочвенно. Но если такой уверенности нет, многие приемы обработки данных экспертных опросов оказываются не только неэффективны, но и вредны. Организатор опроса должен сознавать, в какой из перечисленных ситуаций он пребывает. В зависимости от этого, внимание может концентрироваться на «случайных выбросах», как элементе нового знания, которое стоит рассматривать, как вероятно плодотворный подход (коль скоро общепринятые теории не дают желаемого результата).

Надо сказать, что должность эксперта не является экзотической для государственного устройства России. Так, мало кто из опрошенных нами сотрудников информационно-аналитических подразделений смог расшифровать хорошо известное по школьному курсу русской литературы словосочетание «коллежский асессор». Каково же было их удивление, когда они узнали, что на самом деле оно соответствует современной должности «эксперт коллегии», «научный консультант»!

Обычно, когда речь идет о применении экспертных оценок, рассматривается целый комплекс проблем, так или иначе связанных с этой процедурой, при этом рассматривают:

1. Процедуры формирования экспертных групп (это и требования к квалификации экспертов, их психологическим характеристикам, размерам групп, и вопросы тренировки экспертов);

2. Формы проведения экспертного опроса (способы проведения анкетирования, интервьюирования, смешанные формы) и методики организации опроса (создание психологической мотивации, методики анкетирования, применения методов активизации мышления);

3. Подходы к оцениванию результатов (ранжирование, нормирование, различные виды упорядочения, включая методы предпочтений, попарных сравнений и др.) и методы обработки экспертных оценок;

4. Способы определения согласованности мнений экспертов, достоверности экспертных оценок (например, статистические методы оценки дисперсии, оценки вероятности для заданного диапазона изменений оценок, оценки ранговой корреляции, коэффициента конкордации и иные);

5. Методы повышения согласованности оценок путем применения соответствующих способов обработки результатов экспертного опроса.

Пункты 1 и 2 данного перечня отчасти рассмотрены в подразделе, посвященном методам активизации мышления, и в большей степени относятся к проблемам организационного плана. Здесь же наш интерес будет сосредоточен на проблемах, перечисленных в пунктах 3–5.

Существенный интерес с точки зрения механизмов обработки экспертных оценок представляет проблема выбора вида шкал, используемых в ходе опроса. Выделяются следующие классы шкал:

— шкалы равномерные и неравномерные;

— шкалы абсолютные и нормированные;

— шкалы дискретные и непрерывные;

— шкалы одноуровневые и иерархические;

— шкалы измерений и отношений;

— шкалы одномерные и многомерные.

Равномерные шкалы представляют собой такой вид шкал, для которых расстояние (модуль метрики) между любой парой ближайших терминов является постоянным, это условие должно выполняться и для пространственной интерпретации шкалы.

Неравномерные шкалы представляют собой такой вид шкал, для которых либо геометрическое расстояние, либо расстояние измеренное в пространстве признаков (модуль метрики) между соседними двумя терминами не является постоянным в рамках шкалы. Используются тогда, когда некий интервал значений представляет особый интерес для исследователя, для чего число терминов в этом интервале увеличивается, либо производится смена масштаба отображения (что редко обходится без введения новых терминов или их квантификаторов).

Абсолютные шкалы — это шкалы, на которых в качестве терминов выступают конкретные значения абсолютных величин. Чаще всего такие шкалы используются при отображении результатов, полученных на выборках равного объема, либо для протоколирования оценок экспертов.

Нормированные шкалы — это шкалы, на которых расстояние между соседними терминами измеряется в долях или кратно (в разах) некоторой величине, то есть, эти шкалы выражаются в относительных единицах. В качестве «нормы» может быть взят объем конкретной выборки (при сопоставлении частотно-рангового распределения выборок разного объема), максимальное значение некоторой величины и иные величины, относительно которых могут выполняться операции сравнения. Например, в качестве величины, относительно которой может быть нормирована некая шкала, иногда рассматривают и значение наименьшей величины — в этом случае расстояние между терминами этой шкалы будет по модулю равно этой величине.

Применение дискретных шкал основано на установлении соответствия между некоторым фиксированным множеством терминов-оценок и совокупностью численных показателей, подлежащих дальнейшей обработке. Такой подход позволяет сократить разброс характеристик к необходимому уровню разнообразия и стандартизировать тезаурус. Существует ряд ограничений на мощность множества терминов, связанных с тем, что чрезмерное разрастание этого множества ухудшает восприятие шкалы из-за усложнения процедуры различения смежных терминов экспертом. В ряде случаев это может привести к снижению темпов работы экспертов, возникновению стрессовых ситуаций в ходе опроса, вызванных сложностью идентификации термина с оценкой эксперта. Другой крайностью является излишняя терминологическая бедность шкалы, приводящая к снижению точности оценки. Разрешению этой проблемы отчасти может способствовать использование иерархических шкал.