Введение Два вида ошибок

Представьте, что в стрелковый тир пришли четыре компании друзей. В компаниях по пять человек; они получают по винтовке на команду, и каждый участник производит один выстрел. Результаты показаны на рисунке 1.

В идеале все выстрелы попали бы точно в «десятку».


Рис. 1. Четыре команды


У команды А почти так и вышло: все попадания сгруппировались возле цели.

Результаты команды B можно назвать смещенными, поскольку все промахи легли по одну сторону от «яблочка». Систематичность промахов, наглядно представленная на рисунке, позволяет предположить, что очередной выстрел пришелся бы недалеко от первых пяти, а также что у винтовки, возможно, попросту сбит прицел.

Результаты команды C мы назовем шумными: попадания разбросаны по всей мишени. Поскольку они все-таки сосредоточены преимущественно вокруг центра, очевидного смещения не наблюдается. Если участник команды выстрелит снова, мы едва ли сможем предугадать, куда он попадет. Более того, нам не удастся выдвинуть никакой содержательной гипотезы, чтобы объяснить подобный результат. Эта команда стреляет плохо. Почему в их результатах столько шума – неизвестно.

У команды D результаты смещенные и шумные одновременно: систематические промахи, как у команды B, и широкий разброс, как у команды C.

Впрочем, эта книга не про стрельбу по мишеням – она про человеческие ошибки. Смещение и шум, или, другими словами, систематические отклонения и случайный разброс, – это составляющие ошибок. Пример с мишенями наглядно показывает1, в чем между ними отличие.

Стрельба по мишени – образное представление сбоев в процессе вынесения людьми суждений, особенно когда принимаются всевозможные решения в интересах организаций. Тогда-то и происходят те самые ошибки с рисунка 1. Одни суждения содержат смещения и систематически не попадают в цель. Другие можно назвать шумными: вместо согласованных действий мы видим попадания, разбросанные по всей мишени. К несчастью, для многих организаций характерны оба типа ошибок.

На рисунке 2 показано важное отличие между смещением и шумом. Представьте, что вы заглядываете на оборотную сторону мишеней, по которым стреляли наши команды, где «яблочко» не обозначено.

С этой стороны вы не определите, кто оказался ближе к «десятке»: команда А или команда B. Зато сразу же понятно, что шумный результат именно у команд С и D, ведь разброс попаданий здесь так же очевиден, как и на рисунке 1. Шум можно обнаружить и измерить, даже ничего не зная ни о цели, ни о смещении, – это одно из его основных свойств.


Рис. 2. Оборотная сторона мишеней


Вышеупомянутое свойство шума весьма существенно для целей этой книги. Ко многим заключениям мы пришли, изучая суждения, о справедливости которых мы не имеем ни малейшего понятия. Если диагнозы разных врачей пациенту не совпадают, мы вполне можем исследовать расхождения в медицинских заключениях, не владея информацией о том, чем на самом деле болен этот человек. Разницу в оценках рыночной стоимости фильма кинопродюсерами можно изучить, не будучи в курсе, какую кассу в итоге сделал фильм или был ли он вообще снят. Нет нужды знать, кто прав, чтобы определить, насколько при этом разнятся оценки. Чтобы измерить уровень шума, нужно всего лишь заглянуть на оборотную сторону мишени.

Понять природу ошибочных суждений невозможно без понимания сущности смещения и шума. Как мы убедимся далее, порой основную проблему представляет собой именно шум. Однако в организациях по всему миру, а также при проведении общественных дискуссий ему редко уделяется должное внимание. Главную роль всегда отводят смещению, а шуму достается удел жалкого статиста. О смещении написаны тысячи научных работ и десятки бестселлеров, а шум при этом едва упоминается. С помощью этой книги мы попытаемся установить равновесие.

Зачастую, когда решения принимаются на практике, уровень шума просто зашкаливает. Вот несколько примеров пугающих масштабов шума в ситуациях, где суждения должны быть безошибочными:


• Шум в медицине. Врачи могут сильно расходиться во мнениях по поводу диагноза одному и тому же пациенту. Такие ситуации нередки с диагностированием рака кожи, груди, болезней сердца, туберкулеза, пневмонии, депрессии и целого ряда других заболеваний. Особенно высок уровень шума в психиатрии, где без субъективных суждений просто не обойтись. Вместе с тем на удивление заметный уровень шума наблюдается даже в таких областях медицины, как, например, чтение рентгеновских снимков.


• Шум при вынесении решений об опеке2. Специалисты органов по защите малолетних должны оценить, угрожает ли ребенку жестокое обращение, и если да, передать его приемным родителям. В системе опеки уровень шума весьма значителен: некоторые специалисты гораздо охотнее, чем коллеги, направляют детей в приемные семьи. Годы спустя несчастные дети, чью судьбу решили более жесткие сотрудники, поместив их под опеку, совершают больше правонарушений, чаще рожают в подростковом возрасте и имеют в дальнейшем более низкие доходы.


• Шум в прогнозировании. Мнения профессиональных прогнозистов не совпадают касательно ожидаемых объемов продаж нового продукта, предполагаемого роста безработицы, вероятности банкротства проблемных компаний – в общем, чего угодно. Прогнозисты противоречат не только друг другу, но даже сами себе. К примеру, когда одних и тех же разработчиков программного обеспечения3 дважды в разные дни попросили оценить сроки выполнения одного и того же задания, их оценки в среднем отличались на 71 %.

• Шум в решениях о предоставлении убежища4. Подача прошения об убежище в США чем-то сродни лотерее. При изучении дел, случайным образом распределенных между разными судьями, обнаружилось, что один судья предоставлял убежище 5 % просителей, тогда как другой – 88 %. Исследование носит красноречивое название: «Рулетка для беженцев». (О рулетке мы с вами еще поговорим, и не раз.)


• Шум в кадровых вопросах. Специалисты, проводящие собеседования, совершенно по-разному оценивают одних и тех же соискателей. Оценки производительности труда персонала тоже сильно различаются и в большей степени зависят от личности оценивающего, чем от продуктивности сотрудника.


• Шум в решениях об освобождении под залог. Выпустят ли обвиняемого под залог или оставят ожидать суда в тюрьме, отчасти зависит от судей, слушающих дело: некоторые из них проявляют заметно бо́льшую снисходительность. Судьи также весьма по-разному оценивают вероятность побега или повторного правонарушения подсудимых.


• Шум в криминалистике. Мы привыкли безоговорочно доверять идентификации по отпечаткам пальцев. Но специалисты в этой области иногда расходятся во мнениях о том, совпадают ли отпечатки с места преступления с отпечатками подозреваемого. Эксперты могут не только не соглашаться друг с другом, но даже делать непоследовательные выводы по поводу одних и тех же отпечатков. Документально подтверждены подобные расхождения и в других областях судебной медицины, в частности даже при анализе ДНК.


• Шум при выдаче патентов5. Авторы ведущего исследования о патентных заявках подчеркивают роль шума: «Результат подачи заявки на патент в значительной степени зависит от того, кому поручено ее рассмотрение». С точки зрения беспристрастности такая вариативность, конечно же, вызывает озабоченность.

Все эти ситуации – лишь верхушка огромного айсберга. Когда имеешь дело с человеческими суждениями, вероятность обнаружить шум весьма велика. Повысить качество суждений можно, только устранив как шум, так и смещение.

Эта книга состоит из шести частей. В части I мы исследуем разницу между шумом и смещением и демонстрируем присутствие шума в деятельности как государственных, так и частных организаций, причем порой его уровень может быть ошеломляюще высоким. Чтобы оценить проблему, мы начинаем с рассмотрения суждений в двух сферах. Первая – вынесение уголовных приговоров (государственный сектор), вторая – страхование (частный сектор). На первый взгляд области совсем разные, но, когда дело касается шума, у них оказывается много общего. Чтобы это подтвердить, мы предлагаем процедуру ревизии шумовых помех, которая позволяет измерить уровень разногласий среди профессионалов по определенным вопросам внутри одной организации.

В части II мы изучаем природу человеческих суждений и выясняем, как можно измерить их точность или ошибочность. Суждениям свойственны как смещение, так и шум – и мы демонстрируем, что влияние обоих типов ошибок может быть на удивление равноценным. Ситуативный шум – это разброс в суждениях одного человека или группы по одному и тому же вопросу в разное время. На удивление часто такой шум возникает в групповых обсуждениях под воздействием, казалось бы, незначительных факторов, например очередности выступлений.

Часть III – это более пристальный взгляд на уже хорошо изученный вид суждений: прогнозные оценки. Мы исследуем важнейшее преимущество правил, формул и алгоритмов перед человеком в деле составления прогнозов. Вопреки расхожему мнению, превосходство правил заключается не в том, что они лучше помогают вникнуть в суть вопроса, а в том, что они не производят шума. Мы обсуждаем абсолютный предел, который, как и шум, ограничивает качество прогнозных суждений: объективную неосведомленность о будущем. Напоследок мы отвечаем на вопрос, которым вы к тому моменту уже наверняка зададитесь: если шум настолько вездесущ, почему мы не замечали его раньше?

В части IV мы обращаемся к человеческой психологии и объясняем главные причины шума. К ним относятся межличностные различия, возникающие вследствие разнообразных факторов: качеств характера, когнитивного стиля, особенностей взвешивания «за» и «против» во время принятия решений, разницы в восприятии одинаковых шкал. Мы отвечаем на вопрос, почему люди не замечают шум и зачастую совсем не удивляются, когда происходят события или принимаются решения, предвидеть которые они никак не могли.

В части V исследуется практический вопрос: как улучшить суждения и предотвратить ошибки? (Читатели, которых интересует главным образом применение методов снижения шума на практике, могут пропустить обсуждение проблем прогнозирования и психологии суждений в частях III и IV и сразу перейти к этой.) Мы изучаем попытки справиться с шумом в медицине, бизнесе, образовании, управлении и других сферах и предлагаем несколько методов снижения уровня шума под общим названием гигиена принятия решений. Пять тематических исследований, проведенных в областях деятельности с высоким уровнем шума, продемонстрируют активные усилия, приложенные по его снижению – с различной степенью успеха, – что весьма поучительно. Сюда включены исследования недостоверных медицинских диагнозов, оценок показателей производительности, ошибок в криминалистике, в кадровых вопросах и в прогнозировании в целом. В завершение мы предлагаем систему, которую назвали протоколом промежуточных оценок. Это универсальный подход к оценке имеющихся вариантов, включающий в себя самые важные методы в процедуре гигиены принятия решений. Он ставит своей целью снижение уровня шума и повышение надежности суждений.

Каков оптимальный уровень шума? Об этом мы поговорим в части VI. Как ни парадоксально, полное отсутствие шума – это не лучший вариант. В одних областях просто невозможно избавиться от шума полностью, в других это слишком дорого. Есть сферы, в которых попытки снизить уровень шума поставят под угрозу другие важные ценности. К примеру, можно подорвать моральный дух и заставить людей чувствовать себя винтиками в большой машине. Когда частью решения проблемы становятся алгоритмы, возникают всевозможные возражения, и в этой главе мы попытаемся рассмотреть некоторые из них. И все же наблюдаемый сейчас уровень шума во многих областях деятельности просто недопустим. Мы призываем государственные и частные структуры провести ревизию шума и принять беспрецедентные усилия по его снижению. Если это удастся, можно будет частично устранить повсеместную несправедливость и сократить многие издержки.

Рассчитывая на осуществление такого сценария, мы заканчиваем каждую главу краткими предложениями в виде цитат. Можете использовать их без изменений или адаптировать для соответствующей области применения – будь то здравоохранение, безопасность, образование, финансы, сфера занятости, индустрия развлечений или любая другая. Коллективные усилия, направленные на изучение и решение проблемы шума, все еще продолжаются. У всех нас есть возможность внести в эту работу свой вклад, и эта книга написана в надежде, что мы ею воспользуемся.