Читать книгу - "Шум. Несовершенство человеческих суждений - Оливье Сибони"

J Watch, December 5, 2018, www.jwatch.org /na47998/2018/12/05/heart-score-has-substantial-interrater-reliability (reviewing Colin A. Gershon et al., “Inter-rater Reliability of the HEART Score”, Academic Emergency Medicine 26 [2019]: 552).

320 Мы уже говорили, что обучение…: Jean-Pierre Zellweger et al., “Intra-observer and Overall Agreement in the Radiological Assessment of Tuberculosis”, International Journal of Tuberculosis & Lung Disease 10 (2006): 1123, www.ncbi.nlm.nih.gov/pubmed/17044205; Ibrahim Abubakar et al., “Diagnostic Accuracy of Digital Chest Radiography for Pulmonary Tuberculosis in a UK Urban Population”, European Respiratory Journal 35 (2010): 689, https://erj.ersjournals.com/content/35/3/689.short.

321 Той же цели служит и обобщение…: Michael L. Barnett et al., “Comparative Accuracy of Diagnosis by Collective Intelligence of Multiple Physicians vs Individual Physicians”, JAMA Network Open 2 (2019): e19009, https://jamanetwork.com/journals/jamanetwork-open/fullarticle/2726709; Kimberly H. Allison et al., “Understanding Diagnostic Variability in Breast Pathology: Lessons Learned from an Expert Consensus Review Panel”, Histopathology 65 (2014): 240, https://onlinelibrary.wiley.com/doi/abs/10.1111/his.12387.

322 Выясняется, что лучшие из подобных программ…: Babak Ehteshami Bejnordi et al., “Diagnostic Assessment of Deep Learning Algorithms for Detection of Lymph Node Metastases in Women with Breast Cancer”, JAMA 318 (2017): 2199, https://jamanetwork.com/journals/jama/fullarticle/2665774.

323 самообучающиеся алгоритмы… работают также…: Varun Gulshan et al., “Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs”, JAMA 316 (2016): 2402, https://jamanetwork.com/journals/jama/fullarticle/2588763.

324 Уже сегодня искусственный интеллект по крайней мере не хуже…: Mary Beth Massat, “A Promising Future for AI in Breast Cancer Screening”, Applied Radiology 47 (2018): 22, www.ap- pliedradiology.com/articles/a-promising-future-for-ai-in-breast-cancer-screening; Alejandro Rodriguez-Ruiz et al., “Stand-Alone Artificial Intelligence for Breast Cancer Detection in Mammography: Comparison with 101 Radiologists”, Journal of the National Cancer Institute 111 (2019): 916, https://academic.oup.com/jnci/advance-article-abstract/doi/10.1093/jnci/djy222/5307077.

325 Таблица 3…: Apgar Score, Medline Plus, https://medlineplus.gov/ency/article/003402.htm (last accessed February 4, 2020).

326 шкала «Апгар» практически исключает шум…: L. R. Foster et al., “The Interrater Reliability of Apgar Scores at 1 and 5 Minutes”, Journal of Investigative Medicine 54, no. 1 (2006): 293, https://jim.bmj.com/content/54/1/S308.4.

327 Оценка и подсчет количества набранных баллов по данной шкале – действия относительно…: Warren J. McIsaac et al., “Empirical Validation of Guidelines for the Management of Pharyngitis in Children and Adults”, JAMA 291 (2004): 1587, www.ncbi.nlm.nih.gov/pubmed/15069046.

328 Проводилось исследование, позволившее выяснить, что BI-RADS…: Emilie A. Ooms et al., “Mammography: Interobserver Variability in Breast Density Assessment”, Breast 16 (2007): 568, www.sciencedirect.com/science/article/abs/pii/S0960977607000793.

329 отмечены также в патологической анатомии…: Frances P. O’Malley et al., “Interobserver Reproducibility in the Diagnosis of Flat Epithe-lial Atypia of the Breast”, Modern Pathology 19 (2006): 172, www.nature.com/articles/3800514.

330 Именно по этой причине подавление шума…: См. Ahmed Aboraya et al., “The Reliability of Psychiatric Diagnosis Revisited”, Psychiatry (Edgmont) 3 (2006): 41, www.ncbi.nlm.nih.gov/pmc/articles/PMC2990547. См. также краткий обзор: N. Kreitman, “The Reliability of Psychiatric Diagnosis”, Journal of Mental Science 107 (1961): 876–886, www.cambridge.org/core/journals/journal-of-mental-science/article/reliability-of-psychiatric-diagnosis/92832FFA170F4FF41189428С6A3E6394.

331 В 1964 году проводилось исследование, в котором участвовали 91 пациент…: Aboraya et al., “Reliability of Psychiatric Diagnosis Revisited”, 43.

332 В попытках…: C. H. Ward et al., “The Psychiatric Nomenclature: Reasons for Diagnostic Disagreement”, Archives of General Psychiatry 7 (1962): 198.

333 Клинический специалист – сторонник концепции влияния психологических травм…: Aboraya et al., “Reliability of Psychiatric Diagnosis Revisited”.

334 Третья редакция DSM – III привела к существенному…: Samuel M. Lieblich, David J. Castle, Christos Pantelis, Malcolm Hopwood, Allan Hunter Young, and Ian P. Everall, “High Heterogeneity and Low Reliability in the Diagnosis of Major Depression Will Impair the Development of New Drugs”, British Journal of Psychiatry Open 1 (2015): e5–e7, www.ncbi.nlm.nih.gov/pmc/articles/PMC5000492/pdf/bjporcpsych 1_2_e5.pdf.

335 И все же успех «Руководства…» высоко оценивать…: Lieblich et al., “High Heterogeneity”.

336 Даже в 2000 году, после серьезного пересмотра документа…: См. Elie Cheniaux et al., “The Diagnoses of Schizophrenia, Schizoaffective Disorder, Bipolar Disorder and Unipolar Depression: Interrater Reliability and Congruence Between DSM – IV and ICD‑10”, Psychopathology 42 (2009): 296–298, особенно 293; и Michael Chmielewski et al., “Method Matters: Understanding Diagnostic Reliability in DSM – IV and DSM‑5”, Journal of Abnormal Psychology 124 (2015): 764, 768–769.

337 «повысило надежность диагностики»…: Aboraya et al., “Reliability of Psychiatric Diagnosis Revisited”, 47.

338 серьезные риски…: Aboraya et al., 47.

339 Новая версия «Руководства…»: См. Chmielewski et al., “Method Matters”.

340 Ассоциация американских психиатров…: См., например, Helena Chmura Kraemer et al., “DSM‑5: How Reliable Is Reliable Enough?”, American Journal of Psychiatry 169 (2012): 13–15.

341 в сообществе психиатров по-прежнему отмечается…: Lieblich et al., “High Heterogeneity”.

342 психиатры ожесточенно спорят…: Lieblich et al., “High Heterogeneity”, e‑5.

343 Полевые испытания DSM – V показали…: Lieblich et al., e‑5.

344 Упомянутые нами полевые эксперименты…: Lieblich et al., e‑6.

345 Основной причиной скромного…: Aboraya et al., “Reliability of Psychiatric Diagnosis Revisited”, 47.

346 Их рекомендации включают, во‑первых, прояснение…: Aboraya et al.

347 Один из аналитиков заметил…: Aboraya et al.

348 и медики решительно в них нуждаются…: Некоторые поучительные примеры можно найти у Christopher Worsham and Anupam B. Jena, “The Art of Evidence-Based Medicine”, Harvard Business Review, January 30, 2019, https://hbr.org/2019/01/the-art-of-evidence-based-medicine.

Глава 23

349 заголовок в одной из газет…: Jena McGregor, “Study Finds That Basically Every Single Person Hates Performance Reviews”, Washington Post, January 27, 2014.

350 широко распространены аттестации с применением методов суждения…: Переход на цифровые технологии, который сегодня практикуют многие компании, создаст в этой области новые возможности. Теоретически компании способны собрать множество мельчайших подробностей о деятельности каждого сотрудника в процессе работы. Подобные данные позволят использовать исключительно алгоритмический подход при оценке эффективности работы на некоторых должностях. Мы же сосредоточимся на тех позициях, где из оценки эффективности невозможно полностью устранить фактор суждения. См. E. D. Pulakos, R. Mueller-Hanson, and S. Arad, “The Evolution of Performance Management: Searching for Value”, Annual Review of Organizational Psychology and Organizational Behavior 6 (2018): 249–271.

351 большинство авторов приходит к выводу…: S. E. Scullen, M. K. Mount, and M. Goff, “Understanding the Latent Structure of Job Performance Ratings”, Journal of Applied Psychology 85 (2000): 956–970.

352 Остальные 70–80 %…: По результатам некоторых исследований лишь небольшая часть (10 % общей дисперсии) является так называемой точкой зрения оценивающего эксперта, или эффектом уровней организации. Точка зрения оценивающего эксперта означает, что в отношении одного и того же лица босс будет систематически расходиться во мнениях со своим заместителем, а тот – с подчиненным. Истолковывая результаты модели оценки “360 градусов” в благоприятном свете, кто-то наверняка заявит, что данный феномен не является