Красные карточки футболистам и цвет кожи

Красные карточки футболистам и цвет кожи

Достижения в методах и практиках психологической науки

футбольный судья Пьерлуиджи Коллина

29 команд, включающих 61 аналитика, использовали один и тот же набор данных для решения одного и того же исследовательского вопроса. Чаще ли футболисты с темным оттенком кожи, чем футболисты со светлым оттенком кожи, получают красные карточки от судей? Исследование показывает, как различаются аналитические подходы и делает прозрачным то, как результаты зависят от того или иного аналитического выбора. В научном процессе творчество в основном связано с генерацией проверяемых гипотез и разработкой подходящих исследовательских проектов. Что, если научные результаты сильно зависят от субъективных решений на этапе анализа? Тогда процесс сертификации конкретного результата на основе своеобразной стратегии анализа может быть чреват непризнанной неопределенностью, а результаты исследований менее заслуживают доверия, чем кажутся на первый взгляд. Если бы авторы сделали другие предположения, можно было бы наблюдать совершенно другой результат. Решение дать игроку красную карточку приводит к удалению игрока из игры. Несмотря на стандартный набор правил и указаний как для игроков, так и для официальных лиц матча, решения судьи часто чреваты двусмысленностью. По сути, это решение судьи относительно того, заслуживает ли поведение игрока красной карточки.

Можно было бы ожидать, что игроки с более темным оттенком кожи будут получать больше красных карточек из-за эффектов ожидания в социальном восприятии, которые приводят к тому, что неоднозначное поведение интерпретируется в соответствии с предыдущими установками и убеждениями. В таких разных обществах, как Индия, Китай, Доминиканская Республика, Бразилия, Ямайка, Филиппины, США, Чили, Кения и Сенегал, светлая кожа рассматривается как признак красоты, статуса и социального достоинства. Негативное отношение к людям с темной кожей может привести к тому, что судья интерпретирует неоднозначное нарушение как серьезное и примет решение дать красную карточку. Краудсорсинговый анализ данных - стратегия, с помощью которой набираются многочисленные исследовательские группы для одновременного изучения одного и того же исследовательского вопроса. Краудсорсинговый проект проходил через ряд этапов, включая сбор уникального набора данных, используемого для проекта, набор аналитиков, оценку их субъективных представлений о проверяемой гипотезе, повторные раунды анализа данных и коллегиальные оценки качества анализа, онлайн обсуждение и дебаты по электронной почте, а также составление и редактирование настоящего отчета.

От компании, занимающейся спортивной статистикой, получили демографические данные всех футболистов (2053), игравших в первых мужских дивизионах Англии, Германии, Франции и Испании в сезоне 2012–2013 годов. Сюда вошли данные о взаимодействии этих игроков со всеми судьями (3147), с которыми они сталкивались в своей профессиональной карьере. Эти данные включали количество матчей, в которых игроки и судьи встречались друг с другом, а также зависимую переменную - количество красных карточек, выданных игроку конкретным судьей. Набор данных был доступен в виде списка, содержащего 146 028 пар игроков и судей. Фотографии игроков доступны у 1586 игроков. Оттенок их кожи закодирован как 0 (светлая кожа) и 1 (темная кожа). Для игроков данные включали их типичное положение, вес и рост, а для судей - страну происхождения. Для каждой диады данные включали количество судей и игроков, встретившихся друг с другом в играх, а также количество врученных желтых и красных карточек. Важно отметить, что набор архивных данных дает возможность оценить величину взаимосвязи между переменными (т. е. оттенком кожи игрока и решениями судьи о красной карточке), но не дает возможности выявить причинно-следственные связи.

Описание проекта разместили в Интернете. Документ включал обзор вопроса исследования, описание набора данных и запланированные сроки. Проект рекламировался через блоги известных учёных и устные сообщения. Всего участвовал 61 аналитик данных. Демографический опрос показал, что руководители групп работали в 13 разных странах и имели разный исследовательский опыт, включая психологию, статистику, методы исследования, экономику, социологию, лингвистику и менеджмент. 38 аналитика имели степень доктора философии (62%), 17 - степень магистра (28%). Исследователи включали 8 профессоров (13%), 22 доцента (37%), 8 постдоков (13%) и 17 докторантов (28%). Кроме того, 27 участников (46%) читали курс статистики для студентов, 22 (37%) для аспирантов и 24 (39%) опубликовали как минимум одну методологическую/статистическую статью.

Исследовательские группы выбрали собственный аналитический подход для проверки общих исследовательских вопросов и проанализировали данные независимо от других команд .Затем команды представили структурированное резюме своего аналитического подхода, включая информацию о преобразованиях данных, исключениях, ковариатах, используемом статистическом методе, используемом программном обеспечении, единицах размера эффекта и результатах. Аналитические подходы сильно различались в разных командах, а предполагаемая величина эффекта варьировалась от 0,89 до 2,93 в единицах отношения шансов со средним значением 1,31. 20 команд (69%) обнаружили статистически значимый положительный эффект кожа-карточка, а 9 команд (31%) отметили незначительную взаимосвязь. Авторы обнаружили, что ни предыдущие убеждения аналитиков об эффекте, ни их уровень знаний, ни рецензируемое качество анализа не могли легко объяснить различия в результатах анализа. Это говорит о том, что значительных различий в анализе сложных данных может быть трудно избежать даже экспертам с честными намерениями.

Наблюдаемые результаты на основе сложного набора данных могут во многом зависеть от оправданных, но субъективных аналитических решений. Таким образом, неопределенность в интерпретации результатов исследований - это не просто функция статистической мощности или наличия сомнительных исследовательских практик, это также функция многих разумных решений, которые исследователи должны принять для проведения исследования. Лучшая защита от субъективности в науке - это ее разоблачение.

Рафаэль Зильберзан (Raphael Silberzahn), Университет Сассекса, Англия, Паскуале Ансельми (Pasquale Anselmi), Анна Далла Роза (Anna Dalla Rosa), Университет Падуи, Италия, Моника Гамес-Джокич (Monica Gamez-Djokic), Северо-Западный университет, США, и ещё 60 специалистов опубликовали работу "Множество аналитиков, один набор данных: прозрачность того, как изменения в аналитическом выборе влияют на результаты" в журнале "Достижения в методах и практиках психологической науки", 1(3), 2018, сс. 337–356.

20.10.2023