Испытание техники высокого барьера

увеличение времени загрузки повышает качество данных в веб-исследованиях?

Аня С. Гёриц (Anja S Goritz), Университет Эрланген-Нюрнберг, Германия, Стефан Штигер (Stefan Stieger), Венский медицинский университет, Австрия, "Испытание техники высокого барьера: Неспособность найти доказательства того, что увеличение времени загрузки повышает качество данных в веб-исследованиях", "Методы исследования поведения" (Behavior Research Methods), 40(1):322-7, Март 2008 г.

Одной из проблем сбора данных через Интернет по сравнению с традиционными методами является увеличение отсева (O’Neil, Penrod, & Bornstein, 2003). Термин отсев обозначает преждевременный отказ участников от исследования до окончания анкетирования или интервью. Чтобы смягчить нежелательные последствия отсева для качества данных, Reips (2002) предложил такие методы, как метод разминки и метод высокого барьера. Участники с большей вероятностью отсеиваются в начале, чем ближе к концу анкеты. Причиной отсева участников в начале, как полагают, является их решение не принимать участия после того, как они удовлетворили свое любопытство относительно того, о чем исследование, как оно выглядит и ощущается. Напротив, ближе к концу анкеты - после того, как было потрачено значительное время - участники с большей вероятностью сохранят приверженность до самого конца. Чтобы извлечь максимум из этой модели, Рейпс предложил размещать важные вопросы ближе к концу исследования - метод, который он назвал техникой разминки.

В качестве второго метода Рейпс описывает технику высоких барьеров. Этот метод пытается спровоцировать участников с низким уровнем мотивации на ранний отказ от исследования, в результате чего в выборке остаются только высоко мотивированные респонденты. Ожидается, что эти оставшиеся участники предоставят данные высокого качества. Существуют различные виды барьеров, которые могут быть установлены в начале исследования: запросы личной и конфиденциальной информации, предупреждения о том, что участников можно отслеживать по их IP-адресу, искусственное увеличение времени загрузки первой страницы исследования.

В настоящем исследовании оценивается один вариант техники высокого барьера, который до сих пор не был эмпирически изучен - намеренное увеличение времени загрузки первой страницы исследования. Идея этой техники заключается в том, что это препятствие поможет отсеять респондентов с высоким уровнем мотивации от респондентов с низким уровнем мотивации. Ожидается, что высокомотивированные участники будут более готовы ждать, пока на экране появится первая страница исследования, чем люди с низким уровнем мотивации. Следовательно, эта искусственно увеличенная нагрузка на респондентов спровоцирует людей с низкой мотивацией выбывать в начале исследования. Ожидается, что участники, которые остаются приверженными, несмотря на это препятствие, предоставят данные более высокого качества, чем непросеянная выборка, где такого препятствия не было.

При определении диапазона манипулирования временем загрузки первой страницы исследования мы прислушались к рекомендациям Шнейдермана (1998) и Нильсена (2000), которые рекомендовали не загружать страницы дольше 10–15 секунд и 10 секунд соответственно. Если время загрузки превышает 10 секунд, даже терпеливые участники могут подумать, что произошла техническая ошибка (Lazar & Norcio, 1999), или участники могут почувствовать себя потерянными (Sears, Jacko, & Dubach, 2000). Следовательно, максимальная задержка загрузки была выбрана равной 9 секундам. Всего было четыре уровня задержки: (1) без задержки, (2) задержка 3 секунды, (3) задержка 6 секунд и (4) задержка 9 секунд. Добавляя физически необходимое время загрузки, оцененное в 1 секунду, к искусственно введенной задержке, получаем следующие значения времени загрузки в четырех экспериментальных условиях: 1, 4, 7 и 10 секунд.

В пригласительном письме содержалась гиперссылка на первую страницу исследования. Исследование было посвящено изображению различных научных дисциплин. После нажатия на эту гиперссылку - до появления первой страницы исследования - люди случайным образом распределялись по 4 условиям: им нужно было подождать 1, 4, 7 или 10 секунд, прежде чем на экране отобразится первая страница исследования.

6545 студентам Венского университета успешно отправили по электронной почте приглашение. Их адреса электронной почты были взяты из онлайн-адресной книги университета. Из них 1500 студентов достигли первой страницы анкеты. Из них 41 был отброшен, поскольку они не прошли проверку серьезности (самостоятельно сообщили о множественном или неискреннем участии). Таким образом, с 1459 действительными наборами данных уровень ответов составил 22,3%. С точки зрения демографических данных, участвующие студенты - как аспиранты, так и студенты - были в среднем 26,3 лет. В выборке 53% участников женщины, 98% австрийцы, 24% имели высшее образование.

Задержка (сек) 1, 4, 7, 10, респонденты (человек) 387, 356, 360, 356, выбыли 90 (23,3%), 95 (26,7%), 85 (23,6%), 75 (21,1%), количество отвеченных пунктов 67,3 (3,4), 66,7 (7,3), 66,7 (6,7), 66,6 (6,7), ответившие на 1 вопрос 234 (78,8%), 193 (73,9%), 218 (79,3%), 225 (80,1%), длина ответа 149,9 (122,1), 135,0 (172,1), 118,0 (79,5), 143,1 (183,3), ответившие на 2 вопрос 62 (21,0%), 48 (18,5%), 69 (25,3%), 68 (24,5%), длина ответа 159,9 (208,0), 162,6 (179,1), 145,6 (166,6), 144,6 (138,6).

Результаты подтверждают вывод о том, что увеличение времени загрузки как одного из вариантов техники высокого барьера не оправдывает своего обещания. Большое время загрузки снижает вероятность ответа людей на исследование, но в то же время не повышает качество данных.

Большое время загрузки представляет собой дополнительную нагрузку на респондента, но не нагрузку, подходящую для отсеивания респондентов с более высокой мотивацией от респондентов с более низкой мотивацией. Вместо этого большое время загрузки отталкивает потенциальных респондентов, независимо от уровня их мотивации. Вероятный механизм заключается в том, что респонденты, независимо от уровня их мотивации, считают большое время загрузки признаком технической проблемы с исследованием. Хотя не было никаких намеков на то, что увеличенное время загрузки приводит к смещению выбора, мы все равно можем подвергаться риску потери определенных клиентуры респондентов больше, чем других.

Необходимо провести исследования, чтобы выяснить, работает ли искусственная задержка загрузки страниц лучше при времени загрузки более 10 секунд. Кроме того, Рейпс (2002) предположил, что загрузка не только первой страницы исследования должна быть искусственно задержана, но загрузка первых нескольких страниц. При задержке загрузки только первой страницы - как это было сделано - некоторые из желаемых эффектов уже должны быть заметны. Однако, поскольку это оказалось не так, задержка загрузки первых нескольких страниц, вероятно, также не оправдает своих обещаний. Остается решить этот вопрос эмпирически в будущих исследованиях.

Подводя итог, искусственная задержка загрузки первой страницы исследования контрпродуктивна и, следовательно, не рекомендуется. Такая задержка не приносит никакого выигрыша с точки зрения качества данных, а вместо этого влечет за собой потери: она снижает отклик на исследование, требует от программистов тратить дополнительное время и может отпугнуть добровольцев от участия в будущих исследованиях, проводимых той же исследовательской организацией, поскольку эти добровольцы подозревают некомпетентность в технических вопросах.

17.03.2025

Комментарий:

Шнобелевская премия - 2001 - экономика

Дж. Слемрод из института бизнеса Мичиганского университета и В. Копчук, университет Британской Колумбии — за вывод о том, что люди способны отдалить дату своей смерти, если это позволяет снизить налог на наследство. Родственники сообщают неверные данные
подробнее

Шнобелевская премия мира 2019

Средняя интенсивность зуда на лодыжке и спине были значительно выше, чем на предплечье. Чем сильнее зуд при расчесывании, тем выше была приятность. Более высокий базовый зуд был связан с более высоким уменьшением зуда, вторичным по отношению к царапанию
подробнее

Источник - пресса

Шнобель Процедура Пресса Анналы Архив Статьи Шнобелист