• Основен
  • Новини
  • Колко различни са хората, които не отговарят на анкетите?

Колко различни са хората, които не отговарят на анкетите?

от Еванс Уит и Джонатан Бест, изследователски сътрудници на Princeton Survey

за Pew Internet & American Life Project

В средата на 2007 г. Изследователски сътрудници на Princeton Survey проведоха голямо проучване за интернет проекта Pew и Университета на Илинойс-Урбана-Шампан за това как хората решават определени видове проблеми.1Финансирането на това проучване е осигурено от федерална агенция, наречена Институт за музейно и библиотечно обслужване.2Всички проучвания, подкрепени от федералното правителство, се преглеждат от Службата за управление и бюджет на Белия дом. В процеса на оценка на нашето проучване служители на OMB попитаха дали можем да свършим допълнителна работа, за да проверим дали неотговорилите на първоначалното допитване са различни от тези, които са отговорили. Следващата статия откъсва основните констатации от този допълнителен анализ.

Обобщение на констатациите

През последните две десетилетия изследователската професия се сблъсква с все по-голям брой американци, които не успяват да попълнят интервюта. Нивата на такъв отговор не повдигат въпроси относно представителността и валидността на проучванията и данните, които те предоставят. Допълнителният анализ, изготвен по искане на Службата за управление и бюджет на Белия дом (OMB), имаше три елемента.

Първо, усилията за интервюиране на подпроба от телефонни номера, генерирани чрез компютъризирани методи за набиране на произволни цифри (RDD), бяха удвоени. RDD е практиката на анкетьорите да генерират резултати от произволно, представително подмножество на популация. Оригиналният дизайн на проучването изискваше максимум 10 обаждания до всеки номер. Избрахме 1500 от телефонните номера, които не дадоха пълни интервюта след 10 обаждания, и ги обадихме поне 20 пъти. Резултатите от това допълнително усилие бяха сравнени с резултатите от стандартното усилие от 10 разговора.



Второ, беше извършен анализ на резултатите от проучванията от базовия дизайн на 10 разговора чрез сегментиране на интервютата по количеството усилия, действително необходими за постигане на резултати.

Трето, общата извадка от телефонни номера и подгрупата, които предоставиха завършени интервюта, използвайки дизайна на 10 разговора, бяха анализирани, за да се определи какъв тип общности са по-слабо и свръх представени в завършени интервюта.

Резултатите от анализа установиха:

    • Удвояването на усилията за интервюиране до 20 обаждания доведе до 84 допълнителни интервюта. Резултатите от тези интервюта за допълнителни усилия варират само от време на време и незначително от резултатите в основното проучване.
    • Допълнителните усилия за интервюиране предизвикаха отговори от онези, които обикновено са по-трудни за достигане в проучванията: По-младите възрастни, работещите възрастни и тези с висше образование са по-голям дял от допълнителните интервюта.
    • Анализът на първоначалното проучване по нивото на усилията, необходими за постигане на интервю, разкри малко статистически значими разлики. С други думи, имаше малко съществени разлики между тези, които бяха достигнати през първата вълна от обаждания, в сравнение с тези, които бяха достигнати на деветия или десетия опит за телефонен номер. Анализът на пълната извадка от RDD и завършените интервюта с „допълнителни усилия“ по характеристики на общността показаха, че интервютата се изпълняват най-трудно в градските райони и най-лесно в селските райони. Въпреки че изглежда, че няма значителни различия между общностите по средния доход на домакинството, районите с по-голямо малцинствено население (както испанците, така и афро-американците) са по-малко продуктивни по отношение на интервюирането, паралелно с констатацията в градските райони.

    Въпросът за липсата на отговор на анкетата

    По-малко хора отговарят на проучвания сега, отколкото в миналото. Тези неуспехи при попълването на интервюта са резултат от различни фактори, но най-големите компоненти са безконтактността (т.е. неуспехът да се достигне до човек на местоположението или телефонния номер, посочен като част от извадката) и отказ (резултатът от активни или пасивни дейности, за да се избегне попълването на анкетата). По този начин въпросът: Как хората, които не са попълнили анкетата, се различават от тези, които са го направили?

    В анкети има различни отлични резюмета на изследванията за липса на отговор и потенциални пристрастия от липсата на отговор. Последното от тях еТримесечие на общественото мнение, специален брой: Пристрастност без отговор в проучванията на домакинствата.3ThePOQспециалният брой включва доклад за най-новия голям експеримент за измерване на въздействието на допълнителните усилия за попълване на телефонни интервюта.4Основна характеристика на всеки от тези два експеримента беше да се сравни стандартно проучване на RDD, попълнено за петдневен период, с проучване на RDD, използващо същия въпросник, същия дизайн на извадката, примерната полева къща, но период на повикване, който се простираше за повече от шест месеца. PSRAI участва във всеки от тези експерименти. Въз основа на тези модели, този експеримент е проектиран с трите елемента, описани в резюмето по-горе.

    Основен анализ на усилията 1: Въздействието на интервюиращите усилия

    Изчислена е променлива от три категории, която помага при анализа на количеството усилия, необходими за попълване на интервюта.

      • „Трудно“ за достигане:Телефонни номера, набрани шест или повече пъти в оригиналната пробаикъдето потенциалните респонденти отказаха да бъдат анкетирани, бяха определени като „твърди“, което означава, че за попълването на интервю е необходимо най-високото ниво на действително интервюиране.
      • „Лесно“ за достигане:Телефонните номера, които са били извикани пет или по-малко пъти в оригиналната извадка и където нито един потенциален респондент не е отказал да участва, бяха определени като „лесни“, което означава, че за попълване на интервю е необходимо най-ниското ниво на интервюиране.
      • Необходими са „средни“ усилия:Всички останали телефонни номера бяха определени като „средни“ усилия, включително респондентите, които бяха наречени шестимаилиповече пъти или е отказал да участва в интервю, но не и двете.

      Таблицата по-долу сравнява примерни демографски данни на респондентите според количеството усилия, необходими за попълване на интервю. Това показва, че полагането на по-големи усилия се оказва положително за достигане до по-млади респонденти, особено тези на възраст 18-29 години. По-възрастните респонденти (на 65 или повече години), които са определени като лесни за достигане, са свръхпредставени в сравнение с тяхното разпространение сред общата популация; степента на завършеност е значително и рязко по-ниска за средно или труднодостъпни респонденти.

      По-големите усилия, похарчени за попълване на интервюта с бели, бяха най-продуктивни при повторното свързване с респонденти от лесната група (които не бяха отказали участие или бяха извикани по-малко от шест пъти по-рано), в които 69% от извадката бяха бели. Респондентите в средните или твърдите категории са малко по-малко склонни да бъдат бели. Повече усилия доведоха до по-голям брой завършени интервюта с афроамериканци. Имаше малка разлика в усилията за достигане до испанците.

      Фигура

      Оказа се по-трудно да се попълват интервюта с респонденти от средните и твърди категории, които са били наети на пълно или непълно работно време, в сравнение с респонденти, които са заявили, че са пенсионирани. Докато по-големите усилия се отплащат при по-висок процент на завършване сред заетите в средните и твърдите категории, допълнителните усилия бяха по-малко плодотворни при попълването на интервюта с пенсионирани лица в средните и твърдите категории (30% сред лесни срещу средно 22% за съвкупност от средни и твърди).

      Въздействие на усилията върху демографското разпределение на ниво общност

      Също така проверихме дали повече усилия са помогнали за попълването на интервюта в по-труднодостъпни общности. Обикновено в телефонните извадки на RDD домакинствата в силно населените градски райони са слабо представени. Тези домакинства също са по-склонни да имат жители на малцинствата.

      Таблицата по-долу сравнява трите подпроби по отношение на гъстотата на населението и процента на населението на общността, което е малцинство. Няма значителни разлики между степента на завършеност по отношение на нивата на усилията, изразходвани за принуждаване на респондентите да участват. Няма значителни вариации в обхвата на респондентите в райони с висока плътност по отношение на нивото на усилията, полагани за попълване на интервюта.

      Фигура

      Въздействие на усилията върху същественото разпределение на отговорите на въпросите

      От особен интерес за това или каквото и да е изследване е възможният ефект, който допълнителните усилия могат да окажат върху съществените резултати. За този анализ ние избрахме подгрупа въпроси, които да проучим. Първите въпроси, които анализирахме, бяха поредица за посещение на различни местни институции през последните 12 месеца. Има малко вариации сред положителните отговори в тази поредица. Нито една от разликите не е статистически значима.

      Фигура

      По същия начин, сравнявайки резултатите от поредица от въпроси за използването на компютър и интернет сред респондентите в подгрупите, не установихме статистически значими разлики в отговорите между сегментите на усилията.

      Фигура

      Накрая разгледахме различията в поредица от въпроси, които зададоха около десет ситуации или решения, с които хората може да са се сблъсквали през последните две години. Имаше статистически значими разлики между трите подгрупи само по два от 10-те елемента в списъка. Най-труднодостъпните респонденти са по-склонни от останалите в леките и средните категории да вземат решение за училище или образование (46% срещу 40% за средни и 34% за лесни). Възрастта и родителският статус са вероятните фактори, влияещи върху тези резултати. По-младите респонденти обикновено са по-трудни за достигане, появяват се в извадката с по-големи усилия в по-високи пропорции, отколкото в оригиналното проучване, и по своята същност по-вероятно е наскоро да са взели решения за своето образование.

      По-голямата вероятност сред респондентите от лесна (48%) и средна (51%) категория да са се справили със сериозно заболяване или здравословно състояние се дължи на по-лесните контакти с по-възрастните и пенсионираните респонденти.

      Фигура

      Следващата стъпка беше да се анализират резултатите на въпроси, зададени за източниците, които хората използват, за да получат информация или помощ. Тук резултатите обикновено бяха еднакви за категориите усилия. Имаше леки статистически значими разлики по отношение на онези, които използваха Интернет, за да намерят информация или помощ за решаване на проблемите си. Средно и труднодостъпните респонденти са малко по-склонни от леснодостъпните респонденти да използват Интернет (57% за твърди / средни срещу 53% за лесни). Това корелира с по-широкото използване на интернет от по-млади хора, до които от своя страна е по-трудно да се достигне.

      Фигура

      Анализ на основните усилия II: Демография на общността и откази

      Втората част от анализа на потенциалната пристрастност без отговор включва изследване на окончателните извадки на разположения на номера, набрани от общността, за да се оцени прекомерното или недостатъчното представяне в оригиналната извадка. Категориите на разположение включват завършени интервюта (попълва), комбинация от откази и обратно отзоваване (откази / обратно извикване) и набрани номера, при които не е бил установен контакт с потенциален респондент (не-контакти). Таблицата по-долу сравнява ефекта от региона, типа на общността и дали тези, на които са взети проби, живеят в столична статистическа зона (MSA)5или не, при отговор.

      Фигура

      Както може да се види в горната таблица, разликите в отговора се наблюдават главно сред географските региони, представени в извадката.

      По-висок относителен дял на интервютата с респонденти от Средния Запад са завършени (23%), в сравнение със само 15% на Запад. Напълно една трета от извадката в Западния регион не успя да се свърже с интервюиращите PSRAI. По същия начин интервюиращите не успяха да се свържат с потенциален респондент за 33% от извадката, която идва от градските райони. Самата извадка от Запад беше значително изкривена към градските общности, като съставлява 54% от общата извадка за региона.

      Доход, плътност на малцинствата и отговор

      Таблицата по-долу сравнява категориите на разположение със средния доход на домакинството и процентната плътност на испанците и афро-американците в рамките на примерни блокове, използвани за интервюиране. Има много малка разлика между разпределението на доходите за трите примерни сегмента. Между 35% и 40% от всеки сегмент идват от райони с по-ниски доходи на домакинствата и по-малко от 10% от всяка група идват от области с най-високи доходи.

      Фигура

      Интервютата бяха по-лесни за провеждане в райони с по-малко испаноморски домакинства. Почти две трети от всички завършени интервюта (63%) идват от райони с най-ниска честота на испаноморските домакинства. Само около половината от извадката в останалите групи идва от тези латиноамерикански райони с ниска честота (53% от отказите / обратно обажданията и 46% от не-контактите). Същата тенденция не се наблюдава при сравняване на афро-американските райони с висока и ниска плътност. Комплектите, отказите и липсата на контакти бяха разпределени по същия начин сред афро-американските слоеве.

      Допълнителни усилия Анализ III: Допълнителни усилия, допълнителни обаждания

      В опит да се анализират потенциални пристрастия при липса на отговор в резултатите от проучването, извадка от 1500 телефонни номера, които са били извикани 10 пъти и все още са активни номера, са включени в нов проект и са набрани още 10 пъти, за да се опита да завърши интервю. Номерата, включени в набирането на допълнителни усилия, се разделят на три категории.

        • Без контакти:Числа, които не са довели до контакт с човек в първоначалното проучване. Тези числа бяха комбинация от машини без отговор / зает / секретар за всички опити.
        • Откази:Числа, които са дали отказ при един от първите 10 опита, но не са превърнати в попълнено интервю.6
        • Прекъсвания:Числа, при които респондентите са започнали интервю, но не са завършили.

        Бяха направени допълнителни 13 742 обаждания до извадката за допълнителни усилия и бяха завършени допълнителни 84 интервюта. Това се превръща в едно завършено интервю за всеки 164 опита за обаждане.7

        Трудно е да завършите интервю, след като телефонен номер е набран 10 пъти без успех. Таблицата сравнява резултата от числата за допълнителни усилия при 10-ия опит (колоните) с резултата след 20 или повече обаждания (редовете).

        Фигура

        Както може да се види от таблицата, процентът на успех е нисък, като само 6% от случаите на допълнителни усилия дават завършени интервюта. Коефициентът на конверсия е по-висок за прекъсванията и обратните обаждания, съответно с 16% и 14%. Номерата, които не са били контакти за първите 10 опита, са с най-нисък процент на конверсия (3%). Седем процента от отказите бяха преобразувани след десетия опит.

        Ефект от допълнителни усилия върху демографските данни на ниво човек8

        Един от начините да се прецени потенциалната пристрастност при липса на отговор е да се сравнят демографските данни на интервюираните респонденти с допълнителни усилия с интервюираните без допълнителни усилия. Таблицата по-долу сравнява основните примерни демографски данни за двете групи. Параметрите на популацията също са представени в таблицата, за да поставят числата в контекст.

        Фигура

        Разпределението по пол на двете проби е почти идентично, мъже 39% и 40%. Както е обичайно в повечето телефонни проучвания, мъжете са недостатъчно представени. Имаше разлика във възрастовото разпределение на двете проби, като извадката с допълнителни усилия прави малко по-добра работа за достигане до по-младите респонденти, особено групата на възраст 30-49 години. Освен това допълнителните усилия доведоха до по-подходящ дял от по-възрастните респонденти (13%) от обикновената извадка (25%).

        И двете извадки представляват свръхпредставени завършили колеж и недостатъчно представени хора с по-малко образование. Като цяло обаче редовната извадка получи малко по-добро общо разпределение на образованието.

        Расата / етническата принадлежност на двете проби беше сравнима. Допълнителните усилия обаче се отплатиха при достигането на повече испанци, отколкото стандартната извадка. Извадката за допълнителни усилия също достигна до повече заети респонденти от стандартната извадка (66% срещу 55%) и не представи прекалено пенсионираните хора, както стандартната извадка.

        Ефект от допълнителни усилия върху избрани съществени въпроси

        Проучихме различия в отговорите на въпроси относно източници на информация, които хората използваха, когато се сблъскаха с проблеми, за да видим дали има някакви разлики между пробите от интитални и извънкласни усилия. Резултатите за двете извадки бяха много сходни, с изключение на използването на интернет за намиране на информация или помощ при решаване на проблеми. Значително повече хора в извадката за допълнителни усилия съобщават, че използват Интернет, за да получат информация или помощ при скорошното си решение или ситуация (68% срещу 55%).

        Фигура

        Последна бележка за потенциалните пристрастия

        Допълнителните усилия за интервюиране оказаха очакваното въздействие: Тези, до които е по-трудно да се достигне като цяло, бяха тези, които бяха достигнати с допълнителни усилия. По-младите възрастни, работещите възрастни и тези с висше образование са по-трудни за достигане и следователно са по-голям дял от допълнителните усилия. По отношение на съществените въпроси, въздействието на допълнителните усилия е успоредно на демографските различия. Постигнатите с допълнителни усилия са по-склонни да кажат, че са се занимавали с образователен проблем (отразяващ по-младите възрастни) и по-рядко са се занимавали със здравен проблем или Medicare (отразяващ по-големия дял на възрастните възрастни в нормалната извадка). Дори когато резултатите бяха значително различни при групата с допълнителни усилия, въздействието върху общите резултати беше малко. Помислете, че извадката от 1500 броя на допълнителни усилия дава само 84 завършени интервюта. Тъй като само около 3000 номера са се класирали за проучването с допълнителни усилия, дори ако всички те са били набрани допълнително 10 пъти, това би добавило приблизително 170 комплекта към основната извадка от над 2000. Дори ако резултатите от допълнителните усилия се различават съществено от основната извадка, просто няма да има достатъчно от тях, за да се придвижат общите резултати от проучването.


        1 Информационни търсения, които решават проблеми. Leigh Estabrook, Evans Witt и Lee Rainie 30.12.2007 г. https://www.pewresearch.org/internet/PPF/r/231/report_display.asp 30.12.2007 г.

        2Номер за разрешаване на OMB, 3137-0070, срок на годност 06.30.2010.

        3 Обществено мнение на тримесечие, Специален брой: Пристрастия без отговор в анкети на домакинствата, 2006, бр. 70, №5.

        4 Измерване на въздействието на нарастващата неотговорност върху оценките от национално проучване на RDD по телефона, Китър и. ал.POQ, 70: 759-779. Това актуализира преглед, направен презПоследици от намаляването на липсата на отговор в голямо национално телефонно проучване, Китър и. ал.,POQ64: 125-48.

        5MSA са очертани въз основа на централна урбанизирана зона - съседна зона с относително висока гъстота на населението. Окръзите, съдържащи основната урбанизирана зона, са известни като централните окръзи на MSA. Допълнителни околни окръзи (известни като отдалечени окръзи) могат да бъдат включени в MSA, ако тези окръзи имат силни социални и икономически връзки с централните окръзи, измерени чрез пътуване до работа и заетост. Имайте предвид, че някои райони в тези отдалечени окръзи всъщност могат да имат селски характер.

        6Твърдите откази бяха изключени от проучването за допълнителни усилия. Това са телефонни номера, при които потенциалните респонденти отказват да си сътрудничат без съмнение.

        7Разликата в производителността на обажданията между двете проби е още по-изразена, ако вземете предвид, че много от неработещите телефонни номера са идентифицирани при първия опит, преди допълнителните усилия дори да са започнали.

        8Непретеглените данни са използвани за всички сравнения в този отчет.