• Основен
  • Политика
  • Оценка на представителността на изследванията на общественото мнение

Оценка на представителността на изследванията на общественото мнение

Общ преглед

От десетилетия проучванията на проучването предоставят надеждни данни за политически нагласи и поведение при гласуване, икономика, здравеопазване, образование, демография и много други теми. Но политическите и медийните проучвания са изправени пред значителни предизвикателства в резултат на обществени и технологични промени.


Става все по-трудно да се свържете с потенциалните респонденти и да ги убедите да участват. Процентът на домакинствата в извадка, които са интервюирани успешно - процентът на отговори - е спаднал драстично. В Pew Research степента на реакция при типично телефонно проучване е била 36% през 1997 г. и днес е едва 9%.

Общият спад в процента на отговори е очевиден при почти всички видове проучвания, в САЩ и в чужбина. В същото време са необходими по-големи усилия и разходи, за да се постигне дори намалената днешна степен на реакция. Тези предизвикателства накараха мнозина да се запитат дали проучванията все още предоставят точна и безпристрастна информация. Въпреки че процентите на отговори са намалели при стационарни проучвания, включването на мобилни телефони - наложено от бързото нарастване на домакинствата с мобилни телефони, но без стационарни - допълнително е допринесло за общия спад в процента на отговори при телефонни проучвания.


Ново проучване на Pew Research Center for the People & Press установява, че въпреки намаляващия процент на отговори, телефонните проучвания, които включват стационарни и мобилни телефони и са претеглени, за да съответстват на демографския състав на населението, продължават да предоставят точни данни за повечето политически, социални и икономически мерки. Това се съчетава с постоянни данни за точността, постигнати от големи анкети, когато се касае за оценка на резултатите от изборите, наред с други неща.1

Това не означава, че намаляващият процент на отговор е без последици. Една значителна област на потенциална пристрастност при липса на отговор, идентифицирана в проучването, е, че участниците в проучването са склонни да бъдат значително по-ангажирани с гражданска активност от тези, които не участват, потвърждавайки това, което са показали предишни изследвания.2Хората, които са доброволци, са по-склонни да се съгласят да участват в проучвания, отколкото тези, които не правят тези неща. Това има сериозни последици за способността на изследването да преценява точно поведението, свързано с доброволчеството и гражданската активност. Например, телефонните проучвания могат да надценят такова поведение като посещение на църквата, контакт с избрани служители или присъствие на кампании.

Проучването обаче установява, че тенденцията към доброволческа дейност не е силно свързана с политически предпочитания, включително партийност, идеология и възгледи по различни въпроси. Републиканците и консерваторите са малко по-склонни от демократите и либералите да заявят, че участват като доброволци, но тази разлика не е достатъчно голяма, за да бъдат значително по-представени в телефонните проучвания.

Изследването се основава на две нови национални телефонни проучвания, проведени от Pew Research Center for the People & Press. Едно проучване е проведено 4-8 януари 2012 г. сред 1 507възрастни, използващи стандартната методология на Pew Research и постигнали общ процент на отговор от 9%. Другото проучване, проведено от 5 януари до 15 март сред 2226 възрастни, използва много по-дълъг полеви период, както и други усилия, насочени към увеличаване на участието; постигна 22% отговор.



Анализът се основава на три вида сравнения. Първо, въпросите от анкетата се сравняват с подобни или идентични бенчмарк въпроси, зададени в големи федерални правителствени проучвания, които постигат проценти на отговор от 75% или по-високи и по този начин имат минимално пристрастие при липса на отговор. Второ, правят се сравнения между резултатите от идентични въпроси, зададени в стандартните проучвания и проучванията с големи усилия. Трето, анкетираните и нереспондентите се сравняват по широк спектър от политически, социални, икономически и мерки за начин на живот, като се използва информация от две национални бази данни, които включват почти всички домакинства в САЩ.


Сравнения с правителствени критерии

Сравненията на редица въпроси от проучването със сходни въпроси, зададени от федералното правителство на неговите големи национални демографски, здравни и икономически проучвания, показват, че стандартното проучване на Pew Research обикновено е представително за населението за повечето елементи, въпреки че има изключения. По отношение на основните характеристики на домакинствата и демографските променливи разликите между оценките на стандартното проучване и правителствените критерии са доста скромни.

Гражданството, собствеността на жилището, продължителността на пребиваването в жилището, семейното положение и присъствието на деца в дома, попадат в рамките на или близо до грешката на стандартното проучване. Също така и мярка за получаване на обезщетение за безработица. Изглежда, че проучването надценява процента на хората, получаващи държавна хранителна помощ (17% срещу 10%).


По-големи различия се появяват по отношение на мерките за политическа и социална ангажираност. Докато нивото на регистрация на гласоподавателите е същото в изследването, както в настоящото проучване на населението (75% сред гражданите и в двете проучвания), по-трудният акт на участие при свързване с публичен служител, за да изрази нечии виждания, е значително надценен в проучването (31 % срещу 10% в настоящото проучване на населението).

По същия начин проучването установява, че 55% казват, че са извършили някакъв вид доброволческа работа за или чрез организация през последната година, в сравнение с 27%, които съобщават, че са направили това в настоящото проучване на населението. Изглежда, че същата мотивация, която кара хората да се занимават с доброволческа дейност, може да ги накара да бъдат по-склонни да се съгласят да вземат анкета.

Сравнения на стандартни проучвания и проучвания с големи усилия

Вторият тип сравнение, използван в проучването за оценка на потенциала за пристрастност без отговор, е между оценките от стандартното проучване и проучването с големи усилия за идентични въпроси, включени в двете проучвания. Този тип сравнение беше използвано в предишните две изследвания на Pew Research Center за липса на отговор, проведени през 1997 и 2003 г.3Проучването с големи усилия използва редица техники за получаване на по-висок процент на отговор (22% срещу 9% за стандартното проучване), включително удължен период на полето, парични стимули за респондентите и писма до домакинства, които първоначално отказват да бъдат интервюирани, както и разполагането на анкетьори с доказан опит за убеждаване на нежеланите респонденти да участват.

В съответствие с двете предишни проучвания, по-голямата част от резултатите не се различават между анкетата, проведена със стандартната методология, и анкетата с по-висока степен на отговор; само няколко от въпросите доведоха до значителни разлики. Като цяло, 28 от 40 сравнения дадоха разлики от два процентни пункта или по-малко, докато имаше три точки разлики за седем елемента и четири точки за пет точки. Като цяло допълнителните усилия и разходи в проучването с големи усилия изглежда дават малка полза по отношение на качеството на оценките.


Сравнения с използване на бази данни за домакинствата

Третият начин за оценка на възможността за пристрастност при липса на отговор е чрез сравняване на анкетираните и нереспондентите, използващи две големи национални бази данни, предоставени от търговски доставчици, които включват информация за почти всяко домакинство в САЩ, получена от публични и частни източници.4Направен е опит да се съпоставят всички респонденти от анкетираните и нереспондентите със записи както в базите данни на избирателите, така и в потребителите, за да могат да бъдат сравнени по наличните в базите данни характеристики. Много малко телефонни номера в рамката на мобилния телефон могат да бъдат съпоставени в една от базите данни, особено за нереспонденти, и по този начин анализът е ограничен само до стационарната рамка.

Първата база данни е създадена от организация, която предоставя данни за избирателите и свързани с тях услуги на политически кампании, групи по интереси, организации с нестопанска цел и учени. Това е непрекъснато актуализирано досие с повече от 265 милиона възрастни, включително избиратели и негласуващи. Анализът показва, че анкетираните домакинства не представляват значително свръхпредставени регистрирани гласоподаватели, точно както показва сравнението на оценката на регистрацията на избирателите в анкетата с текущата оценка на населението. Въпреки това в базата данни са изброени значително повече откликващи се домакини, отколкото неотговарящите домакинства, тъй като са гласували на изборите за Конгрес през 2010 г. (54% срещу 44%). за коригиране на евентуалното свръхпредставяне на избирателите в техните извадки.

Базата данни също така показва, че регистрираните републиканци и регистрираните демократи имат еднаква склонност да отговарят на проучвания. Балансът на партийната регистрация е почти идентичен в изследваните домакинства (17% републиканци, 23% демократи) и в домакините без отговор (17% републиканци, 22% демократи).

Втората база данни, използвана за сравнения, включва обширна информация за демографските и икономическите характеристики на жителите на домакинствата, включително доходите на домакинствата, финансовото състояние и стойността на дома, както и интересите в начина на живот. Тази потребителска информация се използва главно в маркетинга и бизнес планирането за анализ на характеристиките на ниво домакинство или специфични области.

Проучванията обикновено имат трудности с улавянето на чувствителни икономически променливи като обща нетна стойност, финансово състояние и домашни стойности. Сравнението на оценките на базата данни на тези икономически характеристики обаче показва, че те съответстват достатъчно добре на отговорите на респондентите от анкетата на въпроси относно доходите на техните семейства и удовлетвореността от личното им финансово състояние. Съответно те могат да предоставят валидна основа за преценка дали например заможните домакинства са по-малко склонни да отговорят на проучвания.

Анализът показва, че най-заможните домакинства и най-бедните имат подобна склонност да реагират. Например домакинствата с приблизителна нетна стойност от 500 000 щатски долара или повече съставляват приблизително равен дял от отговарящите и неотговарящите домакинства (23% срещу 22%). По същия начин тези, за които се очаква да имат нетна стойност под 25 000 щатски долара, са приблизително еднакво представени (19% в отговорилите домакинства срещу 21% в неотговарящите домакинства). Подобен модел се наблюдава при оценка на цялостното финансово състояние.

Базата данни включва оценки на партийната принадлежност на първия човек, посочен в домакинството. В потвърждение на модела, наблюдаван в базата данни на избирателите за регистрация на партии, относителният дял на домакинствата, определени като републикански и демократични, е еднакъв сред отговорилите (31% републикански, 44% демократични) и тези, които не са отговорили (30%, 44% ).

Някои малки, но значителни разлики между отговарящите домакинства и пълната извадка се появяват в колекция от променливи начин на живот и интерес. В съответствие с референтния анализ, който установява, че доброволците вероятно ще бъдат свръхпредставени в проучванията, домакинствата, за които се твърди, че се интересуват от обществени дела и благотворителни организации, представляват по-голям дял от отговарящите домакинства (43%), отколкото всички домакини без отговор (33%). По същия начин тези, за които се посочва, че се интересуват от религия или вдъхновяващи теми, представляват 29% от отговарящите домакинства, срещу 22% сред домакините без отговор.