Metody volebních speciálů: reloaded
10. 9. 2012 / Jan Podhajský
Volební speciály veřejnoprávních médií budí ve veřejnosti rozruch. M. Škopa na blogu Aktuálně.cz zaujaly rozdíly mezi výsledky výzkumů preferencí či volebních modelů, které používají ve svých pořadech Česká televize a Český rozhlas. Zeptal se proto daných organizací na to, jak jsou vlastně výzkumy zadány. Tématu, vykopnutého M. Škopem, se chytil i Štěpán Kotrba. Kotrbovo pokračování v kritice vedené Škopem je zcela legitmní a podle mě i míří k podstatě věci a to: jsou veřejnoprávní média oprávněná vytvářet politickou realitu (prostor pro vybrané stranické kandidáty ve volebních speciálech) na základě výsledků sociologických výzkumů, když víme, že výsledná skóre jsou zatížena chybami?
Nebudu zde rozvádět celou Kotrbovu anabázi, ale zaměřím se alespoň na návrhy oprav či reformulace bodů či témat v jednom z posledních Kotrbových textů "UPDATE: I manipulovat se musí umět..."
Kotrba mj. píše:
"Díky zveřejněné metodice ve zprávě z Pardubic jsem se například dozvěděl, že "v každém kraji je dotazován reprezentativní výběrový soubor dospělé populace, a to minimálně o velikosti 1000 respondentů, přičemž každá z výzkumných agentur realizuje minimálně 500 rozhovorů. Respondenti jsou vybíráni na základě kvót na pohlaví, věk, vzdělání, velikosti místa bydliště a okres. Jedná se tedy o kvótní výběr."
Dále budu pokračovat komentováním Kotrbových "podezření":
ŠK: znamená to, že výběrový soubor na základě kvót na pohlaví, věk, vzdělání, velikosti místa bydliště a okres je jeden (min 1000), který si obě agentury rozdělily, nebo dva samostatné, tvořené dle interních kritérií oběma agenturami zvlášť (2x min 500)? V sociologii více než kde jinde platí, že dvakrát totéž není dvakrát více - čili 2x500 určitě není 1000, ale jen dvakrát 500. Přesnost 1x1000 je samozřejmě o několik procent větší, než u dvou průzkumů po 500 respondentech....
JP: Ne tak zcela ojedinělou praxí ve výzkumech je sdílení kvótních předpisů pro jeden výzkum dvěma či více agenturami. Znamená to, že dvě či více angentur plní sběrem dat jeden předem dohodnutý kvótní předpis. Jedná se tedy o plnění kvót v rámci sdíleného předpisu. Podle publikovaných prezentací jednotlivých šetření v krajích to vypadá, že se skutečně jedná o n=1000 a nikoli o n=500x2.
Ke sdílění kvót a nebo k subkontraktování tazatelské sítě dochází časo tehdy, když v se výzkum týká např. jenom určité geografické oblasti a kapacity tazatelské sítě dodavatelské agentury nestačí sběr uskutečnit, když je na něj třeba málo času. Což je případ volebních speciálů
Kotrba intuitivně tuší, že by zde mohl být zakopaný pes. Tím psem je systematická chyba, kterou ve srovnání s chybou statistickou moc nelze kvantifikovat. Systematická chyba nevyplývá ze zvolené metody sběru dat.
Správně bychom se tedy měli ptát: jestli si obě agentury nějak rozdělily kvóty (např. každá agentura sbírá v jiných VMB - "velikostech místa bydliště" ) či si agentury rozdělily kraj na geografické oblasti a v nich pak plnily kvótní předpis?
Jestli si obě agentury rozdělily kvóty pro velikost místa bydliště (VMB), můžeme si představit, že např. StemMark sbírá dotazníky ve VMB do 4999 obyvatel, SCaC např. VMB od 5000 do 49999 a VMB od 50000 se o terén podělí. Toto je ale jenom hypotéza, protože neznáme třeba smlouvy, které ČT uzavřela s agenturami. Ve smlouvách by měl být přístup ke sběru dat předem popsán.
Otázka na rozdělení kvót či kraje do oblastí směřuje k použitým technikám sběru dat a ke kvalitě tazatelských sítí obou agentur.
a) pokud každá s agentur sbírá jiné kvóty (asi VMB) či oblast, používají pro každé VMB/oblast nějaký rovnoměrný mix dotazovacích technik CAPI a PAPI? Ačkoli se můžou zdát rozdíly v datech sebraných CAPI a PAPI zanedbatelné, je zde jisté riziko systematické chyby, pokud každá VMB či oblast je sbíraná jenom jednou technikou.
b) každá z agentur disponuje svojí tazatelskou sítí. Každá z agentur školí svojí tazatelskou síť jinak a jinak mají nastolené standardy pro tazatele, jinak svoji tazatelskou síť řídí. Tedy tazatel z jedné agentury provádí svou práci jinak, než tazatel z druhé agentury. Tedy, pokud si agentury rozdělily mezi sebe sběr VMB či oblasti, hrozí zde riziko systematické chyby způsobené tazatelskou sítí.
c) a ještě jednu otázku bychom měli oběma agenturám položit: provádějí sběr v krajích nově rekrutovaní brigádníci a nebo stálí tazatelé? Je zde další riziko systematické chyby a to v tom, že "profesionální" tazatel je schopný kontaktovat širší spektrum lidí (ví jak oslovit) než nově rekrutovaný brigádník (i když řádně proškolený). A nebo možná naopak: profík předem odhadne typ člověka, kterého lehce "uloví" :)
ŠK: Respondenti jsou vybíráni kým? Agenturami nebo Českou televizí? Nebo všemi třemi subjekty dohromady? ČT ve zprávě tvrdí, že "zpracování dat z předvolebních výzkumů, včetně analýz a přípravy zpráv, bude plně pod kontrolou České televize. K tomu účelu byl vytvořen tým složený ze zástupců všech tří stran (ČT a obou agentur), který má na starost realizaci výzkumu a dohled nad celým výzkumným procesem."
JP: Zde je potřeba rozeznat sběr dat od pořízení, zpracování a analýzy dat.
a) Respondenty samozřejmě oslovují tazatelé a hledají takové respondenty, kteří odpovídají tazatelskému úkolu. Tazatelský úkol vypadá při kvótním výběru, který je použit při výzkumech pro volební speciály např. takto: 5 lidí VMB do 1999, 5 VMB 2000-4999, 6 žen, 4 muži, 2 18-29 let, 3 30-44 let, 3 45-59 let, 2 60+, 6 se ZŠ nebo vyučených, 3 SŠ, 1 VŠ. Výzkumná zpráva neuvádí, jestli se jednalo o vázané kvóty, tedy se automaticky bere, že šlo o kvóty volné.
b) otázka by měla znít, která ze zainteresovaných stran projektu měla hlavní slovo při stavbě nebo výběru volebního/prediktivního modelu? Kdo osobně rozhodoval za ČT? Popř. jakou měli lidé kontrolující za ČT kvalifikaci?
ŠK: Agentury se neptaly respondentů na účast ve volbách? Kapitola zprávy "DEKLAROVANÁ ÚČAST U VOLEB" obsahuje tento text: "Odhad volební účasti pro Pardubický kraj je 48 % (na základě matematického modelu a minulého volebního chování)." Znamená to, že se nejedná o nyní respondenty deklarovanou (uvedenou, vyhlášenou, prohlášenou) účast - odpověď na otázku "zúčastníte se krajských a senátních voleb?", ale o algoritmizovaný přepočet minulého chování voličů z krajských voleb před čtyřmi lety "per analogiam" ? Deklarovaný není totéž co z prstu vycucaný... Koláčový graf (bez zveřejněné otázky - ačkoliv otázka "Pokud by se volby do zastupitelstva vašeho kraje konaly příští týden, šel(šla) byste Vy osobně volit?" u výsledků z Libereckého kraje zveřejněna byla) ovšem hovoří o něčem jiném: určitě ano 42%, spíše ano 25%. Celkem "ano" 67%... A o stránku dál zpráva tvrdí, že graf zahrnuje pouze respondenty, kteří uvedli, že by se voleb určitě zúčastnili nebo spíše zúčastnili (n=673)... Takže se jich ptali nebo neptali? Tak jak to je?
JP: zde opravdu není jasné, z čeho jsou spočítané preference. Jsou výsledkem prediktivního modelu (jehož parametry nejsou známé) a nebo volebního modelu (kerý je popsán v apendixu prezentací)? Ale i v případě prediktivního modelu se rozhodně se nedá mluvit o cucání z prstu, ale o ustáleném postupu analýzy dat, který upřesňuje deklarované hodnoty respondenty. Prediktivní modely můžou skvěle sloužit pro např. pro tvorbu strategií a jsou tak i používány. Je třeba ale mít na paměti jejich "virtuální" charakter. Musí se ale k nim vždy přistupovat jako jenom podpůrným prostředkům rozhodování. Zastávám ale názor, že jakákoli matematická predikce by měla být vyřazena v jakékoli roli z tak pro veřejnost citlivých masmediálních relací, jako třeba volební speciály ČT. Pálí mě totiž otázka, jestli chceme být "manipulováni" počítači či ne.
a) Správná otázka by měla znít: jaké všechny proměnné vstupují do prediktivního modelu? Popř. je prediktivní model budován ad-hoc pro volební speciály a nebo je to již ověřený model některé z agentur, který vznikly na základě předchozích výzkumů a srovnávání se realným voličským chováním? Jaký je vztah prediktivního modelu a modelu volebního chování? jsou zveřejněné preference výsledkem volebního nebo prediktivního modelu?
b) otázka na formální podobu prezentací - proč je jenom na jednom slidu uváděný počet případů a popis podsouboru, kterých se daná informace týká? korektní by bylo udávat počty případů na ze, kerých jsou grafy na všech slidech.
ŠK: Jaká je statistická chyba jedné každé otázky, jestliže "n" není rovno celkovému počtu respondentů (1000 nebo 2x500), ale jen jeho části?
JP: a) ano, ČT či agentury by mohly vydat pomůcky pro odhadování statistické chyby. Sám takovou v práci používám. Takové pěkné kolečko :)
b) ČT by měla ovšem zároveň informovat o rizicích systematických chyb, kterých si jsou agentury jistě vědomy. o některých typických systematických chybách jsme referovali v tomto článku výše.
c) uvádění možných systematických chyb by mělo být součástí etického kodexu ČT.
ŠK: Jaké je členění odpovědí na otázku "JAK OBČANÉ VNÍMAJÍ EKONOMICKOU SITUACI SVÝCH DOMÁCNOSTÍ?" dle jiných sociodemografických kritérií než věk a vzdělání? Neuvedení přesných čísel a procent dle politické orientace, přestože zpráva tyto údaje "komentuje", je drasticky neprofesionální. Sociolog nemá co komentovat. Sociolog má uvádět přesná čísla a grafy, ze kterých bude jasné, co je 100%. To "kompletní zpráva o průzkumu" nenabízí. Takže není kompletní. Což dokládá i formulace "Politická uskupení, která dosáhnou nízkých hodnot, bývají v grafických výstupech zahrnuta do kategorie „Ostatní“." Tabulkové výstupy s úplnými údaji "kompletní zpráva" nenabízí...
JP: vezmeme-li v potaz, že publikované preference jsou výsledkem volebního modelu nikoli prediktivního (alespoň se mi to tak jeví), dostaneme následující počet voličů:
130 ČSSD
99 KSČM
88 ODS
63 TOP09
47 KPK
28 NEZ
25 SPOZ
14 ČPS
11 SZ
11 VC
36 OSTATNÍ
Celkem 552 rozhodnutých o volbě dané strany.
Potom se ukazuje, že třídění specifických otázek podle stranických preferencí je poněkud problematické. Poslední stranu, kterou bych přijal, by byla TOP09 a už u ní by výsledky specifických otázek vykazovaly vysokou standardní chybu. A n=130 pro ČSSD také není žádná velká láce.
Tedy publikovaný slide 11 - přesvědčení voličů KSČM jít volit, si klidně mohli nechat v ČT od cesty. Podle mě je tento slide nejvíce sporný z hlediska nároků na přesnost, po kterých volá Kotrba.
Statistical significance test ZDE
Kotrbův požadavek na sociology jako stroje na analýzu je naivní. Sociologie a sociologové řeší otázku ne/zaujatosti analýzy v podstatě už od svých klasiků. Dalo by se říct, že sociologické školy se dokonce z určitého úhle pohledu podle této osy i štěpí. I nejtvrdší zastánci nehodnotícího přístupu se vždy vztahují k nějakým hodnotám, které jsou v pozadí jejich analýz. Kdo by měl v tomto případě vystupovat v roli "osekávačů" hodnocení jsou spíš analytici ČT, kterými se ČT chlubí ve své tiskové zprávě...
Osobně si myslím, že třídění specifických otázek podle preferencí stran by nemělo být v případě výzkumů pro volební speciály, tak jak jsou navrženy, součástí prezentace vůbec, a to kvůli nízkému počtu odpovědí pro většinu stran. Pokud bychom trvali na třídění podle preferencí, tak to bude jako ve vtipu: Tři statistici loví jelena. První vystřelí a mine ho o půl metru vlevo. Druhý vystřelí a mine ho o půl metru vpravo. Třetí volá: "máme ho, máme ho!"
Kotrba se správně pustil se na tenký led odborné debaty. Ale je potřeba přesně zasahovat bolestivá místa, a to tak, aby si z nich nemohli profesionálové utahovat, tak jak udělal třeba František Bartoš z PPM Factum v případě M. Škopa.
Situace vypadá tak, že je potřeba začít mluvit "jejich jazykem".
Diskuse