Ianuarie 23, 2012

Prostituţie şi/sau prostie reprezentativă

 

Neavînd o Asociaţie a Sociologilor care să îşi vadă de treburile prevăzute în statut (dar care efectuează sondaje), m-am gîndit să vă ofer ceva ce lipseşte (intenţionat sau nu) din lumina reflectoarelor. Cu ocazia asta, unii poate vor înţelege de ce nu mai comentez de mai multă vreme rezultatele altor case de sondaj.
 
Mă voi limita la foarte puţine dimensiuni din lista lungă de criterii care dau calitate unui sondaj – reprezentativitatea eşantionului obţinut, stilul de lucru, artificiile obţinute prin ponderare sau comparaţia cu rezultatele înregistrate în scrutinele electorale; vă expun cîteva ”poveşti de succes” recente:
 
Sondajele Gallup – adesea sunt numite de politicieni ”sondaje interne” deoarece rezultatele lor sunt distribuite partidelor politice cu condiţia ca ele să nu fie făcute publice (ele însă sunt distribuite cu grijă publicului larg, cu grijă de a manipula desigur – aveţi aici o mostră din care aţi putea înţelege că PCRM  a rămas singur pe lume. Atunci cînd vine vorba despre un sondaj prezentat şi discutat public, la lumina zilei, paradoxal sau nu, dacă urmăriţi declaraţiile politicienilor care fac de două ori pe an trimitere la aceste ”sondaje interne”, toţi, fără excepţie, declară că ei deţin sondaje în care stau mai bine.
Ce este de fapt acest ”sondaj intern”? Un sondaj realizat la solicitarea IRI Moldova ( The International Republican Institute) de către Magenta, ”o companie de consultanţă în afaceri, specializată în marketing strategic” . Ahh, să nu uităm că e sondaj Gallup! Sper că n-aţi crezut că Gallup are vreun angajat în Rep. Moldova sau că ştiu cum se culeg datele în teren; mai exact, e vorba despre Gallup Baltic Surveys care fac analiza de la o suficientă distanţă astfel încît să înţeleagă corect ce se întîmplă în atît de senzitivul mediu de opinie al Rep. Moldova.
Desigur, e dreptul lor să procedeze aşa, dar e dreptul unora să îi considere lipsiţi de decenţa de a-şi supune produsul observaţiei şi discuţiilor publicului, de a respecta regulile unei competiţii derulate în văzul tuturor şi nu al birourilor în care partidele mai primesc şi ceea ce doresc.
Iată cîteva elemente ce ţin de (ne)reprezentativitatea eşantioanelor IRI-Magenta-Gallup (spuneţi-le cum doriţi):
-          2% Ruşi şi 2% Ucraineni intervievaţi în condiţiile în care nu există nici un alt sondaj cu o astfel de structură realizată, iar Biroul Naţional de Statistică menţionează că în Rep. Moldova trăiesc 5.9% ruşi şi 8.4% ucraineni. Chiar dacă numărul lor a mai scăzut de la ultimul recensămînt din 2004, diferenţa este una majoră.

O să spuneţi că nu e nimic grav în asta, dar structuri diferite de cele reprezentative, atrag rezultate nereprezentative mai ales la întrebările la care etnia e principal predictor de variaţie. În plus, unii pot confunda rezultatele referitoare la structura unui eşantion cu realitatea efectivă; bunăoară, domnul Vlad Cubreacov trage o concluzie demnă de o nouă revoluţie sociologică şi afirmă că Republica Moldova înregistrează adevărate schimbări în corpul social, fiind părăsită de grupurile etnice şi populată tot mai mult de români. (Desigur, şi interpretările şi predicţiile dînsului legate de recensăminte din RM au legătură doar cu tezele din care domnia sa nu doreşte să iasă).   
-          Proiectarea eronată a eşantionului pe palierul distribuţiei urban-rural; un student bun de anul II de la Sociologie poate face asta cu ochii închişi. Dar de ce ne-ar mira un eşantion realizat de o companie moldovenească cînd răspunsul venit de la marele Gallup a fost paralizant? ”Sondajul e reprezentativ chiar dacă în rural e mai puţină populaţie în comparaţie cu ponderea înregistrată în eşantionul sondajului” (conform BNS, în rural sunt 58.4% dintre cetăţeni.
 
Sondajele BOP (Institutul de Politici Publice) – Barometrul Opiniei Publice, un instrument cu o tradiţie bogată, cu un rol frumos în dezvoltarea sociologiei şi a companiilor de profil, dar supus din păcate fluctuaţiei de calitate în funcţie de casa de sondaj care realizează măsurarea (părerea mea).
Iată cîteva elemente ce ţin de (ne)reprezentativitatea ultimului sondaj BOP, realizat de CBS-AXA în noiembrie 2011:
-          Persoane intervievate: 15% persoane 18-29 ani (în loc de 28% din statistica oficială sau 21%-24% ponderea din alte sondaje), 32% persoane de peste 60 de ani (în loc de 18% din statistica oficială sau 22%-26% ponderea din alte sondaje), 62% persoane de gen feminin intervievate (în loc de 53% ponderea statistică), doar 31% persoane intervievate care lucrează etc.
-          O cauză plauzibilă a structurii înregistrate o constituie stilul de lucru imprimat de casa de sondaj: iată cîţiva indicatori extraşi din baza de date: 58% din interviuri începute pînă la ora 14:00; 80% din interviuri începute pînă la ora 16:00; 97% din interviuri realizate la prima vizită – toate acestea generează o structură de eşantion din care lipsesc grupurile care pot fi găsite mai greu: tinerii, persoanele care lucrează etc. Consecinţa directă sunt rezultatele sondajului a căror răspunsuri sunt ”trase” prea mult într-o parte de grupurile care domină eşantionul: bătrînii, femeile, persoanele inactive ocupaţional etc.
-          Pentru a corecta structura obţinută, sociologii apelează la un artificiu destul de controversat în anumite contexte – ponderarea datelor (menit să aducă structura obţinută în sondaj la o structură mai aproape de realitate sau de cifrele statistice; de fapt, se aplică nişte coeficienţi care fac ca părerea grupurilor sub-reprezentate să conteze mai mult, iar acelor supra-reprezentate să conteze mai puţin). Exemplu: dacă au fost intervievaţi 150 de tineri în loc de 300, atunci părerea celor 150 intervievaţi va fi înmulţită cu un coeficient de 2.0. Acest artificiu însă poate influenţa semnificativ rezultatele sondajului, puţini fiind cei care ştiu de existenţa sau nu a acestui tip de intervenţie în date.
 
BOP-ul din noiembrie 2011 ne oferă un exemplu elocvent în acest sens cu toate că, în pagina 5 a raportului suntem informaţi că ”Diferenţa dintre rezultatele ponderate şi cele neponderate nu depăşeşte la niciuna din întrebări 1.5%” . La întrebarea privind votul pentru aderarea Rep. Moldova la UE, în baza neponderată găsim 42.8% răspunsuri ”Da”, iar în baza ponderată, pentru acelaşi indicator avem 47% - rezultat care a fost şi publicat. Dacă aplicăm şi marjele de eroare la 42.8% şi 47.0%, am putea de fapt avea o variabilitate pe un interval de circa 8%. 
 
Asociaţia Sociologilor şi Demografilor – în cazul acestor domni, certaţi cu bunul simţ (inclusiv cel sociologic), o să mă rezum doar la a vă trece în revistă rezultatele sondajului din noiembrie 2010:
-          6 partide vor trece pragul electoral, ”noutăţile” fiind AMN – 7%, PUM – 6%, iar MAE fiind şi ei foarte aproape de pragul electoral cu 3% în sondaj (rezultatele înregistrate la alegeri de aceste partide fiind AMN – 2.05%, PUM – 0.9%, iar MAE – 1.22%). Ca o coincidenţă, MAE elaborează şi difuzează imediat după sondaj, timp de două zile, un spot electoral controversat în care prezintă % înregistrat de MAE în sondaj şi explică electoratului că sunt la limita pragului şi au nevoie de încă puţin sprijin.
 
Sondajele AVA.md – probabil cele mai amuzante pentru specialiştii din domeniu. Iată cîteva ”coincidenţe” din sondajul AVA din noiembrie 2010: publicarea lui a fost făcută în ultima zi cînd legea mai permitea publicarea de sondaje, imediat după ce BOP-ul realizat de IMAS la solicitarea IPP a publicat 37% pentru PCRM – sondajul AVA a oferit aceluiaşi partid 54%, dar la scrutin PCRM  a obţinut 39%; 1580 de respondenţi au fost intervievaţi în doar 3 zile !!! (30 octombrie – 1 noiembrie 2011); eşantionul de 1580 de respondenţi a fost făcut în doar 72 de localităţi, de obicei numărul de localităţi în care se fac sondaje pe eşantioane de 1000-1100 persoane.
 
Faceţi exerciţii similare cu oricare dintre sondajele publicate sau nepublicate; faceţi comparaţii cu rezultatele de la scrutine; faceţi aceleaşi exerciţii cu ultimele exit-poll-uri, înseosebi cu cel realizat de IRES în noiembrie 2010 – căutaţi structura eşantionului obţinut şi veţi găsi principala sursa a unei erori istorice, care sper să rămînă istorică (erori cumulate de peste 30%).
 
Adesea mi se reproşează că nu sunt solidar cu ”mişcarea sociologică din Moldova”. Despre ce ”mişcare” discutaţi, stimaţi tovarăşi? Despre cea care deplasează reprezentativitatea sondajelor pentru a obţine cifrele dorite!? Cifrele finale dintr-un sondaj sunt ultimele care ar trebui să atragă atenţia. E ultimul aspect pe care îl analizez dintr-un sondaj realizat în Rep. Moldova.
 
Probabil fiecare casă de sondaj şi-a ales o strategie şi ştie cît de mult doreşte să se prostitueze, cît de mult trebuie să umble cu ”sorcova” pe la partide, televiziuni sau companii care solicită şi plătesc pentru obţinerea unor % nu tocmai aproape de realitate. O altă explicaţie, mai inocentă pentru cele de mai sus, poate fi pur şi simplu prostia, nepriceperea.
 
 

Tag-uri: ava, bns, bop, sondaje

Злой поросенок   Ianuarie 23, 2012

В русском языке есть хорошая поговорка, которая гласит: "Чья бы корова мычала". Ничего личного :)

Doru   Ianuarie 23, 2012

Prestatia mea si eventual a companiei pe care o conduc trebuie analizata de altii pentru a nu fi acuzat de subiectivitate. Ca sa aveti un reper, va rog sa comparati rezultatele BOP Noiembrie 2010 realizate de IMAS cu rezultatele inregistrate la alegeri http://www.e-democracy.md/elections/parliamentary/2010/public-opinion-polls/. altfel, punctul dvs. de vedere ramine izolat si nefundamentat.

Vlad   Ianuarie 23, 2012

Eu niciodată nu am înțeles cum poți să determini un tipar reprezentativ într-un sondaj politic cu un eșantion de 1000 de oameni pentru 72 de localități, știu că este un algoritm după vârstă,ocupație, sex, dar e un număr mult prea mic pentru a reprezenta o populație cu drept de vot de 2,6 milioane...

Doru   Ianuarie 23, 2012

Vlad, in SUA cu peste 260 milioane locuitori sau China cu 1.4 miliarde, esantioane reprezentative se realizeaza tot pe aceleasi volume de 1000, 1100 etc. in functie de precizia solicitata. Iar marja de eroare e identica. Ca sa intelegi fenomenul trebuie sa faci un curs de esantionare, statistica, probabilitati si lucruri ce tin de demografia populatiei. Nici eu, ca sociolog, nu stiu multe lucruri, dar asta nu inseamna ca fizica n-are si ea fundamentele ei.

Wist   Ianuarie 23, 2012

Mai sunt si sondaje bune (dar putine) http://www.infotag.md/press-releases-ro/589311/ - spre deosebire de ipp (la ei chirtoaca trecea din I tur. au mai dat 64% pt. comunisti in 2005?!), asd - le deseneaza % contra plata. ipp da in bara cand face cu civis, mai ales.

Wist   Ianuarie 23, 2012

exact ce-ti spus de esantion. ASD, sodajul de azi - Astfel, PCRM ar acumula 47% din voturile alegătorilor, PLDM - 26%, PD - 12; PL - 9,2%. Restul partidelor ar acumula mai puțin de un %. Sondajul a fost prezentat astăzi de Asociația Sociologilor și Demografilor și a fost realizat în ianuarie 2012, pe un eşantion de 1587 de persoane, din 72 de localităţi. Marja de eroare este de 2%.

juju   Ianuarie 23, 2012

Bravo dle Petruti, o analiza de nota zece, dar fiti, Va rog, mai moderat in felul de a va exprima idignare. Calmul, cred eu, are o putere mai mare, decit vulgaritatea, nu?

Doru   Ianuarie 24, 2012

Ardelean fiind, sunt chiar din calea afara de calm. Unii chiar mi-au reprosat ca m-am exprimat prea frumos tinind cont de realitatea efectiva. Va multumesc pentru aprecierile privind analiza; cred ca analiza e partea relevanta. De multi ani sunt calm si ma lupt cum stiu mai bine cu realitatile expuse, incercind sa demonstrez ca se poate prin munca cinstita, facuta cu pasiune si pricepere. Tocmai v-am dat definitia "fraierului" in conceptia unora, definitia insuccesului in Rep. Moldova. Eu continu sa cred si sa demonstrez altceva.

olesea cristy   Aprilie 01, 2012

demult imi dadeam seama de lukrurile acestea!!!!!!!!!!!!!!!!!!!!un mic exzemlu;in toamna 2010 un sondaj arata ca AMNul are vreo 3-PROCENTE,IMEDIAT URECEANU DA UN INTERVIU SI SPUNE CA EL ARE ALTE SONDAJE ,LA CARE FORMATIUNEA SA TRECE IN PARLAMENT!IMEDIAT PESTE O SAPTAMANA APARE SI ALT SONDAJ LA CARE AMNul,trece pragul electoral!si e clar ca sondajul a fost platit de URECHEANU!!!!!!!!!!!!!!!!!!!!!!!

OLESEA CRISTY   Aprilie 01, 2012

SI INCA UNA !!!!!!CEL MAI RAR DE SONDAJE PLATITE SE FOLOSESTE,PLul!!!!!!!!!!!!!!!!!

TOP ARTICOLE

Ianuarie 23, 2012

Prostituţie şi/sau prostie reprezentativă

 

Neavînd o Asociaţie a Sociologilor care să îşi vadă de treburile prevăzute în statut (dar care...

August 23, 2013

Imbecilul "Altcineva"


La cîteva săptămîni după moartea celor 8 tineri pe Şoseaua Munceşti, mă întreb dacă societatea ...