User:
Password:

Forefront

For registered users, discussions on methodological, substantial, and professional issues

Carenze normative ed eccessiva semplificazione

Sondaggi insondabili. Alcune note metodologiche sui sondaggi politici diffusi dai mezzi di comunicazione di massa

Maurizio Pisati, March 10, 2008

Premessa

I cosiddetti sondaggi, altresì noti come indagini campionarie, costituiscono ormai da diversi anni uno degli strumenti più utilizzati dai mezzi di comunicazione di massa del nostro paese per presentare al pubblico descrizioni della realtà sociale reputate “oggettive” e “scientifiche”. È sufficiente sfogliare i principali quotidiani nazionali o seguire qualche talk show di successo per vedere come giornalisti, commentatori e conduttori televisivi si avvalgano regolarmente dei sondaggi per spiegare al pubblico cosa pensano gli italiani, quali sono le loro preoccupazioni principali, quante volte vanno al cinema, per chi voteranno alle prossime elezioni politiche, e così via.

Già copiosi in tempi normali, nei periodi – come quello attuale – di campagna elettorale i sondaggi fioriscono a dismisura in virtù del loro ruolo di moderni oracoli prêt-à-porter, di agili strumenti “scientifici” in grado di frugare fra gli orientamenti politici degli italiani e portare alla luce le loro intenzioni di voto. I sondaggi pre-elettorali, insomma, vengono visti come una sorta di finestra sul futuro, affacciandosi alla quale è possibile intravedere gli scenari politici venturi e ricavare la materia prima con la quale dare vita ad appassionati dibattiti mediatici.

Ma fino a che punto dobbiamo credere ai sondaggi diffusi dai mezzi di comunicazione di massa? In quale misura possiamo ritenerli strumenti genuinamente scientifici in grado di fornire descrizioni accurate dei fenomeni sociali che si propongono di studiare? Qui di seguito cercherò di rispondere – sia pure sommariamente – a questi interrogativi presentando alcune osservazioni sul valore metodologico dei sondaggi politici attualmente realizzati in Italia a uso dei mezzi di comunicazione di massa. Innanzitutto illustrerò brevemente gli aspetti salienti delle norme che, nel nostro paese, regolano la pubblicazione e diffusione dei sondaggi sui mezzi di comunicazione di massa, sottolineandone la sostanziale inadeguatezza. Quindi, utilizzando alcuni esempi, mostrerò come tale carenza normativa si traduca nella propensione a realizzare sondaggi politici che, in generale, non possiedono i requisiti minimi necessari per poter essere considerati strumenti scientifici di conoscenza della realtà. Infine, concluderò la discussione avanzando qualche semplice proposta per restituire ai sondaggi politici – o di qualunque altro tipo – un po’ di credibilità. Data la natura di questa rubrica, le mie argomentazioni avranno un carattere informale e, pertanto, saranno completamente prive di formule matematiche e riferimenti bibliografici. Mi limito a consigliare, per coloro che volessero approfondire gli aspetti meno tecnici della questione, la lettura dell’ottimo saggio di Giancarlo Gasperoni “I sondaggi politici in Italia. Tra arretratezza e diffidenza”, pubblicato nel volume I sondaggi politici nelle democrazie contemporanee, a cura di Piergiorgio Corbetta e Giancarlo Gasperoni (Bologna, Il Mulino, 2007).

Autorità senza autorevolezza (scientifica)

La rilevanza dei sondaggi come fonte pubblica di informazione è talmente riconosciuta nel nostro paese che l’Autorità per le Garanzie nelle Comunicazioni – con due delibere approvate nel 2002 e nel 2003 – ha emanato un regolamento che disciplina la pubblicazione e diffusione dei sondaggi sui mezzi di comunicazione di massa. Questo regolamento si pone due obiettivi principali, entrambi degni di lode: chiarire cosa si intende per sondaggio e prescrivere le informazioni metodologiche di cui ogni sondaggio deve essere corredato per poter essere reso pubblico, cioè diffuso sui mezzi di comunicazione di massa.

Per quanto riguarda il primo obiettivo, in apparenza l’intenzione del legislatore è perentoria: come si legge nel sito dell’Autorità (http://www.agcom.it/sondaggi/sondaggi.htm), scopo del regolamento è fornire “una rigorosa definizione di sondaggio che esclude ogni possibile confusione con altre forme di raccolta di dati e notizie (indagini, servizi, inchieste) e chiarisce che la disciplina regolamentare deve intendersi circoscritta ai sondaggi strettamente intesi, in quanto effettivamente rappresentativi di un campione statistico selezionato con modalità scientifiche”. Al di là di qualche contorsionismo lessicale, queste parole non lasciano adito a dubbi e testimoniano il fermo desiderio dell’Autorità di imporre un modello scientifico di sondaggio. Peccato, però, che questa lodevole intenzione sia stata tradotta in norma in modo alquanto maldestro: l’articolo 1 del regolamento, infatti, definisce sondaggio “ogni rilevazione di opinioni, comportamenti, giudizi, atteggiamenti, previsioni, atti e fatti effettuata con metodo campionario, probabilistico o non probabilistico, che consente di generalizzare i risultati al collettivo di riferimento”.

Ora, come può confermare qualunque studente che sia stato esposto ai rudimenti della teoria dei campioni, questa definizione è decisamente stramba in quanto mette sullo stesso piano i sondaggi basati su campioni probabilistici e quelli basati su campioni non probabilistici, riconoscendo a entrambi la capacità di “generalizzare i risultati al collettivo di riferimento”. La stravaganza di tale equivalenza statuita ex lege è presto detta: se da un lato è senz’altro vero che – seguendo rigorosamente determinate procedure – i risultati ottenuti da campioni probabilistici possono essere (quasi) sempre generalizzati alla popolazione di riferimento, dall’altro lato è altrettanto vero che i risultati ottenuti da campioni non probabilistici possono essere generalizzati alla popolazione di riferimento solo accettando assunti molto forti che, nella maggior parte dei casi, non sono giustificabili sul piano teorico e/o verificabili sul piano empirico. Questa differenza deriva dal fatto che mentre la relazione che lega un campione probabilistico alla popolazione dalla quale è stato estratto è teoricamente nota e, quindi, può essere utilizzata per valutare l’accuratezza degli stimatori di interesse e definire l’incertezza che circonda le stime campionarie corrispondenti, il nesso fra un campione non probabilistico e la sua popolazione di riferimento è sostanzialmente ignoto e, in larga misura, neppure conoscibile. In altri termini, i campioni non probabilistici – a differenza di quelli probabilistici – sono scatole nere che producono le proprie stime celandone i meccanismi generativi sottostanti.

Trascurando la differenza sostanziale che esiste fra campioni probabilistici e non probabilistici, il legislatore conia un inedito ossimoro statistico e attribuisce ai sondaggi basati su campioni non probabilistici virtù che, in realtà, non possiedono. Ora, poiché i disegni di campionamento non probabilistici sono molto meno costosi e molto più facili da eseguire dei disegni di campionamento probabilistici, è evidente che i produttori di sondaggi – confortati dalla normativa vigente –tenderanno a ricorrere ai primi, decisamente più vantaggiosi quando nessuno si preoccupa di valutare la qualità scientifica – e, quindi, il grado di credibilità – dei risultati di ricerca. L’intenzione iniziale di riservare il termine “sondaggio” a procedure di rilevazione dei dati fondate su un metodo rigoroso, dunque, viene vanificata e l’attività sondaggistica assume i tratti di un vero e proprio free-for-all in cui, di fatto, è consentito tutto e il contrario di tutto.

Anche il secondo obiettivo del regolamento – stabilire le informazioni metodologiche che devono accompagnare ogni sondaggio affinché esso possa essere diffuso sui mezzi di comunicazione di massa – assume una veste normativa tutt’altro che soddisfacente. Da un lato, tali informazioni sono definite in modo tendenzialmente vago e poco rigoroso, cosicché ognuno può fornirle nella forma che preferisce e, quindi, il lettore è privato della possibilità di valutare in modo appropriato la qualità del sondaggio; dall’altro lato, i sondaggi politici (per il cui svolgimento ci si aspetterebbe particolare rigore) sono parzialmente esclusi da questi obblighi e sottoposti a una disciplina ancora più elusiva.

Dunque, nella sua forma attuale il regolamento in materia di pubblicazione e diffusione dei sondaggi sui mezzi di comunicazione di massa appare un po’ come il proverbiale rimedio peggiore del male: nato apparentemente per porre fine a “sondaggio selvaggio”, in realtà ha finito per legittimarlo, sia pure aumentandone (almeno in parte) la trasparenza. Tuttavia, poiché non sono molti i cittadini che possiedono gli strumenti cognitivi per vedere e comprendere ciò che sta dietro tale trasparenza, di fatto i (pochi) meriti della norma scivolano sullo sfondo e non riescono a esercitare alcun effetto positivo sul valore scientifico dei sondaggi, contribuendo così a minarne la credibilità.

Alcuni esempi

Come ho appena osservato, la vaghezza che caratterizza il regolamento emanato dall’Autorità per le Garanzie nelle Comunicazioni non ha per nulla contribuito a migliorare la qualità dei sondaggi pubblicati e diffusi sui mezzi di comunicazione di massa italiani. Al contrario: la mancanza di regole chiare e rigorose ha spinto verso un abbassamento degli standard di settore e favorito la diffusione di sondaggi la cui qualità è dubbia e, comunque, difficile da valutare. Un paio di esempi, tratti dai sondaggi politici effettuati nello scorso mese di febbraio, mi aiuteranno a chiarire il senso di questa critica; a tal fine, la mia “evidenza empirica” sarà costituita dalle note metodologiche che, ai sensi di legge, sono depositate presso il sito www.sondaggipoliticoelettorali.it.

Per cominciare, consideriamo un sondaggio effettuato da Ispo Srl fra il 15 e il 18 febbraio 2008, finalizzato a rilevare le intenzioni di voto degli italiani; i dati raccolti in questa ricerca sono stati illustrati e commentati in un articolo di Renato Mannheimer pubblicato sul Corriere della Sera del 23 febbraio 2008 e intitolato “Destra al 3 per cento. Ma può attrarre il 12”. Conformemente a quanto previsto dalla norma vigente in materia di diffusione dei sondaggi politici ed elettorali sui mezzi di comunicazione di massa, la nota metodologica che accompagna il sondaggio fornisce – fra le altre – tre informazioni sulle quali vorrei soffermarmi:

Alla voce Criteri seguiti per la formazione del campione il documento recita: “Campione rappresentativo della popolazione italiana in età di voto per sesso, età, scolarità, professione, area geografica, dimensione del comune di residenza”. Cosa significa questa dichiarazione? Difficile saperlo. Se con l’espressione “criteri seguiti per la formazione del campione” il legislatore avesse inteso riferirsi al disegno di campionamento utilizzato nel sondaggio, allora ci saremmo aspettati di trovare, in corrispondenza di questa voce, le seguenti informazioni: meccanismo prescelto di selezione delle unità di campionamento, definizione dell’eventuale procedura di stratificazione della popolazione di riferimento, numero e natura degli stadi di campionamento. Nel loro insieme, queste informazioni ci avrebbero permesso di capire se il disegno di campionamento prescelto è di tipo probabilistico o non probabilistico, ma in loro assenza possiamo solo fare delle ipotesi al riguardo. In ogni caso, l’informazione riportata dalla nota metodologica in corrispondenza della voce in questione è poco credibile: formalmente, un campione può dirsi rappresentativo di una data popolazione in termini di un dato insieme di variabili X solo se la distribuzione di probabilità congiunta di tutte queste variabili all’interno del campione approssima l’analoga distribuzione all’interno dell’intera popolazione. Ora, a parte il fatto che la distribuzione di probabilità congiunta delle variabili sesso, età, scolarità, professione, area geografica e dimensione del comune di residenza all’interno della “popolazione italiana in età di voto” è ignota a chiunque – e, quindi, non può essere in alcun modo confrontata con l’analoga distribuzione all’interno del campione – dovrebbe apparire evidente che ci vorrebbe un campione decisamente molto grande per “rappresentare” in modo soddisfacente una distribuzione così complessa, probabilmente qualche decina di migliaia di casi. Poiché, però, il campione effettivo è formato da soli 800 casi, ecco che qualunque ambizione di “rappresentatività” così ampia è destinata a rimanere insoddisfatta.
Alla voce Metodo di raccolta delle informazioni il documento recita: “Interviste telefoniche C.A.T.I. (computer assisted telephone interview). Margine di approssimazione: 3,5%. Elaborazione dati: Spss”. Qui la nota stonata è costituita dalla seconda espressione che, presa alla lettera, significa: ogni valore percentuale stimato utilizzando i dati del sondaggio e presentato in questo articolo si colloca all’interno di un intervallo di confidenza pari a P ± 3,5%, dove P denota il valore percentuale stimato. Quali sono gli elementi stonati di questa dichiarazione? Innanzitutto, non è specificato da nessuna parte il livello di confidenza al quale si riferisce il margine di approssimazione pari a 3,5%: probabilmente si tratta del canonico 95%, ma è impossibile dedurlo dalle informazioni riportate. In secondo luogo, dire che il margine di approssimazione di tutte le stime è pari a 3,5% non ha alcun senso: il margine di approssimazione non esiste in sé, ma è sempre funzione della specifica stima alla quale viene applicato. Il grafico riportato nell’articolo, ad esempio, mostra che, secondo il sondaggio Ispo, la Destra avrebbe il 2/3% di consensi dell’elettorato; facciamo pure 3%. Ora, se applico il margine di approssimazione del 3,5% a questa stima, ottengo un intervallo di confidenza intorno alla stima stessa che va da 3–3,5% = –0,5% a 3+3,5% = 6,5%; è evidente che, trattandosi di percentuali, il limite inferiore dell’intervallo non può mai essere negativo e, quindi, il nostro intervallo di confidenza è privo di senso. Infine, per le ragioni accennate nel paragrafo precedente, i margini di approssimazione delle stime campionarie possono essere calcolati in modo corretto solo quando il disegno di campionamento utilizzato è di tipo probabilistico; francamente, non scommetterei molto su questa eventualità e, quindi, direi che l’informazione in questione è, oltre che scorretta, fuorviante, in quanto induce il lettore a pensare che il sondaggio sia stato condotto rispettando tutti i crismi della teoria dei campioni e, quindi, che i suoi risultati siano veramente generalizzabili alla popolazione di riferimento.
Alla voce Numero delle persone interpellate e universo di riferimento il documento recita: “N. casi: 800. Universo di riferimento: popolazione italiana residente in età di voto”. Qui il documento è ineccepibile, nel senso che fornisce esattamente le informazioni richieste dal legislatore. Si noti, tuttavia, che tali informazioni non dicono nulla su un aspetto rilevante di qualsiasi sondaggio: il suo tasso di risposta. Ciò che sappiamo è che le “persone interpellate” sono 800, ma chi sono le “persone interpellate”? Se corrispondessero esattamente alle unità campionate, allora il tasso di risposta del sondaggio sarebbe pari a 100%: un vero record! Se invece, come sembra più probabile, le “persone interpellate” fossero solo quelle che hanno accettato di farsi intervistare, allora il tasso di risposta del sondaggio potrebbe scendere a valori molto più bassi: 60%? 50%? 30%? 10%? Non c’è modo di saperlo leggendo la nota metodologica e, senza questa informazione, viene a mancare un tassello fondamentale per valutare in modo sensato la qualità dei risultati di un sondaggio. Possiamo però consolarci: se il campione – come è lecito sospettare – è stato selezionato utilizzando un disegno di campionamento non probabilistico, allora il vero tasso di risposta del sondaggio non può essere calcolato. Anche in questo caso, però, sarebbe utile sapere se gli 800 casi che compongono il campione effettivo sono stati selezionati al primo colpo oppure – come è più probabile – sono il distillato di un ampio numero di tentativi di intervista, la maggior parte dei quali è sfociata in un rifiuto; in questo secondo caso, i nostri dubbi sulla credibilità del sondaggio aumenterebbero ulteriormente.

Il secondo sondaggio sul quale vorrei soffermarmi brevemente è stato effettuato da Gfk Eurisko fra il 18 e il 20 febbraio 2008 allo scopo di rilevare diversi aspetti dell’orientamento politico degli italiani, nonché le loro intenzioni di voto; i dati raccolti in questa ricerca sono stati illustrati e commentati in un articolo di Fabio Bordignon e Roberto Biorcio pubblicato su la Repubblica del 25 febbraio 2008 e intitolato “Pd in ripresa: a 6 punti dal Pdl. Prezzi in testa alle priorità”. Le informazioni riportate nella nota metodologica che accompagna questo sondaggio alle voci Metodo di raccolta delle informazioni e Numero delle persone interpellate e universo di riferimento sono state compilate con gli stessi criteri – e, quindi, con gli stessi limiti – evidenziati nell’esempio precedente, con l’unica differenza che questa volta non si fa riferimento ai margini di approssimazione delle stime, né al software statistico utilizzato per elaborare i dati e calcolare le stime. C’è, invece, qualcosa di nuovo alla voce Criteri seguiti per la formazione del campione che, in questo caso, recita: “Campione rappresentativo della popolazione italiana, stratificato per aree geografiche ed ampiezza demografica dei centri, con quote pre-assegnate di sesso ed età. Il campione è stato controllato ex post su 5 parametri: area geografica, ampiezza centri, sesso, età, istruzione. Fonte per la distribuzione dei parametri: dati Istat”. Nonostante l’apparenza di una maggiore precisione, anche in questo caso ci troviamo di fronte a un linguaggio personalizzato che tende a rifuggire dagli standard scientifici della disciplina nota come survey methodology. A parte il discutibile ricorso alla rassicurante ma spesso fuorviante espressione “campione rappresentativo della popolazione italiana” (vedi osservazioni precedenti), la duplice menzione di “stratificazione” e “quote” solleva qualche perplessità, in quanto la prima si utilizza nei disegni di campionamento probabilistici, mentre le seconde sono la pietra angolare dei principali disegni di campionamento non probabilistici. Le due procedure possono convivere nello stesso disegno di campionamento solo quando quest’ultimo è un disegno multistadio misto, ad esempio un disegno a due stadi con stratificazione al primo stadio, estrazione probabilistica delle unità primarie di campionamento ed estrazione per quote (cioè non probabilistica) delle unità finali di campionamento. Nella nota metodologica, però, non si parla di stadi di campionamento; quindi, o l’informazione fornita è incompleta, o la distinzione fra “strati” e “quote” diventa superflua, in quanto i primi possono essere assimilati alle seconde senza perdita di generalità.

Decisamente oscura è anche l’affermazione secondo la quale “il campione è stato controllato ex post su 5 parametri: area geografica, ampiezza centri, sesso, età, istruzione. Fonte per la distribuzione dei parametri: dati Istat”: a parte l’uso improprio del termine “parametri” (probabilmente gli autori intendevano dire “variabili”), in questo caso non è chiaro se il verbo “controllare” sia stato usato alla lettera – cioè, i ricercatori hanno confrontato le distribuzioni di area geografica, ampiezza centri, sesso, età e istruzione osservate nel campione con le analoghe distribuzioni ricavabili dai dati Istat (per inciso: quali?) – oppure come sinonimo di “post-stratificare”: sono due cose piuttosto diverse.

Ad alimentare la confusione del lettore, infine, contribuisce anche la nota metodologica riportata nell’articolo, dove si legge: “Le stime sulle intenzioni di voto (curate da Roberto Biorcio) sono state realizzate tenendo sotto controllo la distribuzione territoriale, i caratteri socio-demografici e i precedenti comportamenti elettorali”. Anche qui non è chiaro cosa significhi “tenere sotto controllo” tutte queste variabili, dato che l’espressione “tenere sotto controllo”, nel linguaggio statistico standard, si applica generalmente alle operazioni di stima di effetti causali – o, più in generale, di determinati parametri di interesse – mediante appositi modelli matematici: qualche informazione più precisa al riguardo sarebbe stata utile per valutare meglio i risultati del sondaggio.

Conclusioni e qualche proposta

Gli esempi illustrati sopra mostrano che, a causa della sua mancanza di rigore, la normativa vigente in materia di pubblicazione e diffusione dei sondaggi sui mezzi di comunicazione di massa ha favorito la proliferazione di sondaggi la cui qualità è perlomeno dubbia e, comunque, difficile da valutare, dato che le note metodologiche che accompagnano per legge i sondaggi stessi sono spesso laconiche, lacunose e compilate utilizzando una terminologia imprecisa o, addirittura, scorretta. Poiché la questione della qualità dei sondaggi non sembra preoccupare molto giornali, radio e televisioni, che ne diffondono acriticamente i risultati senza curarsi della loro credibilità, e poiché i produttori di sondaggi non sembrano in grado di darsi autonomamente delle regole soddisfacenti, sarebbe opportuno che l’Autorità per le Garanzie nelle Comunicazioni tornasse sui propri passi ed elaborasse un regolamento più preciso ed esigente. Rispetto a quello attuale, tale regolamento dovrebbe: (a) chiarire la distinzione fra disegni di campionamento probabilistici e disegni di campionamento non probabilistici, sottolineando in particolare le differenze fra i due disegni in termini di possibilità di generalizzare i risultati di ricerca alla popolazione di riferimento; e (b) chiedere ai produttori di sondaggi di fornire note metodologiche che illustrino – in maniera esaustiva e con un’appropriata terminologia scientifica – sia il disegno di ricerca adottato ex ante, sia i modi e la misura in cui tale disegno è stato effettivamente realizzato, cosicché il lettore interessato possa ricostruire i meccanismi che hanno generato le stime e, quindi, valutare la loro qualità/credibilità.

Nello stesso tempo, le comunità scientifiche più direttamente interessate alla questione (in particolare statistici, sociologi e scienziati della politica) dovrebbero fare del proprio meglio per sensibilizzare i mezzi di comunicazione di massa e l’opinione pubblica a una fruizione più accorta dei sondaggi, chiarendo nelle sedi opportune i criteri per valutarne la qualità. In gioco non c’è solo la credibilità dei sondaggi in sé, ma anche dell’analisi scientifica dei fenomeni sociali: se i sondaggi attualmente diffusi dai mezzi di comunicazione di massa dovessero essere percepiti dal pubblico come il principale strumento attraverso il quale la sociologia o la scienza della politica studiano la realtà sociale, le nostre discipline rischierebbero di perdere molta della loro reputazione. Poiché quest’ultima è già abbastanza ridotta, forse varrebbe la pena prendere la cosa sul serio e correre ai ripari.

Comments

Simona Ballabio, 14-05-2008, 10:19

Un rapido sguardo alla capacità previsionale dei sondaggi alle ultime elezioni

Nei contributi precedenti sono stati messi in luce i principali limiti e problemi dei sondaggi di opinione usati come strumento per la stima delle reali scelte di voto degli elettori. In particolare, è stato messo in evidenza come esistano limiti intrinseci alla natura dello strumento e limiti legati alle scelte metodologiche che gli istituti di ricerca sono chiamati a fare per fronteggiare le diverse fonti di distorsione che caratterizzano la realizzazione di un sondaggio. Scelte che rivestono un ruolo fondamentale, soprattutto se si considera l’ampia sensibilità che le stime manifestano nei confronti di variazioni nelle opzioni metodologiche tra le quali chi realizza un sondaggio può scegliere.

Gli interventi precedenti, però, hanno tralasciato di osservare che, se un sondaggio è utilizzato a scopo predittivo, alle fonti di distorsione tipiche dell’utilizzo dello strumento come sonda di rilevazione delle preferenze di voto esistenti in quel momento si somma un’ulteriore fonte di distorsione derivante dal differimento temporale, cioè dalla proiezione delle preferenze rilevate oggi ad un futuro più o meno prossimo. Questo elemento assume un particolare rilievo se il tempo che intercorre tra la rilevazione delle preferenze e le elezioni è piuttosto consistente, come avviene obbligatoriamente nel nostro Paese, dove gli ultimi sondaggi utili a fini predittivi possono essere diffusi solo fino a quindici prima dell’evento elettorale.

A causa delle insufficienti – oltre che imprecise – informazioni metodologiche che generalmente accompagnano i sondaggi diffusi sui mezzi di comunicazione di massa, è difficile capire se i diversi istituti di ricerca, nella produzione delle stime di voto, tengano conto esplicitamente del possibile errore derivante dalla proiezione nel tempo dei risultati delle rilevazioni effettuate. A questo proposito, l’orientamento che sembra prevalere fra i sondaggisti italiani è che le stime di voto ottenute mediante i sondaggi siano solo una fotografia della distribuzione delle preferenze dell’elettorato nel momento in cui queste vengono rilevate, e non delle vere e proprie previsioni. Questa posizione, però, suscita diverse perplessità perché, se così fosse, sarebbe difficilmente spiegabile l’utilità di eliminare dal computo complessivo delle stime di voto la categoria degli indecisi, fornendo senza alcuna ragione un’immagine distorta della realtà o, comunque, rispecchiando una realtà fittizia. Più plausibilmente, l’attribuzione – implicita o esplicita – degli indecisi a una delle categorie valide per il giorno delle elezioni sembra essere un modo per riprodurre anticipatamente la distribuzione delle preferenze che si manifesterà in corrispondenza dell’evento elettorale, momento in cui l’indecisione inevitabilmente si dissolve in voto per una specifica parte politica, in voto nullo o in astensione.

Assumendo quindi che le stime prodotte dai sondaggi, specie quelli condotti il più vicino possibile alle elezioni, possano essere considerate come previsioni dei reali risultati elettorali, darò ora uno sguardo alla capacità dei sondaggi di prevedere gli esiti delle ultime elezioni politiche. Tale valutazione riguarda i sondaggi pre-elettorali pubblicati sul sito www.sondaggipoliticoelettorali.it negli otto giorni precedenti l’inizio del loro divieto di pubblicazione imposto dalla normativa italiana, cioè pubblicati tra il 21 e il 28 marzo 2008. In particolare, ho preso in considerazione i soli sondaggi relativi all’elezione della Camera dei deputati, riferiti all’intero contesto nazionale, che sono stati dichiarati rappresentativi della popolazione di riferimento, cioè dei cittadini italiani aventi diritto di voto. Nel caso in cui uno stesso istituto di ricerca abbia pubblicato più di un sondaggio nel periodo sotto osservazione, ho considerato solo quello condotto nel periodo più prossimo all’elezione. Ho poi escluso dalla valutazione complessiva due sondaggi i cui risultati non possono essere considerati delle previsioni delle reali scelte di voto, in quanto gli indecisi non sono stati assegnati a categorie valide per il giorno delle elezioni. Fatta questa selezione, i sondaggi sottoposti alla valutazione sono stati 14, prodotti da altrettanti istituti di ricerca.

Per valutare la capacità predittiva dei sondaggi mi sono avvalsa di semplici misure utilizzate nella letteratura internazionale da quasi sessant’anni. Si tratta di quantità proposte negli Stati Uniti da Mosteller nel 1949 e ancora ampiamente utilizzate. In particolare, ho utilizzato: a) lo scarto – espresso in punti percentuali – fra le quote di voto per i diversi partiti stimate dai sondaggi e le corrispondenti quote reali; b) la media aritmetica dei valori assoluti di questi scarti entro ciascun partito, entro ciascun istituto di ricerca e totale; e c) lo scarto – espresso in punti percentuali – fra la stima e il valore reale della differenza di voto tra le due principali coalizioni in competizione (centro-destra e centro-sinistra), entro ogni singolo istituto di ricerca e totale. I valori assunti da tali misure sono riportati nella tabella che segue:

Istituto	Numerosità campione	La destra	PDL	Leghe	Centro Destra	Centro (UDC+Rosa Bianca)	PD	Italia dei Valori	Centro Sinistra	Arcobaleno	Altro	Errore medio totale V.A.	Scarto CD-CS
Check-up Advanced Research	1200	-1.4	4.4	-2.7(1)	0.6*	-0.6*	4.0	-2.5	1.6*	3.1	-4.2	2.9	-1.0
Crespi Ricerche	1000	1.6	-0.2*	-3.2	-3.4	-0.1*	-0.3*	-0.4*	-0.6*	3.2	-0.6*	1.2	-2.8
Demos&Pi	1489		2.4*	-3.5	-1.1*	0.2*	1.6*	-0.1*	1.6*	2.9	-1.1	1.7	-2.7
Demoskopea	1000	-0.4*	2.6	-3.4	-0.8*	0.4*	1.8*	-1.9	0.0*	3.9	-3	2.2	-0.8
Digis s.r.l.	1500	-0.7*	3.6	-4.8	-1.2*	0.4*	1.8*	-1.0*	0.9*	3.2	-2.5	2.3	-2.1
Dinamiche s.r.l.	2000	-0.4*	0.7*	-3.4	-2.7	0.7*	0.1*	-0.9*	-0.7*	4.4	-1.2	1.5	-2.0
Euromedia Research	1000	0.1*	0.9*	-3.1	-2.2*	-0.5*	-1.0*	-0.6*	-1.5*	4.7	-0.5*	1.4	-0.7
Gipieffe s.p.a.	1322	-0.4*	2.9	-4.5	-1.6*	1.6	0.8*	-1.6	-0.7*	3.5	-2.3	2.2	-0.9
IPSOS Public Affairs	1000	-0.3*	2.2*	-4.2	-2.0*	0.4*	0.7*	0.0*	0.8*	3.4	-2.2	1.7	-2.8
ISPO s.r.l.	1000	-0.9	2.1*	-4.9	-2.8	-0.1*	1.8*	-0.9*	1.0*	3.9	-1.0*	2	-3.8
Istituto Demopolis	1040	0.1*	1.1*	-3.4	-2.3*	0.4*	1.8*	-1.4	0.5*	3.9	-2.5	1.8	-2.8
Lorien Consulting s.r.l.	1500	-0.2*	1.7*	-4.0	-2.3*	1.5	-0.7*	-1.4	-2.0*	4.1	-1.0*	1.8	-0.3
Quaeris	600	1.3	-0.2*	-2.6	-2.8	0.4*	-0.7*	-0.6*	-1.2*	3.4	-1.0*	1.3	-1.6
SWG	1200	0.1*	-1.9*	-1.9	-3.8	-0.1*	1.3*	-0.9*	0.5*	4.4	-1.0*	1.5	-4.3

Errore medio totale V.A.		0.6	1.9	3.6	2.1	0.5	1.3	1.0	1.0	3.7	1.7	1.8	2.0
Minimo V.A.		0.1	0.2	1.9	0.6	0.1	0.1	0.0	0.0	2.9	0.5	1.2	0.3
Massimo V.A.		1.6	4.4	4.9	3.8	1.6	4.0	2.5	2.0	4.7	4.2	2.9	4.3

Intervallo 95% n=1500		±0.8	±2.4	±1.5	±2.5	±1.2	±2.4	±1.0	±2.5	±0.9	±1.0

Voto reale		2.4	37.4	9.4	46.8	5.6	33.2	4.4	37.5	3.1	4.5		9.3

Fonte: www.sondaggipoliticoelettorali.it e Ministero degli Interni. Mia elaborazione.

(1) Solo Lega Nord

* Valore stimato dentro l’intervallo di confidenza 95%

Da una sintetica valutazione complessiva dei dati riportati nella tabella, emergono in particolare i seguenti elementi:

La qualità dei sondaggi prodotti dai diversi istituti di ricerca è sostanzialmente omogenea e non soddisfacente, soprattutto a causa della generale incapacità – più o meno accentuata ma sempre sostanzialmente rilevante – di prevedere i risultati elettorali delle Leghe e della Sinistra Arcobaleno. Non ci sono quindi istituti di ricerca che si distinguono per una particolare accuratezza.
Le tendenze degli errori commessi dai diversi istituti di ricerca sono per lo più uniformi; in altri termini, i partiti sovrastimati o sottostimati sono quasi sempre gli stessi.
L’affermazione del centro-destra è stata correttamente prevista da tutti gli istituti di ricerca; tuttavia, vi è stata una generale tendenza a sottostimare il margine di vittoria di questo schieramento, talvolta in modo piuttosto consistente: la sottostima media è pari a 2 punti percentuali, ma in un paio di casi approssima o supera i 4 punti percentuali.
La previsione della percentuale di voto ottenuta dal centro-sinistra è in generale più accurata di quella del centro-destra. Tuttavia, all’interno di entrambe le coalizioni sembra esserci una tendenza comune, cioè quella di sovrastimare il peso del partito che è in grado di attrarre più voti (il Popolo delle Libertà per il centro-destra e il Partito Democratico per il centro-sinistra) e, parallelamente, di sottostimare i partiti minori, sebbene nella coalizione del centro-destra questa tendenza sia più accentuata. Tra i principali partiti, la percentuale di voti ottenuta dal Partito Democratico è stata quella prevista con la maggior precisione.
Ad esclusione delle stime prodotte per le Leghe (in particolare per la Lega Nord) e la Sinistra Arcobaleno, nella maggior parte dei casi le previsioni sono statisticamente accettabili, considerata l’ampiezza – generalmente limitata – dei campioni utilizzati. Come sommario termine di paragone, ho riportato in fondo alla tabella l’ampiezza dell’intervallo di confidenza per ciascun partito calcolato sulle percentuali reali con un livello di fiducia del 95% e considerando un campione di 1.500 unità (solo uno dei sondaggi utilizzati è stato condotto su un campione più ampio, di 2.000 unità). Come si può notare, la gran parte delle stime (vedi asterischi nella tabella) rientrano negli intervalli di confidenza così definiti; ciò significa che, anche ammettendo il solo errore di campionamento – che rappresenta una delle molteplici fonti di errore in grado di distorcere le stime - gli istituti, dato lo strumento utilizzato, non avrebbero potuto fare molto meglio o, detto in altro modo, da un punto di vista statistico hanno ottenuto stime ragionevolmente accurate. Nonostante ciò esse non soddisfano sufficientemente l’obiettivo predittivo a causa della loro elevata imprecisione la quale è una conseguenza ineliminabile della ridotta ampiezza dei campioni utilizzati. In effetti, se è vero che la maggioranza degli intervalli di confidenza calcolati sulle singole stime prodotte, data la rispettiva numerosità campionaria, contengono il vero valore della percentuale ottenuta dalle diverse parti politiche (ad esclusione delle Leghe e della Sinistra Arcobaleno), è anche vero che la loro ampiezza è decisamente troppo elevata. Si consideri, a titolo di esempio, che l’intervallo di valori previsti per il Popolo della Libertà e per il Partito Democratico è in media pari, rispettivamente, a 5,7 e 5,5 punti percentuali. O, in modo ancor più eloquente, l’intervallo di valori previsto per la differenza di voti tra la coalizione di centro-destra e la coalizione di centro-sinistra ha in media un’ampiezza di 10,6 punti percentuali. Un simile risultato, oltre ad essere evidentemente inadeguato da un punto di vista predittivo, è sostanzialmente inadeguato anche solo se l’obiettivo dei sondaggi è quello di cogliere il generale orientamento politico in atto. Si consideri infatti che la differenza di voto tra le due coalizione in media prevista va da una risicata vittoria del centro-destra (1,9 punti percentuali di distacco) ad una sua schiacciante imposizione (12,5 punti percentuali di distacco). Scarti che, non è forse necessario sottolinearlo, hanno un significato politico decisamente diverso.
Il fallimento previsionale più importante registrato in corrispondenza di queste elezioni è sicuramente quello relativo alle Leghe e alla Sinistra Arcobaleno. Specificamente, le stime prodotte da tutti gli istituti di ricerca evidenziano una mancata intercettazione di due tendenze sostanzialmente – oltre che politicamente – rilevanti: la forte attrazione di voti da parte delle Leghe (specie della Lega Nord nelle regioni settentrionali) e una disaffezione generalizzata nei confronti della Sinistra Arcobaleno. Gli errori previsionali commessi in corrispondenza di questi due soggetti politici sono decisamente consistenti: una sottostima compresa tra 1,9 e 4,9 punti percentuali, con una media pari a 3,6, per le Leghe; una sovrastima compresa tra 2,9 e 4,7 punti percentuali, con una media pari a 3,7, per la Sinistra Arcobaleno. I cambiamenti di opinione intervenuti nelle ultime due settimane precedenti il voto potrebbero spiegare in parte questi ampi errori previsionali, ma credo che la spiegazione più plausibile di tali sbagli possa essere individuata nell’esistenza di una fonte di distorsione sistematica non adeguatamente presa in considerazione, che deriverebbe da disomogenee propensioni di chi ha differenti preferenze politiche a dichiarare la propria (reale) intenzione di voto. A questo proposito, è importante ricordare la particolare reticenza dei sostenitori della Lega Nord a esprimere le proprie intenzioni di voto, nota già a partire dagli anni ’90.

Volendo fornire un giudizio riassuntivo sull’efficacia predittiva dei sondaggi pre-elettorali condotti nell’ultima settimana utile prima delle elezioni, credo non ci sia sintesi migliore di quella già proposta da Mannheimer – ancor oggi uno dei più conosciuti sondaggisti – quasi vent’anni fa: «[…] rimane l’impressione che i sondaggi pre-elettorali svolti in Italia siano assai poco efficaci, non solo per l’accuratezza della previsione dei risultati dei vari partiti, ma anche per ciò che concerne l’indicazione degli orientamenti generali dell’elettorato, al di là della precisione delle singole stime» (R. Mannheimer, I sondaggi elettorali e le scienze politiche. Problemi metodologici, Milano, Franco Angeli, 1989, pp. 13-14). In effetti, oggi come vent’anni fa, al di là della complessiva imprecisione delle loro stime (che non può stupire considerata la limitata ampiezza dei campioni utilizzati), i sondaggi sono stati incapaci di prevedere una realtà importante da un punto di vista sostanziale e politico. In corrispondenza di queste elezioni, infatti, non hanno previsto l’avanzata del popolo leghista e la sostanziale disfatta della sinistra cosiddetta radicale, così come non furono in grado di prevedere la sostanziale parità di risultato tra le due principali coalizioni nelle elezioni politiche del 2006.

Vittorio Mete, 08-04-2008, 11:14

I rischi della cattiva reputazione

Il sondaggio è come un prodotto che arriva in tavola, con una etichetta (ISTAT, Mannheimer, etc.), per essere consumato in tutta fretta senza fare troppe domande sul processo produttivo.

Anche perché, chi mangerebbe mai un salame fatto con gli scarti?

Michele, uno studente del mio corso

Un paio di settimane fa ho attivato un blog per arricchire ed integrare l’interazione in aula con gli studenti del mio corso di Sociologia dei fenomeni politici. Il primo post del blog era dedicato ai sondaggi e rinviava alla lettura del contributo di Maurizio Pisati pubblicato sul sito di Sociologica. Al mio post d’apertura sono seguiti, nel giro di pochi giorni, oltre 20 commenti. Dalla loro lettura e dalle discussioni seguite in aula emerge che le rappresentazioni sull’affidabilità e onestà dei sondaggi diffuse tra gli studenti non sono certo rassicuranti per i ricercatori sociali. Anche tra un pubblico mediamente più attento e culturalmente attrezzato (studenti universitari), i sondaggi sono dunque visti con estrema diffidenza. Ad esempio, così apre il suo post il primo dei commentatori: “Spesso mi sono imbattuto in sondaggi che non mi hanno convinto! Probabilmente perché a me non convincono i sondaggi in genere!!!”. L’inaffidabilità e l’inutilità dei sondaggi, sulle quali comunque non concordano tutti gli studenti, sono ricondotte ad aspetti diversi. Il primo riguarda il meccanismo della desiderabilità sociale delle risposte che spesso si traduce in dichiarazioni non veritiere. Ciò deriva almeno in parte dalla segretezza del voto e delle appartenenze politiche che in alcune regioni (dimenticavo di dire che la Facoltà in cui insegno è quella di Giurisprudenza dell’Università di Catanzaro) sono aspetti sui quali si mantiene normalmente un particolare riserbo. “Ma ditemi una cosa – continua Daniele, l’autore del primo post – voi davvero credete che una persona possa dire pubblicamente le sue preferenze politiche? Certo, molti lo fanno, ma molti lo nascondono, giustamente direi, anche per via della segretezza del voto!”. Oppure, come aggiunge Alessia, “Ma quando i destinatari dell'intervista non sono del tutto sinceri? Gli individui a volte sono bizzarri! Per esperienza diretta, posso garantirvi che in molti, con razionalità, forniscono risposte non molto attinenti ai loro pensieri... Quando succede questo, il risultato che si ottiene dalla ricerca è distorsivo rispetto al fine... Quindi mi chiedo: quanto sono attendibili i sondaggi?”.

Il livello di diffidenza che gli elettori di contesti territoriali differenti nutrono nei confronti di qualcuno che gli telefona a casa per chiedergli per chi voterà può avere ripercussioni sulla qualità stessa del sondaggio, sia per la minore affidabilità delle risposte sia per il maggior numero di “cadute”. Non è dunque azzardato ipotizzare che le tante Italie delle quali si è a lungo occupata la letteratura sociopolitologica siano diverse anche per la loro “sondabilità”, aspetto rilevante soprattutto se si guarda al sistema elettorale ed alle previsioni di voto per il Senato. Le diverse difficoltà a realizzare sondaggi in territori con caratteristiche specifiche, con la conseguenza di livelli disomogenei di affidabilità ed accuratezza dei risultati, non mi sembra sia invece tematizzata da sondaggisti e commentatori.

La scarsa credibilità dei sondaggi è inoltre motivata dalla poca fiducia riposta negli strumenti tecnici di rilevazione, nella convinzione che sia possibile manipolare un questionario per ottenere i risultati voluti oppure “rivoltare” i numeri per fargli dire tutto e il contrario di tutto. “Inutile nascondere – aggiunge Valentina in un altro post – che la mia opinione sui sondaggi è abbastanza scettica, poiché non so fino a che punto prendere per vero un esito fatto alla fin fine di numeri, medie e mediane. Molto spesso infatti il sondaggio stesso sa essere molto fuorviante (o almeno è ciò che soggettivamente ho riscontrato) poiché si è tentati di dire solo quello che altri vogliono che noi rispondiamo...”. Uno scetticismo alimentato anche dalla scarsa fiducia nei mezzi di comunicazione di massa, Tv in primis. Pamela, ad esempio, nel suo primo post scrive che “non cred[e] mai a tutte le informazioni che [le] pervengono attraverso i mezzi di comunicazione di massa ma preferisc[e] accertar[s]i della veridicità di esse”.

In tempi di antipolitica dilagante, la limitata fiducia nei sondaggi e nei sondaggisti si accompagna anche all’esplicita attribuzione di un chiaro intento manipolativo a chi realizza o commissiona tali studi. Non tutti gli studenti sono d’accordo sul punto, ma Michele esprime molto bene una posizione abbastanza condivisa: “La politica italiana di oggi è fatta di sondaggi taroccati, ripetuti insistentemente da cassandre prezzolate per acquisire i consensi degli indecisi”. O anche, come scrive Carmine, che invita gli altri lettori del blog a consultare una sintesi del libro Mentire con le statistiche, “A mio giudizio [i sondaggi] risultano inquinati dall’obiettivo che il sondaggista ‘deve’ raggiungere”. Combinando i due aspetti appena richiamati, la malafede dei politici e dei sondaggisti e la manipolabilità tecnica delle informazioni raccolte o della loro rappresentazione, Valentina aggiunge che “l'esito [dei sondaggi] va poi in mano a soggetti che non avrebbero problemi a ‘metterci del loro’ trasformando il sondaggio stesso da mezzo di informazione e analisi a sottile tecnica manipolativa”.

Cosa si ricava allora dalle brevi, parziali e certamente non generalizzabili considerazioni, svolte in un blog da parte di studenti universitari che seguono un corso di Sociologia dei fenomeni politici? In primo luogo la scarsa fiducia nei sondaggi e l’ancora più limitata stima nei confronti di chi li realizza o li commissiona. Un atteggiamento che è certamente figlio della bassissima credibilità attribuita ai politici ed ai partiti, specie nei periodi di campagna elettorale; ma che è anche il risultato di una scarsa attenzione da parte di chi i sondaggi li produce o li commenta. L’essere inseriti in format televisivi che godono di poca fiducia ed ai quali si attribuisce faziosità o scarsa attendibilità potrebbe influenzare, più o meno consapevolmente, il giudizio negativo espresso sui sondaggi e sui sondaggisti, sul cui lavoro del resto esercita una pressione in questo caso anche la logica semplificante che prevale sui media televisivi.

La proposta avanzata da Roberto Albano di distinguere più nettamente tra il ruolo di sondaggista e di ricercatore sociale, specie se ricoperti in momenti diversi dalla stessa persona, è certamente da accogliere, ma altrettanto certamente non risolutiva. Può darsi che il ristrettissimo pubblico delle persone attente e capaci di percepire questa distinzione la trovi di una qualche utilità, ma per la maggior parte delle persone – studenti universitari inclusi, probabilmente – si tratterà sempre di pseudo-studiosi, pagati dai politici per fare i loro interessi elettorali. In effetti, il vero nodo che emerge dagli interventi degli studenti sul blog sembra essere la libertà e imparzialità della ricerca scientifica. Più in particolare, viene percepito come problematico il rapporto tra interesse del committente e credibilità dei risultati ottenuti. Certo, non si tratta di un rischio nuovo. Ma il fatto che questa possibile criticità sia sempre più percepita da alcuni pubblici – in questo caso da studenti universitari in scienze sociali – come un carattere costante è indice di una delegittimazione complessiva per il campo della ricerca sociale.

È con queste rappresentazioni sociali che bisogna fare i conti. Con una rappresentazione della realtà che rende fragilissimi non solo i sondaggi politico-elettorali, ma l’intera ricerca sociale condotta tramite intervista/questionario. Proviamo ad immaginare cosa succederebbe a tutte le nostre ricerche CATI o anche alle istituzionali indagini ISTAT se, ad esempio, un Beppe Grillo o un Fiorello (o un Berlusconi o un Di Pietro), asserendo che i sondaggi sono uno strumento manipolativo a favore dell’avversario o dei vituperati politici di professione, cominciasse a convincere la gente a non rispondere più alle interviste telefoniche. Oppure se un personaggio pubblico dello stesso calibro, per un calcolo di parte o per la mera ricerca di una visibilità mediatica, incoraggiasse la bugia di massa come forma di boicottaggio/burla dei sondaggi elettorali. Visto il fertile terreno anti-istituzionale, antipolitico ed anti-intellettuale contemporaneo (per non parlare dell’immagine pubblica dell’Università e delle rappresentazioni delle modalità con le quali si accede ai ruoli della docenza), discorsi del genere avrebbero molta probabilità di attecchire, specie nelle fasce di popolazione socialmente marginali. Proprio quel segmento di cittadini e di elettori che è già molto difficile intercettare nelle nostre ricerche, non solo nei sondaggi politici.

Pertanto, non essendo affatto due aspetti disgiunti, preoccuparsi della qualità e della serietà dei sondaggi politico-elettorali, delle regole da seguire per la loro realizzazione e per la loro diffusione, equivale a preoccuparsi delle condizioni che rendono possibile non solo i sondaggi, ma forse tutte le nostre survey. Significa evitare di contribuire a deteriorare quel fondamentale bene pubblico che è la fiducia dei cittadini nella ricerca sociale e nei ricercatori.

Prima di andare a far compagnia ai politici di professione e ai venditori di auto usate nelle ultime posizioni della graduatoria della fiducia nutrita dai cittadini nei confronti di istituzioni e gruppi, sarebbe opportuno che, non solo i sondaggisti, ma i ricercatori sociali in senso ampio, si mobilitassero a difesa della credibilità del loro mestiere e della loro immagine pubblica. Un ruolo importante in questa campagna potrebbero giocarlo le stesse riviste di settore (come Sociologica sta facendo con l’avvio di questo dibattito), nonché le strutture associative e di rappresentanza che potrebbero autorevolmente e pubblicamente prendere le distanze dalle ricerche metodologicamente deboli che producono, inevitabilmente, risultati inaffidabili.

Emanuela Sala, 03-04-2008, 18:25

Il paradosso dei sondaggi politici elettorali. Quando le intenzioni di voto di quasi il 30% delle famiglie ignorate in tali indagini possono fare la differenza

(Il commento è stato inserito on line da Emanuela Sala; il testo è di Emanuela Sala e Laura Fumagalli, Institute for Social and Economic Research, Essex University).

La campagna elettorale ha riportato i sondaggi politici al centro dell’attenzione dei mezzi di comunicazione di massa, uomini politici e cittadini. Non sorprende, perciò, che un numero crescente di esperti abbia iniziato a interrogarsi sulla qualità di tali indagini campionarie, sul potere predittivo dei loro risultati e sulla precisione delle stime a cui danno origine. Gasperoni e Callegaro (2007), ad esempio, hanno valutato la capacità predittiva dei sondaggi politici condotti in occasione delle due ultime tornate elettorali. Le conclusioni a cui giungono sono poco incoraggianti: “la descrizione dei sondaggi diffusi dai mezzi di informazione nel corso delle campagne elettorali del 2001 e del 2006 indica un deterioramento nella qualità dei sondaggi” (p. 51). Preoccupazione in merito alla qualità di tali indagini è stata di recente espressa anche da Maurizio Pisati il quale, ha scritto: “la normativa vigente in materia di pubblicazione e diffusione dei sondaggi sui mezzi di comunicazione di massa ha favorito la proliferazione di sondaggi la cui qualità è perlomeno dubbia e, comunque, difficile da valutare” .

La qualità di un’indagine campionaria è determinata principalmente da due fattori: le scelte in merito alle procedure metodologiche adottate per eseguire una survey (definizione del piano di campionamento, scelta del metodo di rilevazione dei dati, livelli dei tassi di risposta ottenuti eccetera) e la serietà scientifica con cui tali procedure vengono poi, nei fatti, implementate. I sondaggi condotti per indagare l’orientamento politico e le intenzioni di voto degli italiani sono effettuati principalmente attraverso il metodo C.A.T.I. (Computer Assisted Telephone Interview), ovvero attraverso interviste telefoniche (vedi tabella 1). Per quanto riguarda, invece, il campione da intervistare, questo sembrerebbe essere estratto dagli elenchi telefonici, elenchi attualmente disponibili anche su supporto informatico. Il condizionale è d’obbligo: la documentazione metodologica che gli istituti di ricerca sono tenuti a pubblicare nel sito del Dipartimento per l’Informazione e l’Editoria non fornisce alcuna indicazione in tal senso. Per ottenere informazioni dettagliate in merito alle modalità seguite per definire e intervistare il campione di riferimento è necessario perciò rivolgersi direttamente ai singoli istituti di ricerca. Degli otto centri da noi contattati, cinque hanno risposto di estrarre il campione dall’elenco telefonico, mentre gli altri si sono rifiutati di fornire le informazioni richieste (consideriamo la mancata risposta alle nostre e-mail o ai nostri solleciti telefonici come “rifiuti”). Non abbiamo comunque motivo di credere che questi ultimi utilizzino metodologie di campionamento e raccolta dati differenti rispetto agli altri.

Tabella 1. Sondaggi politico-elettorali per instituto di ricerca e metodo di raccolta dati (valori assoluti)

Istituto di ricerca	Metodo di raccolta dati	V. A.
ISPO S.R.L.	C.A.T.I.	26
SWG	C.A.T.I. e C.A.T.I.-C.A.W.I.	19
Arnaldo Ferrari Nasi	C.A.T.I.	11
CRESPI RICERCHE	C.A.T.I.	11
IPSOS Public Affaires	C.A.T.I.	11
Ced Ricerca e Sviluppo	C.A.T.I.	6
Digis S. R. L.	C.A.T.I.	4
Gipieffe S.P.A.	C.A.T.I.	4
Istituto Demopolis	C.A.T.I. e C.A.T.I.-C.A.W.I.	4
Istituto Piepoli	C.A.T.I.	4

Altri	-	26
N	-	126

Fonte: http://www.sondaggipoliticoelettorali.it/. Sondaggi condotti fra il primo gennaio e il 13 marzo 2008.

La pratica di condurre sondaggi politici esclusivamente su un campione estratto dall’elenco telefonico si basa implicitamente su un forte assunto: l’identità fra i comportamenti elettorali (propensione a recarsi alle urne) e le intenzioni di voto di individui appartenenti a nuclei familiari presenti nella lista di campionamento, ovvero elettori potenzialmente intervistabili, e persone che fanno parte di famiglie che ne risultano sistematicamente escluse, cioè elettori non intervistabili a priori, in quanto il loro numero di telefono non è riportato nell’elenco telefonico. Stiamo parlando di quasi il 30% dei nuclei familiari italiani (tabella 2). Si tratta, per altro, di una stima conservatrice dato che la percentuale delle famiglie senza telefono è in costante crescita[1].

La percentuale dei nuclei familiari esclusi dalle liste di campionamento, inoltre, varia dal 44,2% della Sicilia al 22,3% della Toscana, con Puglia, Calabria e Sardegna ben al di sopra del 30% (vedi tabella 2). Dato che la partita per il Senato si gioca a livello regionale, i diversi tassi di copertura telefonica (e, quindi, le diverse probabilità di campionamento) di individui che appartengono a nuclei familiari che vivono nelle differenti regioni italiane destano quantomeno qualche motivo di preoccupazione. Alcune delle regioni in cui l’esito elettorale risulta meno prevedibile[2] (in particolare Calabria, Sardegna e Lazio) sono infatti caratterizzate da livelli di copertura telefonica inferiori rispetto alla media nazionale.

Tabella 2. Copertura telefonica per regione e unità di analisi. Famiglie e individui il cui numero di telefono è escluso dall’elenco telefonico (valori percentuali)

Regioni	Famiglie	Individui
Abruzzo	31,1	25,6
Basilica	29,6	25,7
Calabria	39,7	38,4
Campania	35,6	33,1
Emilia Romania	26,1	24,3
Friuli Venezia Giulia	23,4	20,7
Lazio	35,5	30,5
Liguria	25,6	22,6
Lombardia	29,0	25,2
Marche	25,5	21,9
Molise	29,4	24,8
Piemonte	31,3	29,0
Puglia	38,4	36,4
Sardegna	35,7	32,8
Sicilia	44,2	42,4
Toscana	22,3	18,6
Trentino	23,6	18,7
Umbria	25,1	20,9
Veneto	20,8	18,1

Italia	30,0	26,9
n	18.803	47.611

Fonte: Indagine multiscopo Istat - Apetti della vita quotidiana, 2006. I dati sono stati pesati e resi rappresentativi a livello nazionale.

Ma fino a che punto possiamo credere che le famiglie che appartengono ai due gruppi qui identificati siano contraddistinte da analoghe caratteristiche socio-demografiche e identici comportamenti politici? E se questi ultimi fossero diversi, invece, quale sarebbe l’impatto dell’errore di copertura (l’errore che puo` verificarsi quando una parte della popolazione non è presente nella lista di campionamento ed è pertanto esclusa dall’inchiesta) sulla correttezza delle previsioni politiche dei sondaggi?

Iniziamo col dire che le famiglie non intervistabili manifestano caratteristiche differenti rispetto alle altre: esse sono più giovani, sono famiglie monoparentali o single, prive di titolo di studio, sono più diffuse nel Sud e nelle Isole e vivono in affitto[3]. Tale famiglie, inoltre, sono caratterizzate da livelli di partecipazione politica inferiori rispetto a quelle potenzialmente intervistabili (non siamo a conoscenza di dataset che permettano di rilevare differenze nelle intenzioni di voto dei gruppi oggetto di indagine). Ad esempio, il 26,4% degli individui che vengono campionati dalle survey hanno ascoltato dibattiti politici negli ultimi dodici mesi contro il 20,3% di coloro che ne sono esclusi (tabella 3) mentre il 33,7% degli individui che appartengono a nuclei familiari il cui numero è presente nell’elenco telefonico non parlano mai di politica contro il 42,3% degli altri (tabella 4).

Tabella 3. Partecipazione politica a livello individuale (percentuali di risposte affermative)

	Individui intervistabili	Individui non intervistabili
Partecipazione a riunioni partiti***	4,0	3,1
Partecipazioni a comizi	5,3	5,1
Partecipazioni a cortei **	5,2	4,5
Ascolti dibattiti***	26,4	20,3
Soldi a partiti ***	3,4	2,2
Svolgimento attività gratuita per un partito***	1,6	1,1

Fonte: Indagine Multiscopo ISTAT - Aspetti della vita quotidiana, 2006. Dati pesati.
Nota: Differenze statisticamente significative (T-test, **.01≥p>.001; ***.001≥p). N varia tra 40.191 individui (partecipazione a riunioni di partiti) e 40.322 individui (partecipazione a comizi)

Tabella 4. Coinvolgimento politico a livello individuale (percentuali di colonna)

	Frequenza con cui parla di politica	Frequenza con cui si informa dei fatti della politica italiana
	Individui intervistabili	Individui non intervistabili	Individui intervistabili	Individui non intervistabili
Tutti i giorni	10,4	8,3	36,4	26,9
Qualche volta a settimana	23,6	19,2	21,4	20,2
1 volta a settimana	5,7	5,0	3,8	4,0
Qualche volta al mese (meno di 4 volte)	15,3	13,2	8,1	8,5
Qualche volta all'anno	11,4	12,0	6,4	7,3
Mai	33,7	42,3	24,1	33,1
N	30.144	10.452	30.165	10.436

Fonte: Indagine Multiscopo ISTAT - Aspetti della vita quotidiana, 2006. Dati pesati.
Nota: Differenze statisticamente significative (Chi quadrato di Pearson, Livello significativita': 1%).

Nonostante non siamo in grado di trarre conclusioni certe circa i diversi comportamenti elettorali e intenzioni di voto dei due gruppi oggetto di studio, possiamo rilevare che gli individui non intervistabili a priori (perchè, lo ripetiamo, il loro numero di telefono non è presente nell’elenco telefonico) manifestano livelli di partecipazione politica inferiore rispetto a quelli di persone potenzialmente intervistabili da tali indagini. Crediamo perciò corretto ipotizzare che i comportamenti di voto degli elettori appartenenti ai due gruppi possano risultare altrettanto diversi. Quali sono, allora, le conseguenze dell’errore di copertura sulla precisione delle stime fornite dai sondaggi politici? In generale, quando la popolazione campionata e quella esclusa dalle liste di campionamento manifestano caratteristiche diverse per quanto concerne la variabile di riferimento (l’intenzione di voto, in questo caso), un’inadeguata copertura del campione può fornire risultati anche molto distorti. Ovviamente, lo scostamento fra gli effettivi esiti elettorali e le previsioni effettuate cresce all’aumentare della distanza tra le caratteristiche delle due popolazioni rispetto alla variabile di riferimento e al crescere della frazione della popolazione esclusa dalle liste di campionamento (gli elenchi telefonici). Da ciò si deduce che l’esattezza e la precisione delle stime dei sondaggi elettorali circa l’esito delle prossime elezioni politiche dipenderà anche dal comportamento di voto di coloro che non hanno possibilità di essere interpellati e di cui attualmente non si conosce l’orientamento politico. Due allora ci sembrano essere gli scenari che si possono presentare. Nel primo caso, se gli individui esclusi dai sondaggi politici fossero elettori scoraggiati o persone che, in ogni caso, non si recheranno alle urne, l’errore di copertura potrebbe essere trascurabile. Nel caso in cui, invece, questo gruppo scegliesse di votare, i risultati della competizione elettorale potrebbero essere diversi da quelli previsti, soprattutto al Senato. Se pensiamo agli elettori in questione come agli swing voters, allora si potrebbe presentare la situazione paradossale per cui, al termine di una campagna elettorale giocata sempre maggiormente sulla lotta dei sondaggi, la composizione di Palazzo Madama potrebbe essere determinata proprio dal voto di quegli elettori che gli stessi sondaggi escludono dalle loro rilevazioni e le cui intenzioni di voto rimangono, ad oggi, sconosciute.

Bibliografia essenziale

Callegaro, M. e Gasperoni, G. (2007): “Non cantare vittoria” la capacità predittiva dei sondaggi preelettorali pubblicati in occasione delle elezioni politiche italiane del 2001 e del 2006. Polis, XXI, 3, dicembre, pp. 463-487.
Callegaro, M. e Poggio, T. (2004): “Espansione nella telefonia mobile ed errore di copertura nelle inchieste telefoniche” Polis, XVIII, 3, dicembre, pp. 477-506.
Istat (2007), La vita Quotidiana nel 2006, La vita quotidiana nel 2006. Indagine multiscopo annuale sulle famiglie. “Aspetti della vita quotidiana” - Anno 2006, Roma.

[1] Si veda ISTAT (2006, p. 37).

[2] Si veda l’archivio storico dei sondaggi politici ed elettorali.

[3] Nostra analisi dell’”Indagine multiscopo aspetti della vita quotidiana” il cui campione è stato estratto partendo dalle liste anagrafiche dei comuni e le interviste sono state condotte faccia a faccia. Si veda anche Callegaro e Poggio (2004).

Erika , 23-03-2008, 11:00

Limiti intrinseci e limiti su cui si può (e si deve) intervenire

“Dominare la ‘teoria’ e il ‘metodo’ equivale a diventare un pensatore consapevole, un uomo che lavora sapendo quali sono i presupposti e le implicazioni di quel che fa. Essere dominati dalla ‘teoria’ e dal ‘metodo’ equivale a non cominciare mai a lavorare”.
Wright Mills: On Intellectual Craftmanship

Introduzione
Il tema sollevato dall’intervento di Maurizio Pisati è senza dubbio di grande attualità sia in tempi di campagna elettorale sia a urne chiuse. Non solo in Italia, ma anche in altri paesi, una volta arrivati i risultati delle elezioni immancabilmente si scatenano polemiche sulle incongruenze tra questi e i risultati dei sondaggi pre-elettorali di soli pochi giorni prima. La storia dei sondaggi include il clamoroso fallimento negli Stati Uniti di un sondaggio pre-elettorale del 1936, promosso dalla rivista Literary Digest, in occasione delle elezioni presidenziali che videro fronteggiarsi Roosvelt e Landon. Dato perdente rispetto a Landon con il 43%, Roosvelt vinse con il 62%. In questo caso l’errore più grossolano fu generalizzare alla popolazione votante informazioni rilevate su un campione estratto dalle liste degli elenchi telefonici e dei registri automobilistici. Tra gli episodi recenti va ricordato lo scarto fra i sondaggi e i risultati delle votazioni per esempio in occasione delle elezioni anticipate del 2005 in Germania indette da Schröder e della rielezione di Bush negli Stati Uniti.
Per cercare di decifrare questi errori nei sondaggi può essere utile guardare a due aspetti: i limiti intrinseci dei polls e lo scarso rigore metodologico delle agenzie di sondaggi.

I limiti intrinseci dei polls
Mantenendo la distinzione anglosassone fra polls e surveys che individua delle differenze sostanziali fra i due modi di fare ricerca, resi invece sinonimi dalla traduzione in sondaggi, possiamo definire i sondaggi pre-elettorali polls che, a differenza delle surveys (Corbetta 1999) rilevano solo l’intenzione di voto e poche variabili connesse e altre socio-grafiche.
I limiti dei polls sono molti. I primi sono indubbiamente quelli legati al campionamento, come hanno ampiamente messo in evidenza Pisati e Albano. Anche nel caso in cui vengano usate procedure di campionamento probabilistico, sarebbe sempre arbitrario e scorretto generalizzare alla popolazione di riferimento. Come sostiene Marradi (1997), infatti, la casualità dell’estrazione del campionamento non garantisce né la casualità né la rappresentatività del campione effettivamente intervistato. E questo a causa, come scrive anche Albano, del problema delle cadute. Quello che preoccupa di più non è l’alta incidenza delle cadute, ma le caratteristiche dei casi che cadono (es. anziani, chi è spesso fuori città per lavoro o chi è temporaneamente fuori dal proprio luogo di residenza, chi ha idee più estreme e teme la perdita di anonimato, etc.). Le cadute non si distribuiscono cioè casualmente fra i casi del campione.

Nella pratica il problema delle cadute si risolve:

rimpiazzando le cadute con altri casi (le riserve) estratti casualmente dalla stessa lista. Non si risolve però il problema della distorsione del campione. Essendo estratti casualmente, i nuovi casi non vanno a coprire quelle caratteristiche sottorappresentate a causa delle cadute. Inoltre anche tra i sostituiti si ripropone il problema dei rifiuti che caratterizzano i soggetti con gli stessi stati sulle stesse proprietà dei soggetti che sostituiscono.
ricorrendo a tecniche di ponderazione: in sede di analisi dei dati si modifica artificialmente la composizione del campione per renderla più prossima alla distribuzione della popolazione. Si attribuiscono cioè alle persone non raggiunte le risposte date dal gruppo sociale cui appartengono, dando un peso maggiore di 1 alle risposte di questi soggetti. Attribuendo la risposta già data, diminuisce la varianza delle variabili.

Nessuno dei due modi di risoluzione di questo problema garantisce la casualità e la rappresentatività.
Sempre legato al campionamento c’è il problema della lista della popolazione. Molti sondaggi pre-elettorali sono fatti con il sistema C.A.T.I. (computer assisted telephone interview) e C.A.W.I. (computer assisted web interview) (vedi per esempio alcuni di quelli pubblicati sul sito www.sondaggipoliticoelettorali.it consigliato da Pisati) che in molti casi per l’estrazione del campione non usano la lista degli aventi diritto al voto, perché troppo costosa o perché priva dell’informazione sul numero telefonico, ma la lista dei presenti nell’elenco telefonico, nel caso del C.A.T.I., e alcuna lista nel caso del C.A.W.I. La generalizzazione dei risultati alla popolazione degli aventi diritto è causa quindi di forti distorsioni.
In molti sondaggi fatti con quest’ultimo e abbastanza nuovo sistema di rilevazione non viene specificato se la rilevazione avviene mediante e-mail o tramite siti web. In entrambi i casi comunque non esiste una lista della popolazione, né dei possessori di una casella di posta elettronica, né di utenti di Internet, che non sono comunque rappresentativi della popolazione degli aventi diritto al voto su alcuna proprietà. Nonostante il mezzo telematico sia sempre meno di nicchia, ancora in Italia e in molti paesi la maggior parte della popolazione non lo utilizza; il suo uso non è cioè distribuito in modo uniforme nella popolazione. Questa distorsione sistematica è un elemento rilevante che inficia ancora la possibilità di usare la rete per ricerche che abbiano come oggetto l’insieme della popolazione italiana, così come l’insieme degli aventi diritto al voto (Di Fraia, 2004).
Nella migliore delle ipotesi, gli unici utenti che fanno parte della popolazione e possono rientrare nel campione sono quelli che, nel periodo di tempo in cui l’indagine è on line, si trovano sul sito, o sui siti in cui si effettua l’intercettazione (e non semplicemente in rete, perché potrebbero non capitare su quei siti), o controllano la posta elettronica che è nel momento funzionante. Chi risponde però sono solo coloro che hanno voglia di farlo, i più interessati, coloro che hanno un’opinione e così via.
Altri limiti dei polls sono legati alla velocità con cui deve avvenire la rilevazione in genere fatta su campioni abbastanza ampi. I sondaggi pre-elettorali infatti sono generalmente svolti in pochi giorni perché tutti i casi devono essere intervistati nella stessa situazione politica. Se interviene qualche fatto politico rilevante, anche solo una dichiarazione di un leader politico, gli elettori ne potrebbero essere influenzati e quindi potrebbero cambiare intenzione di voto.
La velocità dei tempi quindi può portare a disattenzioni nel processo della rilevazione, soprattutto nella fase delle telefonate (se un caso estratto non risponde al telefono può essere immediatamente sostituito invece di essere ricontattato) e delle interviste (gli intervistatori possono tendere a rendere rapide le interviste per poterne fare molte).
Infine, il limite derivante dalla mendacità delle risposte, che esiste sempre nell’intervista con questionario strutturato, è ancora più probabile nel caso dei sondaggi pre-elettorali a causa della sensibilità dell’argomento.

Il problematico rigore metodologico delle agenzie di sondaggi
Ai limiti intrinseci dei sondaggi pre-elettorali si somma lo scarso rigore metodologico di alcune agenzie di sondaggi, che contribuisce al fallimento del sondaggio o alla sua imprecisa interpretazione.
In primo luogo, il problema dello scarso addestramento degli intervistatori e del controllo della qualità del loro lavoro, come viene messo in luce in due saggi (Boccuzzi 1985, Toller 1994) molto citati in letteratura sull’uso di intervistatori da parte di agenzie specializzate. Il lavoro degli intervistatori, cioè la rilevazione vera e propria, è invece centrale nella riuscita del sondaggio e avrebbe pertanto bisogno di un’attenzione particolare al fine di garantire la fedeltà dei dati.
In secondo luogo, c’è un problema forte legato alla comunicazione dei risultati attraverso rappresentazioni grafiche e tabelle di distribuzioni di frequenza.
Di molti sondaggi vengono pubblicati solo valori percentuali e non i valori assoluti. Nella migliore delle ipotesi viene indicato solo il totale, cioè il numero di casi che compone il campione, come ad esempio in alcuni dei sondaggi pubblicati nel citato sito Internet, realizzati da agenzie diverse, come Demopolis, Makno & consulting, Ipso, Demos & Pi.
Nel sondaggio di Demopolis per i media nazionali, pubblicato il 20/03/2008, non ci sono per esempio i valori dei rispondenti per domanda. È impossibile così risalire al numero di persone che ha scelto ciascuna alternativa di risposta. Il sondaggio di Makno & Consulting per Sherpa Tv Spa, pubblicato il 20/03/2008, usa domande filtro, cioè rivolte non a tutto il campione, ma solo a una parte. Avendo solo il totale dei casi del campione, per arrivare al numero di casi che hanno risposto alle singole alternative di risposta occorrerebbe al lettore una serie di operazioni non immediate. Inoltre, vengono usate percentuali con un decimale anche quando i casi sono pochi, circa 100 o meno, per esempio alle domande rivolte solo a coloro che hanno risposto di avere l’intenzione di votare il Pd o il Pdl – tendenza abbastanza diffusa nell’analisi dei dati, tanto da avere anche un nome: errore della precisione fuori posto (Marradi 1995, 52). Il voler dimostrare una precisione eccessiva, che peraltro non c’è per aspetti più importanti, può avere un effetto contrario: può comportare cioè nel lettore consapevole una sensazione di non professionalità del lavoro.
Anche nelle rappresentazioni mediante grafici troviamo molte imprecisioni che inducono in errore i lettori meno accorti. Ad esempio quella che vediamo spesso nei grafici a torta, in cui la somma delle percentuali delle fette fa più di 100 (vedi ad esempio il grafico pubblicato il 21/03/2008 da Brunikmedia sul sito http://termometro.iobloggo.com dedicato alla pubblicazione di sondaggi, nel quale la somma delle percentuali delle fette fa 126); oppure l’impiego di grafici per rappresentare variabili ordinali che non suggeriscono contiguità fra le categorie, come ad esempio i diagrammi a barre separate (vedi ad esempio il sondaggio di Ced Ricerca e Sviluppo pubblicato su Il Quotidiano della Basilicata il primo marzo 2008 e sul sito www.sondaggipoliticoelettorali.it il 3/03/2008); oppure l’impiego di scale in ordinata che non partono da zero, che danno messaggi molto diversi e distorti da quelli che emergerebbero se i dati fossero rappresentati correttamente (vedi ad esempio il grafico sulla sfida Berlusconi Veltroni pubblicato il 21/03/2008 da Brunikmedia sul sito http://termometro.iobloggo.com nel quale la scala delle ordinate parte da 36% invece che da zero e termina a 45%).

Conclusioni
In conclusione possiamo dire che se i problemi intrinseci dei polls, soprattutto quelli legati al campionamento e all’infedeltà delle risposte, sono difficilmente risolvibili, possono invece esserlo, se c’è l’interesse, i problemi legati al rigore metodologico delle agenzie specializzate.
Il fatto che in molti casi, come ha rilevato Pisati, i sondaggi non riportino allegate note metodologiche precise e dettagliate è una dimostrazione della scorrettezza nelle fasi della rilevazione.
La presenza di un resoconto metodologico con queste caratteristiche sarebbe l’unica soluzione a disposizione dei lettori per controllare l’operato delle agenzie di sondaggi, e quindi per decidere se (e quanto) credere ai risultati presentati. E’ comunque difficile immaginare resoconti sinceri che riportino anche le difficoltà incontrate, ad esempio un alto numero di cadute o il lavoro affrettato dei rilevatori scarsamente addestrati.

Riferimenti bibliografici

Boccuzzi, Ermelinda (1985) Parcellizzazioni e reificazioni nelle ricerche sociologiche: il punto di vista di un’intervistatrice, in “Rassegna Italiana di Sociologia”, a. XXVI, n. 2.
Corbetta, Piergiorgio (1999) Metodologia e tecniche della ricerca sociale, Bologna: Il Mulino.
Di Fraia, Guido (2004) (a cura di) e-Research. Internet per la ricerca sociale e di mercato, Roma-Bari: Laterza.
Marradi, Alberto (1995) L’analisi monovariata, Milano: Franco Angeli.
- (1997) Casuale e rappresentativo: ma cosa vuol dire?, in Paolo Ceri (a cura di) La politica e i sondaggi, Torino: Rosenberg & Sellier, pp.9-52.
Toller, Cinzia (1994) Memorie di un’intervistatrice pentita, in “Politica ed economia” XXV, 5-6 (settembre): 85-90.

Roberto Albano, 14-03-2008, 12:13

A chi servono i sondaggi pre-elettorali

La nota critica di Pisati sul modo con cui oggi i sondaggi pre-elettorali vengono effettuati in Italia mi trova d'accordo nella parte più tecnico-metodologica; riassumo due dei punti principali da lui evidenziati: il campionamento probabilistico e quello non probabilistico non stanno sullo stesso piano rispetto alle operazioni di inferenza statistica classica; il disegno di campionamento va documentato dettagliatamente in modo da potere rendere 'ispezionabile' al lettore la qualità del campione ottenuto. Dalla sua analisi metodologica, Pisati fa discendere una richiesta di maggior rigore normativo. Su questo secondo piano del suo discorso ho invece alcuni dubbi: cercherò di chiarire perché.

La domanda da cui credo occorra partire, tanto per cambiare, è: a chi servono, e a che cosa, i sondaggi pre-elettorali? Servono a fini di conoscenza scientifica? Sono di qualche utilità per la partecipazione politica di ciascun cittadino? Se la risposta è positiva allora Pisati ha certamente ragione nel chiedere all'Agicom un maggior rigore normativo (in termini sia legislativi che regolamentativi) e all'Assirm (e simili) di attivare un codice di autodisciplina più severo. La mia impressione, però, è che i sondaggi non servano affatto a questi fini e che, anche qualora fossero condotti con estremo rigore, servirebbero poco a queste due cause nobili (scienza e attivazione della partecipazione politica). Come è noto, il dibattito italiano sul 'sondaggismo', pur in ritardo rispetto ad altri Paesi, si è arricchito negli ultimi 15 anni di un certo numero di contributi significativi, alcuni dei quali molto critici verso i sondaggi.

Cominciamo dal versante scienza (ricerca sociale). In genere si distingue (seguendo i migliori manuali di metodologia) tra sondaggio e survey. La seconda è molto più ricca di informazioni, è guidata da ipotesi e modelli, è più accurata nella costruzione del dato (ad esempio si ricorre di più all'intervista faccia a faccia) ecc. Difficilmente utilizziamo sondaggi per fare ricerca sociale vera e propria; talvolta vi ricorriamo come dati di sfondo, ma in genere sono considerati inadatti per accedere alla dimensione profonda dell'opinione pubblica, quella più legata all'agency. Sono cose abbastanza risapute, quindi non rubo altro tempo su questo: mi limito a sottolineare che se già sono numerose le fonti di distorsione sistematica nella survey, nei sondaggi pre-elettorali ve ne sono ancora di più; in particolare, la risposta al questionario può essere usata dall'intervistato non tanto per dichiarare le sue reali intenzioni di voto, ma per inviare un segnale al partito e/o coalizione per cui parteggia o per manifestare uno stato affettivo-emotivo.

Passiamo alla partecipazione politica. Da questo punto di vista, i sondaggi pre-elettorali sarebbero persino da evitare ad avviso di molti e anche mio (non dico abolire perché credo che in questo, come in molti altri ambiti, il proibizionismo come cura sia peggio del male). Da Herbert Simon in poi sappiamo bene come i sondaggi possano essere usati per far passare gli incerti sul carro dei vincitori, per deprimere gli attivisti dei partiti che sono dati perdenti ecc. Sono cioè mezzi di influenza sulla formazione dell'opinione pubblica, quando non veri e propri strumenti di manipolazione; quest'ultima peraltro non richiede necessariamente la violazione esplicita delle regole di costruzione della base empirica o di analisi dei dati; spesso è sufficiente anche solo una parziale 'elusione': ad esempio si può giocare sull'ordine delle domande nel questionario, premettere alla domanda chiave uno stimolo che sollecita l'attenzione l'intervistato in una certa direzione, sorvolare sul numero di non rispondenti e incerti ecc.

C'è poi un problema relativo al campionamento a cui Pisati non fa cenno: esiste nella ricerca sociale, dove l'oggetto di indagine è per sua natura reattivo, la possibilità di eseguire un campionamento realmente probabilistico? Anche ammettendo una estrazione casuale in condizioni di copertura ottimali, si presenterà il problema dei rifiuti, totali o parziali, a collaborare (che non sono affatto casuali come sappiamo). Se si guarda al risultato più che alla procedura, il confine tra probabilistico e non è piuttosto incerto nella ricerca sociale e questo crea comunque un varco per l'elusione di regole anche molto dettagliate.

Ma anche escludendo la manipolazione, l'idea che i sondaggi pre-elettorali servano a stimolare la partecipazione politica (e per questo motivo vadano normati in modo vincolante) è del tutto discutibile. Fa parte di una concezione atomistica-populista della partecipazione politica che siamo in molti a non condividere. Detto in parole povere: che Berlusconi e Veltroni si appassionino nella loro horse-race mi lascia del tutto indifferente (talvolta mi fa sorridere, come quando vengono tirati in ballo i bookmakers britannici); come cittadino che desidera (e ritiene doveroso) informarsi, prima di formulare una decisione, gradirei sentire parlare di cose più concrete (ad esempio: dove lo stato troverebbe i soldi per costruire le centrali nucleari, in quali siti si prevede la costruzione, lo stoccaggio delle scorie radioattive ecc.).

A chi servono dunque i sondaggi? Direi: soprattutto ai partiti, per fare marketing e per regolare in corso d'opera la loro campagna, e ai conduttori di talk show, per fare intrattenimento con la politica-spettacolo. In entrambi i casi, se i campioni debbano essere probabilistici o para-probabilistici mi sembra una questione che si regola attraverso il diritto privato (prendiamo il caso del marketing: se il disegno è di tipo quasi-sperimentale o se l'analisi è centrata sulle relazioni tra variabili, invece che sulla precisione delle stime intervallari di parametri di singole variabili, non è affatto necessario che i campioni siano probabilistici).

A mio avviso, la normativa dell'Authority dovrebbe essere molto semplice e avere come scopo quello di tutelare la ricerca sociale e i cittadini-consumatori, rispettivamente nei seguenti modi:

chiarendo che i sondaggi (pre-elettorali o meno) non sono direttamente strumenti per la ricerca scientifica (solo raramente, possono diventarlo nella mani di ricercatori avveduti, ma questo è un altro discorso); i sondaggisti non sono, in quanto tali, scienziati sociali: se poi fanno entrambe le cose, è bene che chiariscano bene di volta in volta a che titolo stanno parlando (per non rischiare di assomigliare al fisico parodiato dall'ottimo Crozza o all'autoparodia del matematico che discute dei miracoli di Padre Pio);
chiarendo, in modo molto netto, che i sondaggi pre-elettorali non sono diversi dai sondaggi sul dentifricio e sulle saponette: servono per fare marketing e per fare intrattenimento alla TV. Sono come le sigarette: se proprio volete fumarle sappiate che....