Congress.org (ej associerade till US Congress) är en bra fakta- och nyhetssajt för alla intresserade av politisk debatt, protester, journalister som följer sådana frågor och politiker. Givetvis är den inriktad på amerikansk inrikespolitik men Congress.org skriver huvudsakligen om praktiska frågor varav de flesta mer eller mindre är relevanta för Sverige.
Ett exempel har vi för en av deras senaste artiklar:
Där pekar man korrekt på att opinionsundersökningar är ett politiskt vapen d.v.s. de sker väldigt ofta med ett subjektivt syfte att använda resultaten.
Är resultaten inte vad man söker publiceras resultaten troligen inte alls. Precis som artikeln pekar på är det mycket lätt att få de svar man önskar genom att välja mellan egentligen "samma" fråga men olika formulerade.
En population räcker inte
En till problematik man inte diskuterar och fram till ganska nyligen inte var förstådd inom statistisk vetenskap och som även om det idag är bevisat även formellt matematiskt är vad väldigt många intuitivt har svårt att förstå är att en population inte räcker.
Det har ingen betydelse att population är utvald slumpmässigt, oberoende o.s.v. Koncepten med signifikansnivå, hypotesprövning, fördelningar av olika åsikter är förvisso fortfarande intressant att göra men numera vet vi att du måste ha flera korrekt utvalda populationer för att kunna se seriösa samband.
En population kan helt enkelt på precis samma sätt som en slumpmässigt utvald person indikera A trots att det för populationen alla aktuella personer gäller att A är direkt ovanligt.
Nästan bara medicin hanterar detta
Inom politik, konsumentfrågor m.m. tillämpas detta överhuvudtaget inte vad jag någonsin märkt. Inom medicin är det mer eller mindre standard för seriösa satsningar något beroende på vad det handlar om (godkännande av ett gammalt läkemedel för en ny indikation kräver t.ex. mindre och särskilt om användningen redan förekommer kliniskt).
Länge förekom det dock att denna faktor inte bara användes korrekt utan ibland också missbrukades för att manipulera forskningsresultaten.
Att manipulera genom att exkludera studier
Missbruket skedde genom att man t.ex. planerade för fem forskningsstudier vilket man då bedömer räcker för att ska visa att medicinen är signifikant bättre än placebo. Detta skedde bl.a. för ett när nytt väldigt dyrt antidepressivt läkemedel för ganska många år sedan.
Antag nu att de två första studierna inte säger detta. Beroende på situation går det inte ens om samtliga av de tre andra studierna pekar på effekt säga om detta är korrekt eller inte. Ingen eller kanske en "felaktig" studie är vad som går att acceptera.
Vad man då gör är att man river de "felaktiga" studierna. Det kan förklaras bort med väldigt mycket och om studierna inte publiceras är det omöjligt för någon annan att kunna bedöma. Dessa studier försvinner mer eller mindre d.v.s. kommer inte publiceras eller lämnas till myndigheterna när studien ska godkännas. Istället startar man ev. upp ett par nya studier eller försöker få det godkänt på de tre befintliga.
Idag förekommer det knappast längre i västerländska länder men det var för några år sedan inte ovanligt i vissa lönsamma segment där samtidigt utvecklingen var väldigt dyrt. En sak som förändrat detta var att både media och myndigheter i vissa länder uppmärksammade att det verkade troligt att detta skedde. Det krävs trots allt normalt tillstånd för att få göra studierna.
Att man missade detta länge kan ha berott på att man inte fullt förstått detta statistiska samband. Det är lätt att tro att flera positiva studier bevisar något men det är inte nödvändigtvis fallet även om färre negativa finns.
