Jukka Savolaisen tekstin faktantarkistusta
Suomen Kuvalehti julkaisi verkkosivuillaan 18.8.2021 Wayne State University:n sosiologian professori Jukka Savolaisen tekstin, joka on aiemmin julkaistu Kanava -lehdessä 5/2021:
Savolaisen tekstissä on epätarkkuuksia, jotka ovat omiaan aiheuttamaan väärinymmärryksiä, luomaan perusteetonta epäluuloa tieteellistä julkaisuprosessia kohtaan, ja lietsomaan tiedevastaisuutta. Tieteelliset julkaisut ja niiden noudattama vertaisarviointiprosessi ovat tieteen keskeisiä instituutioita, ja tieteen luotettavuus perustuu näiden instituutioiden toimintaan. Tieteellisen julkaisuprosessin integriteetin kyseenalaistaminen vaatii mielestäni erittäin kovaa näyttöä; sellaista ei tekstistä nähdäkseni löydy.
Savolainen on osallistunut Twitterissä kirjoituksesta käytyyn keskusteluun, jota on käyty hyvässä hengessä. Esimerkiksi SK:n jutussa käytetyt lähteet on varmistettu häneltä. Twitterissä keskustelu kuitenkin harmillisesti hajoaa moniksi erillisiksi langoiksi, joista kokonaiskuvaa on vaikea hahmottaa. Tämän kirjoituksen tarkoituksena on vetää yhteen havaitut ongelmakohdat. Linkit Twitter-keskusteluun löytyvät keskustelun lopusta. Koska Kanavan tekstissä ei ole alkuperäisiä lähdeviitteitä, myös ne on kerätty tähän kirjoitukseen jotta jokainen voi niin halutessaan itse arvioida esitettyjen väitteiden uskottavuutta.
Teksti jatkaa Helsingin Sanomien pääkirjoituksesta 3.4. alkanutta keskustelua tieteen ideologisuudesta. Kuten tekstin otsikossakin ilmaistaan, se väittää että ideologisuus on aito ongelma akateemisessa maailmassa. Savolainen pyrkii esittämään näyttöä ajatukselle, että joillain aloilla tieteen arvot jäävät toiseksi poliittisille pyrkimyksille.
Kysymys on siis siitä, missä määrin yhteiskuntatieteilijät noudattavat tieteen pelisääntöjä — tai rikkovat niitä omien poliittisten arvojensa edistämiseksi.
Erityisen painavia ovat syytteet tieteellisen julkaisuprosessin tahallisesta vääristämisestä:
Erittäin tyypillisiä ovat kampanjat, joissa suuri joukko tutkijoita vaatii tieteellisesti moitteettoman artikkelin poisvetämistä poliittisin perustein.
Savolainen kaipaa asiasta rehellistä ja täsmällistä keskustelua. Mielestäni tämä on mainio tavoite.
Yhteiskuntatieteellisen tutkimuksen ideologisuus on tärkeä kysymys, josta pitää keskustella rehellisesti ja täsmällisesti. Siksi on valitettavaa, että kotimainen debatti lopahti ennen kun päästiin itse asiaan.
Savolaisen kehotuksen hengessä käyn tekstistä läpi kohtia, joissa asioista välittyy mielestäni vääristynyt kuva.
Nature Communications
Nature Communications puolestaan taipui vaatimuksiin peruuttaa artikkeli, jossa havaittiin, että nuoret naistutkijat hyötyivät enemmän yhteistyöstä kokeneemman mies- kuin naistutkijan kanssa. Tämäkin tutkimus vedettiin pois siitä huolimatta, että — kuten lehden päätöksessä todetaan — ”kaikki ydintulokset ovat valideja”.
Kyseessä on tämä artikkeli:
Artikkelissa esitettiin ajatus, että samassa tieteellisessä artikkelissa kanssakirjoittajina olevien nuoremman ja vanhemman henkilön voidaan tulkita muodostavan jonkinlaisen mentorointisuhteen. Edelleen oletettiin että tämän mentorointisuhteen laatua voitaisiin mitata yksinkertaisesti katsomalla näiden yhteisartikkeleiden saamien viittausten määrällä. Ja lopulta, että tutkijan menestystä myöhemmin urallaan voitaisiin mitata niiden artikkeleiden viittausmäärillä, jotka hän on kirjoittanut ilman alkuperäisiä “mentoreita”. Johtopäätöksenä esitettiin että tutkijanuransa alussa olevalle naiselle olisi hyödyllisempää hakeutua miehen mentoroitavaksi, ja että naismentorista voisi olla haittaa urakehitykselle.
Oikeastaan mikään yllä mainituista oletuksista ei ole kovin järkevä. Hieman riippuen tutkimusalasta, yhteisartikkeleissa voi olla kirjoittajia jotka eivät edes työskentele samassa yliopistossa tai koskaan todellisuudessa tapaa toisiaan. Ja jos viittausmäärät ovat jo lähtökohtaisesti hyvin ongelmallinen mittari tutkimuksen relevanssin tai laadun arvioimiseen, niin ne ovat aivan erityisen huonoja mentoroinnin laadun mittareina.
Tästä siis oli kyse; artikkelissa heiteltiin aivan käsittämättömillä perusteilla todella voimakkaita väitteitä. Kun virheet osoitettiin, tutkijat itse yksimielisesti vetivät artikkelin pois. Siis: Nature Communications ei “taipunut”, vaan kirjoittajat itse irtisanoutuivat artikkelistaan:
The three independent experts commented on the validity of the approaches and the soundness of the interpretation in the Article. They supported previous criticisms in relation to the use of co-authorship as a measure of mentorship. Thus, any conclusions that might be drawn on the basis of co-authorship may not be automatically extended to mentorship. The experts also noted that the operationalisation of mentorship quality was not validated in the paper.
Savolainen väittää, että “tämäkin tutkimus vedettiin pois siitä huolimatta, että — kuten lehden päätöksessä todetaan — ‘kaikki ydintulokset ovat valideja’ ”. Ensinnäkään siis lehti ei tehnyt päätöstä, vaan kirjoittajat itse. Toisekseen, lehti tai esimerkiksi sen editorit eivät missään totea että tulokset olisivat valideja. Kirjoittajien omassa poisvedon saatetekstissä on seuraava kohta:
Although we believe that all the key findings of the paper with regards to co-authorship between junior and senior researchers are still valid, given the issues identified by reviewers about the validation of key measures, we have concluded that the most appropriate course of action is to retract the Article.
He siis toteavat että mahdollisesti nämä tulokset voisivat päteä jos ei tehdä oletuksia mentoroinnista, vaan puhutaan vain kanssakirjoittajista. Mutta vaikka maalitolppia lähdettäisiin näin siirtelemään, tämäkin väite on edelleen erittäin hataralla pohjalla. Voidaan kuvitella monta syytä sille, miksi esimerkiksi miehet saattaisivat olla yliedustettuina paljon viittauksia saaneissa artikkeleissa, ja tämä tietysti vääristäisi tulosten tulkintaa. Tärkeää on myös ymmärtää että tässä kirjoittajat spekuloivat miten asia saattaisi olla; nämä eivät ole todennettuja väitteitä joihin artikkelin arvioinnissa olisi otettu kantaa.
Savolaisen tekstissä annetaan siis hyvin vääristynyt kuva artikkelin käsittelystä ja sen ongelmista. Myös suora sitaatti “kaikki tulokset ovat valideja” on virheellinen ja laitettu väärän tahon nimiin.
Haastatteluaineisto
Sosiaalipsykologi Corey Clarkin [sic] tuoreen haastatteluaineiston valossa yli 80 prosenttia alan professoreista yhtyi näkemykseen, jonka mukaan psykologiassa on tabunomaisia tutkimuskysymyksiä — eli sellaisia, joita yksinkertaisesti ei saa tutkia ja 73 prosenttia heistä piti asiantilaa valitettavana.
Kyseinen tutkija on Cory Clark, nimi on siis tekstissä kirjoitettu väärin. Nämä haastattelutulokset on otettu Clarkin esitysslideista, eli ne ovat vielä julkaisematonta keskeneräistä dataa: tutkimus ei ilmeisesti ole vielä valmis, eikä sitä ole vielä lähetetty vertaisarvioitavaksi. Clarkin esitys löytyy tältä videolta alkaen suunnilleen kohdasta 1:04:28
Heti alussa kerrotaan mistä on kyse:
Eli voiko tämän aineiston pohjalta sanoa että yli 80% alan professoreista ajattelee sitä tai tätä? Ei voi, ja tämän myöntää myös Savolainen.
PNAS 2019
Kesällä 2019 Yhdysvaltain tiedeakatemian arvovaltainen PNAS-lehti julkaisi tutkimuksen, jossa havaittiin, että valkoihoisten poliisien osallistuminen ampumatilanteisiin ei ollut yhteydessä kuolonuhrin ihonväriin. Asiallisen debatin jälkeen yli 800 yhteiskuntatieteilijää julkaisi adressin, jonka mukaan kyseinen tutkimus on ”vaarallisesti harhaanjohtava”. Negatiivisen julkisuuden siivittämänä kirjoittajat päättivät vetää artikkelinsa pois.
Normaalisti tieteellisen artikkelin poisvetäminen liittyy tutkimuksessa paljastuneeseen vilppiin tai merkittävään virheeseen aineistossa tai sen analyysissä. Tässä tutkimuksessa ei kuitenkaan ollut kyse vilpistä tai edes empiirisestä virheestä. Kirjoittajat totesivat, että päätös vetää artikkeli pois perustui huoleen siitä, miten tutkimuksen tuloksia käytetään poliittisessa keskustelussa.
Kyseessä on tämä julkaisu:
Ongelmana tässä tutkimuksessa oli se, että data muodostui vain sellaisista tapauksista joissa poliisin voimankäyttö oli johtanut kuolemaan (FOIS, fatal officer-involved shootings). Kun tarkastellaan vain tätä joukkoa, ei voida vetää juuri mitään johtopäätöksiä siitä, mitkä tapahtumat ovat johtaneet näihin FOIS-tapauksiin, tai mitkä tekijät laskevat tai nostavat kansalaisen riskiä joutua osalliseksi FOIS-tapaukseen. Kyse on todennäköisyyslaskennan perusmekanismeista. Yritän antaa yksinkertaistetun ja toivottavasti havainnollistavan esimerkin:
Kuvitellaan että Suomessa kerättäisiin aineisto liikennevahingoista, joissa toisena osapuolena on ollut eläin. Tähän aineistoon kirjattaisiin vahinko (V), kuljettajan kotipaikka (K), sekä eläinlaji (E). Yksinkertaisuuden nimissä sanotaan että kotipaikka K koodataan siten että kun Suomi laitetaan puolestavälistä kahtia, kotipaikka on joko tämän kuvitteellisen viivan eteläpuolella tai pohjoispuolella, ja eläimiä on vain hirvi, poro, ja leijona. Kuvitteellinen aineisto voisi näyttää esimerkiksi tältä:
Lukemat heijastelevat sitä ajatusta, että ihmisiä, hirviä, ja leijonia (esim. Korkeasaaressa) on enemmän etelässä, kun taas poroja pohjoisessa. Koska kuitenkin etelässä asuvat matkustavat pohjoiseen, heillekin saattaisi sattua porokolareita. Koska etelässä asuvia ihmisiä on niin paljon, heidän suhteellinen osuutensa poro-onnettomuuksista saattaa olla huomattava. Tästä aineistosta voidaan laskea esimerkiksi ehdollinen todennäköisyys P(K=Etelä|V, E=Hirvi), eli todennäköisyys sille että kotipaikka on etelässä, kun tiedetään että on sattunut hirvikolari. Tästä ei kuitenkaan voida laskea P(V|K=Etelä, E=Hirvi), eli todennäköisyyttä sille, että etelässä asuva henkilö joutuu hirvikolariin, koska aineisto ei sisällä tietoa siitä kuinka todennäköistä on ylipäänsä kohdata hirvi.
Tällaisesta puutteellisesta aineistosta saatetaan vetää omituisia johtopäätöksiä. Esimerkiksi, kuvitellaan että tämän perusteella ehdotettaisiin toimenpiteitä, joilla pyritään vähentämään liikennevahinkoja. Voisimme ajatella että kannattaa rakentaa hirviaitoja etelään, koska siellä asuville tapahtuu eniten hirvikolareita. Tämä voisi olla hyvä idea! Mutta samalla logiikalla yksi kolmasosa poro-onnettomuuksia ehkäisevistä toimenpiteistä pitäisi kohdistaa eteläiseen Suomeen, jossa ei ole järkeä. Saattaisimme myös luulla väärin että pohjoisen asukkailla on joku erikoinen ominaisuus joka tekee heistä vahingoittumattomia kohdatessaan leijonan, vaikka todellisuudessa asiasta ei vain ole dataa koska kyseessä on niin erikoinen ja harvinainen tapaus.
Samantyyppisestä päättelyvirheestä moitittiin alkuperäistä artikkelia. Tästä myös huomautettiin vastauksessa alkuperäiseen artikkeliin, ja tuotiin esille että tutkijat eivät yksinkertaisesti kykene vetämään kerätyn datan perusteella niitä johtopäätöksiä joita he esittävät:
Artikkelin tulokset olivat myös vahvasti ristiriidassa aiempien tutkimustulosten kanssa, kuten tuotiin esille toisessa vastauksessa:
Tämän jälkeen kirjoittajat päättivät vetää artikkelin pois:
Poisvedon saatteena kirjoittajat myöntävät että alkuperäinen kirjoitus teki virheellisiä väittämiä. Vaikka artikkeliin tehtiin heidän mielestään riittävät korjaukset, tutkimukseen viitattiin edelleen näiden virheellisten väittämien perusteella.
The authors wish to note the following: “Our article estimated the role of officer characteristics in predicting the race of civilians fatally shot by police. A critique pointed out we had erroneously made statements about racial differences in the probability of being shot (1), and we issued a correction to rectify the statement (2).
Despite this correction, our work has continued to be cited as providing support for the idea that there are no racial biases in fatal shootings, or policing in general. To be clear, our work does not speak to these issues and should not be used to support such statements. We take full responsibility for not being careful enough with the inferences made in our original report, as this directly led to the misunderstanding of our research.
Poisvedosta löytyy myös pidempi lausunto ja taustoitusta päätökselle. Siinä kirjoittajat selkeästi myös tuovat ilmi, mitkä asiat nimenomaisesti eivät vaikuttaneet tehtyyn päätökseen:
This was the sole reason for our decision to retract the article; this decision had nothing to do with political considerations, “mob” pressure, threats to the authors, or distaste for the political views of people citing the work approvingly.
Kun siis Savolainen kirjoittaa: “Normaalisti tieteellisen artikkelin poisvetäminen liittyy tutkimuksessa paljastuneeseen vilppiin tai merkittävään virheeseen aineistossa tai sen analyysissä”, niin näyttäisi siltä että tässä on juurikin ollut kyse hyvinkin normaalista toimintatavasta. Kun vielä kirjoittajat itse selväsanaisesti irtisanoutuvat spekulaatioista poliittisista vaikuttimista päätökselleen, ei ole mitään pätevää perustetta väittää että asia olisi toisin.
Society
Kesäkuussa 2020 Society-lehti veti pois poleemisen artikkelin 550 tutkijan vaatimuksesta, tutkimuksen kirjoittaneen professorin vastuksesta huolimatta. Kirjoitusta pidettiin rasistisena, koska siinä katsottiin, että kulttuuriset tekijät vaikuttavat ryhmien välisiin köyhyyseroihin enemmän kuin esimerkiksi rakenteellinen rasismi.
Alkuperäinen teksti on poistettu verkosta. Vaikka tässä tekstin kohdassa Savolainen kuvaa asian nähdäkseni aivan todenmukaisesti, on kuitenkin hyvä huomata että kyseessä on ollut kommentaari (commentary), joka siis ei sisällä uutta tutkimustietoa, vaan kommentoi jotain ajankohtaista asiaa tai ilmiötä, tai mahdollisesti tarjoaa vaihtoehtoisia näkökulmia samassa lehdessä julkaistuun toiseen tekstiin. Näiden kommentaarien rooli saattaa vaihdella eri tieteenalojen kesken, joten voi olla että kyseisellä alalla näille annetaan enemmän painoarvoa kuin omalla alallani. Kuitenkin myös Society-lehti määrittelee Commentary -artikkelit “non-research” -artikkeleiksi (https://www.springer.com/journal/12115/submission-guidelines). Tässä tapauksessa siis mitään uutta tietoa ei ilmeisesti ole jäänyt julkaisematta, eikä ole täysin suoraviivaista puhua “tieteellisesti moitteettomasta” artikkelista kun kyseessä on vapaamuotoisempi mielipidetekstin kaltainen kommentaari. Tekstiä kohtaan esitetty kritiikki ja lopullinen poisvetämispäätös kohdistuivat myös vahvasti siihen, että esitetyille väitteille ei löydy totuuspohjaa:
We have a responsibility to publish scholarly literature that is based on, and supported by, facts and evidence. In this instance we fell far short of the standards we set ourselves as a publisher, resulting in an article being published which failed to meet a high standard of research.
Alunperin tuon kommentaarin kanssa oli tarkoitus ilmeisesti julkaista myös kaksi muuta kommentaaria toisilta kirjoittajilta, jotka olisivat osoittaneet tämän tekstin virheitä. Jostain syystä nämä tekstit jäivät julkaisematta, ja lopputuloksena lehdessä käyty keskustelu jäi mitä ilmeisimmin hyvin epätasapainoiseksi ja vaille faktapohjaa.
Kotimainen tutkimus
Yhteiskuntapolitiikka-lehdessä ilmestyi vuonna 2007 professori Janne Kivivuoren artikkeli, jossa hän tarkasteli evolutionismin paluuta suomalaiseen yhteiskuntatieteeseen. Tämä on historiallisesti mielenkiintoinen ilmiö, koska suomalaisen sosiologian tunnetuin klassikko, Edvard Westermarck (1862–1939), oli evoluutioteoreettisen yhteiskuntatieteen uranuurtaja.
Vuosikymmenten saatossa tämä viitekehys hylättiin vanhentuneena, kunnes modernit evoluutiopsykologiset virtaukset herättivät sen henkiin 1990-luvulla. Artikkelin ideana oli kuvata, haastatteluaineiston valossa, evolutionismista kiinnostuneiden yhteiskuntatieteilijöiden kokemuksia kotimaisessa tutkimusyhteisössä. […]
Tietääkseni tämä on ainoa kotimainen tutkimus, jossa on tarkasteltu ideologista painostusta yhteiskuntatieteellisessä tiedeyhteisössä.
Kyseessä on tämä artikkeli:
Savolainen tulkitsee että “tieteellisen arvomaailman kuvauksena Kivivuoren artikkeli on karmaiseva”. Nähdäkseni tämän artikkelin pohjalta on todella haastavaa vetää mitään johtopäätöksiä tieteellisen arvomaailman tilasta tai mahdollisesta ideologisesta painostuksesta laajemmin. Artikkelin tavoite on jossain ihan muualla:
Artikkelini aiheena oli kuvata valtavirrasta poikkeavan tieteellisen mielipiteen herättämän sosiaalisen kontrollin kokemisen muotoja tutkimusyhteisössä.
Artikkelin tulosten tulkintaan kiinnitettiin keskustelussa muutoinkin huomiota:
Erityisesti Savolaisen tekstin näkökulmasta kyseinen tutkimus ei välttämättä tarjoa niitä vastauksia joita Savolainen haluaisi sieltä löytää:
Tutkimus ei liioin sisällä suoraa tietoa kontrolloivien tahojen motiiveista. Niiden selvittämiseksi tarvittaisiin erityyppinen tutkimus. Taustalla voi olla yksinkertaisesti se, että jos joku on investoinut vuosia johonkin paradigmaan, hän ei mielellään näe sen horjuvan tai joutuvan ns. paradigmakritiikin kohteeksi (Kuhn 1970, 7). Lisäksi nimenomaan evolutionismin torjunnan taustalla voi olla uskonnollinen tai poliittinen vakaumus.
Ei siis suljeta pois mahdollista että poliittinen vakaumus vaikuttaisi, mutta tämäkään aineisto ei voi todistaa suuntaan tai toiseen.
Lopuksi
Savolainen väittää tekstissään että tieteellisesti moitteettomia artikkeleita vedetään pois poliittisin perustein. Olen pyrkinyt osoittamaan että tällaiselle väitteelle ei hänen antamiensa esimerkkien valossa ole tarpeeksi vahvaa näyttöä.
Korostan, että näiden esimerkkien virheellisyydestä ei tietenkään automaattisesti seuraa että vastakkainen johtopäätös olisi totta (kyseessä olisi virhepäätelmä nimeltä etujäsenen kielto). Tällä materiaalilla ei siis voi todistaa että tieteessä ei esiintyisi ideologisesti motivoitunutta, tieteen arvojen vastaista toimintaa. Kuten aina, todistustaakka on kuitenkin väitteen esittäjällä, ja kovien väitteiden tueksi tarvittaisiin uskottavampaa näyttöä.
Keskustelua Twitterissä
