Psykologiassa oli jotain vikaa. Varoitusmerkkien kaskadi saapui kerrallaan vuonna 2011. Kuuluisat psykologiset kokeet epäonnistuivat yhä uudelleen, kun tutkijat tekivät ne uudelleen omissa laboratorioissaan. Vielä pahempaa, laboratorioissa käytettävät tavanomaiset menetelmät osoittautuivat tarkkana tarkkailuna, jotta ne olisivat kauniita ja riittäviä, jotta ne voisivat todistaa lähes kaiken. Nonsense, naurettavat väitteet esiin suurissa lehdissä. Se oli kriisin hetki.
Ensimmäinen merkki siitä, että oli aika laskentaa, tutkijat kertoivat WordsSideKick.comille, oli Cornellin psykologin Daryl Bemin julkaisemassa ainoassa lehdessä vuonna 2011 arvokkaassa Journal of Personality ja Social Psychology -lehdessä.
Tutkimuksessa käsiteltiin yhdeksän tutkimusta, jotka Bem oli suorittanut 10 vuoden aikana, joista kahdeksan näytti osoittavan voimakasta näyttöä siitä, että ihmiset näkevät asioita, joita he eivät näe tai mitä ei ole vielä tapahtunut. [Mikä on tieteellinen hypoteesi?]
Hänen paperinsa esitteli, mikä näytti olevan todellista näyttöä ennakkotarkastuksesta, "periaatteessa ESP: lle" tai yliluonnolliselle käsitykselle, Oregonin yliopiston tutkimuspsykologi Sanjay Srivastava kertoi WordsSideKick.comille.
Niille tiedemiehille, jotka olivat omistaneet elämästään tähän tieteen ja näiden menetelmien tapaan, oli kuin matto oli yhtäkkiä irrotettu alhaalta.
"Kussakin koe-osassa oli noin 100 potilasta, joiden otoskoot olivat suuret," Slate's Daniel Engber, joka on palannut psykologian kriisin pitkään, kirjoitti vuonna 2017. "Hän käytti vain tavanomaisimpia tilastollisia analyysejä. - ja kolminkertaistettiin sen varmistamiseksi, että hänen ärsykkeensä satunnaistamisessa ei ollut häiriöitä, vaikka kaikella ylimääräisellä huolellisuudella Bem ei olisi uskaltanut lähettää tällaista kiistanalaista havaintoa, jos hän ei kyennyt replikoitumaan tuloksia hänen laboratoriossaan, ja kopioida ne uudelleen ja sitten jäljitellä heitä vielä viisi kertaa, ja hänen loppuraportissaan luetellaan yhdeksän erillistä ministeriötä, joista kahdeksan palautti saman vaikutuksen. "
Bem ei ollut luova tutkija. Nämä olivat vankkoja tuloksia, vakuuttavasti osoitettu.
"Paperi näytti noudattavan kaikkia tieteen sääntöjä, ja tekemällä näin näytti jotain, jonka lähes kaikki ajattelivat olevan mahdotonta", Srivastava sanoi. "Ja niin, kun niin tapahtuu, sanot: Okei, joko mahdoton ei todellakaan ole mahdotonta, kuten ehkä ESP: llä, tai jotain siitä, miten teemme tieteen, joka mahdollistaa mahdottomien tulosten näyttämisen."
Toisin sanoen, tämä oli kaikkien psykologian, hyvän tiedealan standardien mukainen.
Muutamien kuukausien kuluessa Bemin ESP-paperin julkaiseminen, Pennsylvanian yliopiston ja Kalifornian yliopiston tutkijoiden trio, Berkeley julkaisi paperin Psychological Science -lehdessä, joka oli jossain määrin vieläkin häiritsevämpi, Simine Vazire, psykologi Kalifornian yliopisto, Davis.
Joseph Simmons, Leif Nelson ja Uri Simonsohnin "vääriä positiivisia psykologia" -papereita osoittivat, että "on tilapäisesti helppo julkaista" tilastollisesti merkittäviä "todisteita, jotka ovat yhdenmukaisia minkä tahansa hypoteesi."
Näytti todennäköiseltä, että monet tutkijat, jotka työskentelivät menetelmillä, joilla heillä oli jokainen syy uskoa, oli ilmoittanut tuloksia, jotka eivät yksinkertaisesti olleet totta. Todistaakseen, he käyttivät nykyisiä menetelmiä psykologiassa osoittaakseen muun muassa, että kuuntelemalla Beatles-laulua "Kun olen kuusikymmentä neljä", ihmiset tekevät ihmiset puolitoista vuotta nuoremmaksi. Jos psykologia toimii oikein, tutkijat joutuvat hyväksymään ehdotuksen, jonka mukaan Paul McCartney -laululla on valta siirtää kirjaimellisesti syntymäpäiväsi.
Psykologia ei ole tiedettä varmista asioista. Ihmiset ovat outoja ja sotkuisia ja tekevät asioita kaikenlaisista syistä. Joten, kun psykologit suorittavat kokeilun, on aina olemassa riski siitä, että vaikutus, jonka he näkevät - onko ESP tai sanomalla taipumus saada nälkä kun hampurilaisia tuoksuu - ei ole todellista, ja se on vain satunnaisen mahdollisuuden tulos. [25 outoja asioita, joita ihmiset tekevät joka päivä, ja miksi]
Tilastot tarjoavat kuitenkin työkalun riskin mittaamiseen: P-arvo.
"P-arvo yksinkertaisesti on: Jos kaikki olisi vain melua, jos kaikki tiedot olisivat satunnaisia, mitkä ovat mahdollisuudet, jotka olisin nähnyt sellaisen kuvion kuin se, jota seurasin?" Vazire kertoi WordsSideKick.comille. "Mitkä ovat mahdollisuudet, että olisin nähnyt eron tämän suuren tai suuremman, jos se olisi vain satunnaista tietoa?"
Jos tutkimuksen P-arvo on 0,01, se tarkoittaa sitä, että jos ei olisi todellista vaikutusta, olisi vielä 1 prosentin mahdollisuus saada tämä suuri tai suurempi tulos - väärä positiivinen. Arvo 0,20 tarkoittaa, että jopa ilman todellista vaikutusta on vielä 20 prosentin mahdollisuus ainakin vähintään yhtä suuri.
"Olemme kentällä päättäneet, että jos p-arvo on alle 5 prosenttia, käsittelemme sitä tilastollisesti merkityksellisenä", Vazire sanoi. [Mikä on teoria?]
Jos P-arvo viittaa siihen, että tuloksella olisi vain 5 prosentin mahdollisuus esiintyä ilman todellista vaikutusta, se on riittävän merkittävä, jotta se olisi vakavasti otettava. Se oli psykologian sääntö. Ja se näytti toimivan - kunnes se ei.
Joten, kun kyseinen testi oli paikallaan, kuinka "hyväksymättä oli helppoa" tehdä vääriä johtopäätöksiä?
Ongelma, Simmons, Nelson ja Simonsohn totesi, että tutkijoilla oli liian monta "vapausastetta" opintojensa suorittamisessa. Kun psykologit tekevät kokeita, ryhmä kirjoitti, he tekevät päätöksensä päätöksen jälkeen, joka voi heijastaa tuloksiaan tavalla, jolla P-arvot yksinään eivät pysty havaitsemaan.
P-arvotesti, Vazire sanoi, "toimii niin kauan kuin lasket vain yhden P-arvon tutkimusta kohti."
Mutta se ei aina ole, miten tutkijat toimivat.
"Jos saan tietopaketin, jossa on kymmeniä tai useampia muuttujia" - asioita, kuten ikä, sukupuoli, koulutustaso tai erilaiset tulosten mittaustyökalut - "voin leikkiä sen kanssa", Vazire sanoi. "Voin kokeilla erilaisia asioita ja tarkastella eri alaryhmiä."
Ehkä kaikki tutkimusryhmän raportit eivät tule nälkäisiksi, kun he hajuvat hampurilaisia (kuten aikaisemmin kuviteltavasta tutkimuksesta). Mutta paljon miehiä 30-55 vuotta. Tutkijat saattavat pystyä raportoimaan tarkasti tilastollisesti merkityksellisestä väitteestä, jonka mukaan miehet tuosta ikäryhmästä joutuvat nälkäksi, kun he hajuvat hampurilaisia, eivätkä vain mainitse, että vaikutus ei muuttunut kenenkään muun tutkittuun.
"Jos meillä on mahdollisuus kokeilla monta kertaa, saamme lopulta tuloksen, joka näyttää äärimmäiseltä, mutta se on todellisuudessa sattumaa", Vazire sanoi.
Ja tämäntyyppisen kirsikkatyön tulosta ei vain pidetty huijauksena.
"Se oli yleinen käytäntö tarkastella tutkimuksessa kerättyjä tietoja ja tehdä päätöksiä", Srivastava sanoi. "Kuten muutos on hypoteesin avaintekijä tai päättää, kuinka monta aineistoa kerätään."
Yksi tapa tuottaa positiivinen tulos satunnaisesta melusta, Srivastava sanoi, on lisätä aiheita pieniin eräkohtaisiin tutkimuksiin - kerätä joitain tuloksia ja katsoa, antavatko tiedot etsimäsi vastaukset. Jos ei, lisää hieman lisää. Huuhtele ja toista, kunnes tilastollisesti merkitsevä vaikutus ilmaantuu, eikä lopullisessa asiakirjassa koskaan mainita, kuinka monta nudges ja tarkastukset sen suoritti tuloksen tuottamiseksi.
Näissä tapauksissa useimmat psykologit eivät todennäköisesti yrittäneet löytää vääriä positiiveja. Mutta he ovat ihmisiä, jotka halusivat myönteisiä tuloksia, ja liian usein he tekivät päätöksiä, jotka saivat heidät siellä.
Kun tuli selväksi, että psykologian tavanomaiset toimintatavat eivät toimi, kysymys oli siitä, mitä se tekee.
"Puhuin paljon näytteen koosta alussa ja kuinka tarvitsemme suurempia näytteitä", Vazire sanoi.
On paljon vaikeampaa säästää tuloksia, tahallisesti tai tahattomasti, kokeessa, joka suoritetaan 2000 ihmisellä kuin 20 henkilön tutkimuksessa. [Mikä on tieteellinen laki?]
"Se oli eräänlainen ensimmäinen suuri pyrkimys psykologiassa ihmisten välillä, jotka yrittävät uudistaa, mutta lopulta se siirtyi enemmän avoimuuteen", hän sanoi.
Ja siellä missä todellinen pushback alkoi.
"Sanoisin, että psykologiassa on melko hyvä yhteisymmärrys siitä, että meidän on saatava tiedot julkisesti saataville aina kun se on mahdollista ja että meidän pitäisi tehdä materiaaleistamme ja menettelytavoistamme ja koodata [välttämättä] kopioida opintojamme".
Mutta yhä useammin reformistit psykologit - mukaan lukien Srivastava ja Vazire - alkoivat pyrkiä toiseen ratkaisuun, joka on lainattu lääkealan kliinisistä tutkimuksista: ennalta ilmoittautuminen.
"Ennakko-ilmoituksen katson olevan toinen läpinäkyvyys, jotta muut saisivat tarkistaa suunnitellun ja mikä ei", Vazire sanoi.
Se on pakottava mekanismi, jonka tarkoituksena on rajoittaa vapausasteita, joita Simmons, Nelson ja Simonsohn ovat huolissaan.
"Ennakkotilaus tarkoittaa, että ennen kuin keräät tietoja tutkimukseen, kirjoitat suunnitelman siitä, mitä aiotte tehdä", Srivastava sanoi. "Sinä tunnistat kaikki asiat, joista saatat joutua tekemään päätöksiä matkan varrella, ja teet nämä päätökset etukäteen." [10 asiaa, joita et tiennyt sinusta]
Näihin päätöksiin kuuluu mm. Mitä muuttujat psykologit analysoivat, kuinka monta aihetta he sisällyttävät, miten he suljetaan pois huonoja aiheita - kaikki kirjoitetaan etukäteen ja julkaistaan jossain aikaleimalla, jotta muut tutkijat voivat palata ja tarkistaa se.
Ajatuksena on, että ilman liian monia vapausasteita tutkijat eivät pääse ajamaan kohti vääriä positiivisia tuloksia.
Mutta ei jokainen rakastaa ajatusta.
"Siellä on varmasti sukupolvenvaihdos", Srivastava sanoi. "Kun puhun nuoremmille jatko-opiskelijoille ja varhaiskasvattajille, tuntuu usein olevan järkevää niille."
Se on hyvin näkyvä, aktivistiryhmä - ennakkotunnus on kuuma aihe online-psykologiyhteisössä - ja osittain tämän aktivismin takia käytäntö on tuottanut merkittäviä tuloksia. (Psykologinen tiedekunta kannustaa nyt esim. Ennakkotapahtumaa.) Mutta etukäteen ilmoittajat eivät ole selkeä psykologisen vallan keskus, ja heidän ponnisteluistaan on ollut huomattavaa pudotusta.
Usein tämä pushback on epävirallinen. Kiistely näyttää paljon hermostuneemmalta Twitterissä ja psykologisten departementtien vesijäähdyttimien ympärillä kuin lehdissä. Ei liikaa tutkijoita on julkisesti paljastanut ennaltaehkäiseviä tehtäviä.
Mutta ennakkotapaus ei ole ilman merkittäviä vastustajiaan. Sophie Scott, neurotieteilijä University College Londonissa ja mentaaliprosessien asiantuntija, kirjoitti sarjassa Times Higher Education vuonna 2013, jonka otsikko oli "Esirekisteröinti saattaa tiede ketjuihin", väittäen, että käytäntöä "on vastustettava".
"Tietojen tulkintaan liittyvien spekulatiivisten näkökohtien rajoittaminen uhkaa tehdä asiakirjoista entistä yksiulotteisempaa näkökulmasta", hän kirjoitti ja lisäsi, että "vaatimus tarkentaa opintoja ja niiden tulkintaa ennen tiedonkeruuta estäisi meidät oppimasta virheistämme matkan varrella."
Scott väitti myös, että ennalta ilmoittautuminen antaa liikaa luottoa kapealle tieteelliselle työlle: hypoteesin testaus. Kaikki tiedemiehet eivät toimi etukäteen selvittämällä, mihin kysymyksiin he haluavat vastata, kirjoitti hän, joten ennakkotiedot saattaisivat tukahduttaa tutkimusta.
Vazire tunnusti huolensa siitä, että ennaltakirjoitus rajoittaisi tutkijoiden kykyä havaita odottamattomia vaikutuksia.
Mutta hän sanoi: "Monet meistä, jotka painostavat ennakkotunnusta, sanovat, että se ei ole totta, voitte vain, mitä haluatte, sinun on vain oltava rehellinen siitä, että etsit ja sitä ei suunniteltu."
Hänen mukaansa tutkimustutkimus voi olla "erittäin jännittävä ja julkaisukelpoinen", mutta tutkijoiden pitäisi olla vähemmän vakuuttuneita tuloksistaan. "Tämä kritiikin osa on totta, ja mielestäni meidän on todella, todella selvää, että Minulla on vähemmän luottamusta tähän tulokseen ", Vazire sanoi.
"Melkein kaikki, mitä teen, on etsivä", hän sanoi. "Olen juuri hyvin alusta asti siitä, että tämä on hypoteesi, jota on vielä testattava, eikä siitä saa tehdä päätelmiä."
Ennakkotietojärjestelmän puolestapuhujat tunnistavat nopeasti, että se ei ole psykologisen taudin sairauksien hoito.
Vuonna 2011 samana vuonna julkaistiin ESP ja vääriä positiivisia papereita, hollantilainen psykologi Diederik Stapel - jonka työ oli muotoillut sosiaalipsykologian alalla - keskeytettiin Tilburgin yliopistosta tietojen tuottamiseen "kymmeniä tutkimuksia" New Scientistin mukaan. Se oli toinen merkittävä isku, mutta erilainen kuin Bemille, joka näytti todella uskovan, että hänen tuloksensa osoittivat ESP: n.
"Rekisteröinti ei ole hyvä tarkastus petosta vastaan", Srivastava sanoi. "Se on hyvä tarkistus hyvää tarkoittavia virheitä vastaan ja tarkistus tavallisten ihmisten puolueiden ja tapojen varalta."
Ja, kuten Vazire huomautti, on mahdollista ennaltakirjoittaa tutkimus epätäydellisesti tai väärin, niin että tutkimuksella on edelleen liian paljon vapausasteita. On jo olemassa esimerkkejä "ennalta tehdyistä" tutkimuksista, joita reformistit ovat arvostelleet laimeista ja puutteellisista rekisteröintitoimista.
Tämä tarkoittaa sitä, että sen sijaan, että sanomme vain, että "tämä tutkimus on kirjattu ennalta [link]", tärkein artikkeli sanoo nimenomaisesti *, mitä * oli ennalta merkitty (poissulkemissäännöt, pisteytys, muutokset jne.) Ja tulosten osion on jäsennettävä rakenteellisesti prereg- prereg-analyysejä
- Sanjay Srivastava (@hardsci) 27. helmikuuta 2018
Toistaiseksi Srivastava sanoi, että uudistusta edistävä hanke on jatkossakin esitellä ennakkoilmoituksen reittiä psykologian kriisistä ja vakuuttaa kollegoidut jatkamaan sitä.
"Yksi universaali on se, että tutkijat ovat ihmisiä", Srivastava sanoi, "ja ihmisillä on puolueita ja meillä on kannustimia ja kaikki nämä muut asiat, joita meidän on tarkistettava."
Alun perin julkaistu WordsSideKick.com.
Psykologit ovat tienneet, että jokin oli väärässä kenttäänsä ainakin vuodesta 2011. Nyt on todellinen suunnitelma korjata asioita, ja se näyttää toimivan.