BİLİMİN GÜVENİLİRLİĞİ
Bu günlerde sık sık modern bilimin sürekli değiştiğini, güvenilmez olduğunu, yoruma açık olduğunu duyuyoruz. Ayrıca evrim teorisinin yalnızca bir teori olduğunu, kanun olmadığını, korelasyonun nedensellik göstermediğini, bilimsel çalışmaların güvenilmez olduklarını sık duyuyoruz. Peki gerçekten de bilim ve bilimsel makaleler güvenilmez şeyler midir?
Ortaokul ve lise biyoloji dersinde bilimsel yöntem anlatılırken hipotezler kanıtlanıp teori olurlar, teoriler kanıtlanıp kabul görünce kanun olurlar şeklinde yanlış bir anlatıma maruz kaldık ve aslında var olmayan bir hiyerarşik ilişkiye inandık. Bilimsel yasalar doğada gördüğümüz düzenliliklerdir. Yasalar bir olay veya olgunun ne olduğunu söyler, ancak neden veya nasıl olduğunu söylemez. Bu açıklamaları yapabilmek yani niçin sorularına cevap vermek için teorilere ihtiyaç vardır. Teoriler uyduruk şeyler değillerdir, delillerle desteklenen, deney ve gözlem yoluyla sınanmış başarılı açıklamalardır. Yani evrim olgusu doğada gözlemlenebilen açıklayan en makul teori evrim teorisidir. (https://evrimagaci.org/bilim-dahilinde-hipotez-kanun-gercek-ve-teori-ne-anlama-gelir-6)
(Enis Doko- Evrim Teorisi Neden Hala Teori? | Yasa ve Teori Arasındaki Fark)
Modern bilim felsefesinde yanlışlanabilirlik bilimin metodu değildir. Örneğin bir çalışmaya göre boy uzunluğunun %80’i genetik, %20’si çevre etkisiyle şeklinde bir sonuca varılmış olsun. Bir kişi çıkıp ya benim annem 150cm ,babam 160cm dediğinde bu müstesna kişi araştırmayı çürütmez. Çünkü bu araştırma bir popülasyonda yapılmıştır, istisnalar kaideyi bozmaz. Siyah bir kuğu gösterdiğimizde beyaz kuğuların hepsi yok olmaz. Bilim felsefesinde günümüzde geçerli olan teori Bayes Teoremine dayanan Bayesciliktir.(https://onculanalitikfelsefe.com/bayescilik-thomas-metcalf/) Bayes Teoremi kısaca bir olayın doğru olma ihtimalini önsel olasılıklara yenileri(koşullu olasılık) eklendiğinde elimizdeki veriye dayanarak yapılan bir ihtimal hesabıdır. Buna göre bir şeyin doğru olma ihtimali yanlış olma ihtimalinden daha yüksekse doğru olduğunu kabul etmek daha mantıklıdır. Yani bazı beyaz kuğular bazı beyaz kuğulara ve siyah kuğulara nazaran daha tercih edilesidir.
Bilgi felsefesinde Gettier Problemine getirilen en önemli cevaplardan biri olan erdem epistemolojisine göre, belirli bir a önermeler alanında belirli k koşulları varken kişinin çoğunlukla doğruyu elde etmesi ve yanlıştan sakınmasını mümkün kılan yetenekleri entelektüel erdem-bilişsel yetileri vardır ve kişiler bunları kullanarak doğru inançlarını bilgiye dönüştürmek için gerekçelendirmeyi mümkün kılar.(https://onculanalitikfelsefe.com/erdem-epistemolojisi-bilgiye-erdem-ile-ulasmak-taner-beyter/)
Ancak epistemik erdemleri yeterince gelişmemiş kimseler her türlü saçmalığa inanabilir. Erdem epistemolojisine göre bir şeyin doğru veya yanlış olduğunu kabul etmek, yani doğru bilgiye ulaşmak konusunda çabalamak aynı zamanda bir ahlak meselesidir.
Bu girizgahtan sonra makalelerin güvenilirliğinden bahsetmeye başlayalım.
Veri ve istatisiksel analizde iki önemli kavram nedensellik ve korelasyondur. Bunları kısaca tanımlarsak:
Nedensellik, bir değişkenin (bağımsız değişken) başka bir değişkeni (bağımlı değişken) etkilediği iddiasıdır. Nedensel ilişkinin oluşabilmesi için ele alınan değişkenler arasında bir ilişki olmalı, sebep sonuçtan önce gelmeli, değişkenler arası ilişkiler gerçek olmalıdır.
Nedensel ilişkiler deney ve gözlemle test edilir. Deney nedensel çıkarım için en iyi araçtır. Bunun sebebi random şekilde bağımsız değişkenlerin atanabilmesidir. Gözlem yaparken ise bağımsız değişkenlerin manipüle edilmediği varsayımı ile toplanılan veriler regresyon yöntemleriyle gözlemlenir. Bütün değişkenleri kontrol etmek imkansız olsa da çeşitli değişkenler kontrol edilerek geriye sebep-sonuç ilişkisinin kaldığı ve anlamlı çıkarımlar yapıldığı varsayılır.İki şey arasında nedensellik olduğunu iddia etmek sosyal bilimlerde neredeyse imkansızdır.(https://japonyapolitik.substack.com/p/1-nedensellik-nedir-veriler-deneyler?utm_source=profile&utm_medium=reader2)
Korelasyon iki değişken arasında doğrusal ilişkinin yönünü ve gücünü gösterir. Korelasyon katsayısı -1 ile 1 arasında(bu rakamlar dahil edilmeden) bir değer alır. Değer pozitif ise pozitif korelasyon vardır yani şeyler arasında doğrusal ilişki vardır, değer negatif ise negatif korelasyon vardır yani şeyler arasında ters ilişki vardır,0 ise anlamlı bir ilişki yoktur.(non-lineer ilişkiler hariç) p-değerleri ise bir hipotezin test edilmesi sonucunda elde edilen olasılık değerleridir ve korelasyon katsayılarının istatistiksel ve doğrusal açıdan anlamlı olup olmadıklarını bize gösterir. p değerleri 0–1 arasında değişir. 0.5'ten büyükse veya eşitse, genellikle hipotezi desteklemez ve istatistiksel olarak anlamlı bir ilişkinin olmadığını gösterir. 0.1–0.5 arasındaki p değerleri, hipotezi reddetmemekle birlikte dikkatlice değerlendirilmesi gerektiği anlamına gelir. 0.1'den küçük p değerleri(0.01, 0.05 veya 0.1 sık kullanılan anlamlılık düzeyleridir değişebilmektedir) genellikle istatistiksel olarak anlamlı kabul edilir ve daha güçlü bir istatistiksel destek sağlar. Yine r değeri 1'e yakın bir değerse pozitif korelasyon, -1'e yakın bir değerse negatif korelasyon var demektir. r değeri 1'e yaklaştıkça çok güçlü düzeyde bir ilişki var anlamına gelir. Bu kavramların yanı sıra n değeri ise örneklem büyüklüğünü(bir çalışma veya deneyde toplanan gözlemlerin veya veri noktalarının sayısını temsil eder) gösterir, genel olarak örneklem büyüklüğü arttıkça istatistiksel çalışmalar daha güvenilir hale gelir.
En güvenilir spesifik analiz yöntemleri meta analiz ve şemsiye incelemelerdir.
Şemsiye incelemeler, araştırmalarda genel bir bakış açısı sunmak maksadıyla sistematik incelemelerin veya meta analizlerin bir özeti-sentezi olarak kabul edilir. Şemsiye incelemeler, şu anda en yüksek kanıt düzeylerinden birini sunar.
Meta analiz, belirli bir araştırma sorusu üzerine yapılan birden fazla çalışmanın sonuçlarını birleştiren, çalışmaların farklılıklarını gösteren, birbiriyle tutarlı olup olmadıklarını karşılaştıran, etki büyüklüklerini analiz eden istatistiksel bir yöntemdir.Meta analiz, aynı konuyla ilgili farklı çalışmaların sonuçlarını bir araya getirerek daha net bir sonuca ulaşmayı amaçlayan bir yöntemdir. Meta analiz, konu hakkındaki tüm verileri toplayarak ve bunlarda ortak noktalar bulmaya çalışarak, bireysel çalışmalardan daha güvenilir ve doğru bir özet sunar.
Tabii meta-analizler, bilhassa düşük güce sahip alanlarda, aşağıda bahsedeceğimiz yayın yanlılığı, düşük kaliteli çalışmalar, heterojenite, sahtekarlık ve akran incelemesi gibi sorunlardan dolayı sıklıkla tek bir çalışmadan daha kötü olabilir. Kimi zaman iyi tasarlanmış, yüksek güçlü bir çalışma, genellikle kötü tanımlanmış ve daha düşük güçlü çok sayıda çalışmadan ve bunların meta analizlerinden çok daha değerlidir.(https://www.cremieux.xyz/p/beware-the-man-of-many-studies?utm_source=profile&utm_medium=reader2)
Peki bilimin ve bilimsel makalelerin güvenilirliği konusunda ne tür problemler ortaya çıkmaktadır.
1.Paradigma Değişimi:
Thomas Kuhn’un paradigma teorisine göre, belirli bir alanda çalışan bilim insanlarına, temel varsayımları, anahtar kavramları ve kullanmaları gereken yöntemi sağlayan genel çerçevedir. Örneğin, Kopernik’in güneş merkezli astronomisi veya Darwin’in evrim teorisi birer paradigma teorisi olarak kabul edilebilir. Bir paradigma, açıklanamayan bazı sonuçların birikmesiyle kriz dönemine girer ve başka bir paradigma onun yerini alır, buna paradigma değişimi denilir. Örneğin, Batlamyus’un yer merkezli astronomisinin Kopernik’in güneş merkezli astronomisi tarafından değiştirilmesi veya Newton fiziğinin Einstein fiziği tarafından değiştirilmesi birer paradigma değişimi olarak görülebilir.(https://onculanalitikfelsefe.com/paradigma-degisimi-nedir-emrys-westacott/)
2.Veri Sahteciliği:
Diederik Stapel, sosyal psikoloji alanında saygın bir profesördü ve ırkçılık, cimrilik, güzellik gibi konularda ilgi çekici deneyler yaptığını iddia ediyordu.Ancak 2011 yılında, iki öğrenci ve bir meslektaşı, Stapel’ın verilerinin sahte olduğunu fark etti ve onu üniversite yönetimine şikayet etti.Stapel, 55 makale ve 10 doktora tezinde veri sahteciliğini itiraf etti. Bu, akademik bilimdeki en büyük sahtekarlıklardan biriydi.(https://www.nytimes.com/2013/04/28/magazine/diederik-stapels-audacious-academic-fraud.html)
Francesca Gino, Harvard Business School profesörü olarak görev yapmış ve birçok akademik makaleye imza atmıştır. Ancak, 2021 yılında Data Colada adlı bir blog sitesinin üç yazarı, Gino’nun bazı çalışmalarında sahte veri içerdiği endişesiyle incelemeler yapmıştır. Bu incelemeler sonucunda, Gino’nun onayladığı dört akademik makalede veri sahteciliği bulgularına ulaşılmıştır.(https://datacolada.org/)(https://www.theorgplumber.com/posts/statement/)
Duke Üniversitesi’nde davranışsal ekonominin en önemli isimlerinden olarak kabul edilen Dan Ariely, bir sigorta şirketiyle işbirliği yaparak bir deney düzenlemişti. Bu deney, sigorta müşterilerinin davranışlarını incelemeyi amaçlıyordu.Veriler, sigorta şirketi tarafından toplandı, girdi olarak girildi, birleştirildi ve anonimleştirildi. Verilerin sahte olduğu ortaya çıktı, sahte verileri kimin yarattığı bilinmiyor ve bu veri sahtekarlığı konusunda ihmalkarlığı nedeniyle Dan Ariely tek sorumlu olarak görünüyor.(https://datacolada.org/storage_strong/DanBlogComment_Aug_16_2021_final.pdf)
3.Tekrarlanabilirlik Krizi:
Brian Nosek ve ekibi, Virginia Üniversitesi’nden bir grup psikolog, 2008 yılında üç prestijli dergide yayınlanmış 100 psikoloji çalışmasını yeniden yapmaya karar verdiler. Bu çalışmaların çoğu, insan davranışı ve zihni üzerine ilginç ve etkileyici bulgular sunuyordu. Ancak, bu bulguları tekrar elde etmek o kadar kolay olmadı. Yeniden yapılan çalışmaların sadece %36’sı, orijinal çalışmaların gösterdiği istatistiksel anlamlılığı sağlayabildi. Ayrıca, yeniden yapılan çalışmalardaki etki büyüklükleri, orijinal çalışmalardakinden çok daha düşüktü. Bu sonuçlar, psikoloji alanında, ama aslında tüm bilimde, tekrarlanabilirliğin bir kriz olduğunu ortaya koydu.
Bu proje, sadece psikoloji ile sınırlı kalmadı. 2021 yılında, aynı ekip, kanser araştırmalarının tekrarlanabilirliğini test etmek için 2010–2012 yılları arasında en çok alıntı yapılan 53 makaleyi seçti. Bu makaleler, kanser biyolojisi ve tedavisi üzerine önemli katkılar sağlamıştı. Ancak, bu makalelerdeki 193 deneyin sadece 50’si, yani %26’sı, başarıyla tekrarlanabildi. Üstelik, tekrarlanan deneylerdeki etkiler, orijinal deneylerden ortalama %85 daha azdı.(https://en.wikipedia.org/wiki/Reproducibility_Project) konomistler, 13 saygın akademik dergiden 67 ampirik makale aldı. Orijinal araştırmacıların yardımı olmadan, vakaların sadece üçte birinde aynı sonucu elde edebildiler.Orijinal araştırmacıların yardımıyla, bu oran yaklaşık yarıya yükseldi.(https://theconversation.com/the-replication-crisis-has-engulfed-economics-49202)
4.p-hacking:
p-değerinin, 0.10 ile 0.01 arasındaki bölge, psikolog Julia Rohrer’in “tekinsiz dağ” olarak adlandırdığı bölgedir. Tekinsiz dağ araştırmacıların istatistiksel anlamlılık eşiklerini geçirip geçirmedikleri konusundaki belirsizlikleri temsil eder. Bu konsept, istatistiksel anlamlılık eşiklerini belirlemenin ve kullanmanın bazen subjektif ve esnek olabileceği gerçeğine işaret eder. p-değeri, 0.05 ile 0.01 arasında ise bunun nedeni çok büyük ihtimalle p-hacking’dir.(yani manipüle edilmiş, seçici raporlamalar gibi şüpheli araştırma uygulamaları yapılmış tekrarlanması zor çalışmalardır) Çoğu alanda p-değerlerinin 0.10, 0.05 ve 0.01 gibi geleneksel anlamlılık eşiklerinin etrafında yoğunlaşma mevcuttur. Bu da, araştırmacıların sonuçlarını bu eşiklerin altına indirmek için verileri seçici olarak raporladıkları veya değiştirdikleri anlamına gelmektedir. Ekonomi alanının p-hacking açısından diğer alanlardan daha az şüpheli olduğu iddia edilmektedir. Bunun nedeni, ekonomistlerin çok sayıda tablo rapor etmeleri, sonuçlarının duyarlılık ve sağlamlık analizlerini yapmaları, modern ve uygun yöntemler kullanmaları ve makaledeki tasarımları üzerinde düşünmeleridir.(https://www.cremieux.xyz/p/ranking-fields-by-p-value-suspiciousness)
5.Yayın-Doğrulama Yanlılığı,Ortodoks Akademi,Sansür:
Yayın-doğrulama yanlılığı, bireylerin mevcut inançlarını,düşüncelerini,ideolojilerini veya kanaatlerini destekleyen bilgileri seçme,kayırma ve öne çıkarma eğilimidir. Özellikle bilimsel çalışmalarda hakim ideoloji olan sol-sol liberal denilebilecek bir perspektifte olduğundan bu görüşlerin aksine çalışma yayımlamak çok zordur. Bazı makaleler geri çekilmekte, bazıları sansürlemekte, bazı meşhur akademik dergiler ise yayın politikalarıyla bağdaşmadığı gerekçesiyle çeşitli konulardaki ses getirme ihtimali olan makaleleri yayımlamaktan imtina etmektedir. (https://www.stevestewartwilliams.com/p/scientists-censoring-science)
Yapılan akademik çalışmalarI fonlayan kişi, devlet veya akademik kuruluşların, yayındaki bulguların açıklanmasında söz sahibi olması da bu yanlılığı arttıran sebeplerden biridir.
6.Çalışma Kalitesi:
Düşük güce sahip alanlarda(siyaset bilimi,çevre bilimi vb.) yapılan çalışmalar, çalışmaların kalitesini veya tasarımını dikkate almama, çok küçük örneklemlerle çalışma, bütçenin küçük olması gibi unsurlar çalışma kalitelerini etkilemektedir.
SONUÇ
İstatistik hakikat arayışı için bir araç olarak kullanılabileceği gibi ideolojik yalanlar söylemek için bir aygıt-kılıf olarak da kullanılabilir. Özellikle siyaset bilimi, sosyoloji, psikoloji gibi alanlarda okunulan makalelere şüphe ile yaklaşmak mantıklı olacaktır.
Bilimin tamamına ve her alanda bilhassa doğru olma ihtimali yanlış olma olasılığından yüksek olan makalelere, bilimsel olgulara-kanunlara-teorilere hastalıklı bir septisizm ile yaklaşmak, modern bilim felsefesi ve epistemik erdemler açısından sakıncalı bir pozisyon olup bu rasyonel bir tavır değildir. Makale yazan akademisyenlerin öznelliklerini ortadan kaldırıp tam objektif olmaları mümkün olmasa da bilimsel çalışmalar gerçekliği olduğu gibi aktarmalı,bulgularını dürüstçe raporlamalı ve yorumlamalıdır.
