Hipotez Testleri

Hepimiz günlük hayatımızda farkında olmadan hipotezler kuruyoruz ve karar vermeye çalışıyoruz onu mu yapsam bunu mu yapsam diye. Örneğin çocuğum 3 yaşına geldi kreşe mi versem , yoksa bir süre daha evde anneannesiyle birlikte kalmaya devam mı etse, yada İstanbul da yaşam masrafları epey arttı acaba daha küçük nüfuslu, ekonomik olarak daha rahat yaşayabileceğimi düşündüğüm memleketim olan Aydın’a geri mi dönsem gibi……. Peki bunları düşünürken ne yapıyoruz, düşündüğümüz seçenekleri tek tek tartıyoruz kafamızda, bir diğer deyişle test ediyoruz ve hali hazırda olan yaptığımız davranıştan vazgeçmek için , diğer seçeneğin bizim için daha mantıklı olduğuna ikna olmamız gerekiyor. Eğer ikna olamazsak hali hazırda olan davranışımızı yapmaya devam ediyoruz. İşte tüm bunları istatistiğe dayandırmadan yapıyoruz. Hadi o zaman şimdi istatistiksel olarak hipotez testlerinin mantığını anlayalım ve sık kullanabileceğinizi düşündüğümüz bir kaç hipotez testini birlikte inceleyelim.

Hipotez Testi Nedir?

Geçerliliği olasılık esaslarına göre araştırılabilen ve karar verebilmek için öne sürülen varsayımlara istatistikte “hipotez” denir.

Örneklem dağılımlarından elde edilen istatistiklere bağlı olarak, örneklem dağılımının, parametresi bilinen kitleye ait olup olmadığı araştırılır. Hipotezlerin örneklem yardımıyla incelenmesine “hipotez testi” denir.

Araştırma bulgularını yorumlarken, araştırmacıların bu bulguların tesadüfen meydana gelip gelmediğini değerlendirmeleri gerekir. Hipotez testi, bir araştırma çalışmasının sonuçlarının bir popülasyon için geçerli olan belirli bir teoriyi destekleyip desteklemediğine karar vermek için sistematik bir prosedürdür.

Hipotez testinin adımları ;

• Araştırma hipotezinizi sıfır hipotezi(Ho) ve alternatif hipotez (H1) olarak belirtin.
• Uygun bir istatistiksel test gerçekleştirin.
• Sıfır hipotezinizi reddetmeye veya reddetmeye karar verin.
• Bulgularınızı sonuçlar ve tartışma bölümünde sunun.

Spesifik ayrıntılar değişebilse de, bir hipotezi test ederken kullanacağınız prosedür her zaman bu adımların bazı versiyonlarını izleyecektir.

Sıfır hipotezi (H0), istatistiksel testlere bağlı olarak farklı şekilde ifade edilebilir, ancak iki veya daha fazla değişken arasında fark, ilişki veya bağımlılık olmadığı iddiası olarak genelleştirilebilir. Yani hali hazırda yaptığımız davranız.(Örn: Şuan İstanbul’da yaşıyor olmam)

Alternatif hipotez (H1), sıfır hipotezi ile çelişir ve ilişkilerin var olduğunu iddia eder. Doğru olduğunu kanıtlamak istediğimiz hipotezdir. (Örn: Memleketim olan Aydın’a yerleşmek)

Bununla birlikte, her zaman sıfır hipotezinin doğru olduğunu varsaydığımız ve sıfır hipotezini reddetmek için kanıt bulmaya çalıştığımız bir yaklaşım vardır.

P-Value

Hesaplanan p değeri istatistiksel testlere göre değişir. İlk olarak, gözlemlenen numune verilerinin ortalama ve standart sapmasına bağlı olarak, test istatistik değerini türetebiliriz. Daha sonra sıfır hipotezinin dağılımı verildiğinde bu test istatistiklerini alma olasılığını hesaplayarak, p-değerini bulacağız. Asıl kararı veren istatistiksel önem değeri gibi düşünebilirsiniz. Çoğu durumda kendi kendine hesaplanacak ve biz tüm kararı p-value değerine göre vereceğiz.

Artık temel kavramları konuştuğumuza göre süreç aşağıdaki gibi olacaktır;

HİPOTEZ TESTLERİ

• T-testi: Küçük örneklem büyüklüğüne sahip iki sayısal değişken grubunu/kategorisini karşılaştırır.
• Z-testi: Büyük örneklem büyüklüğüne sahip iki sayısal değişken grubunu/kategorisini karşılaştırır.
• ANOVA testi: Sayısal değişkenlerin iki veya daha fazla grubu/kategorisi arasındaki farkı karşılaştırır.
• Ki-Kare testi: İki kategorik değişken arasındaki ilişkiyi inceler.
• Korelasyon testi: İki sayısal değişken arasındaki ilişkiyi inceler.

Hipotez Testi Örneği

Kullandığım veri seti “Müşteri Kişilik Analizi” bu çalışmada farklı istatistiksel test türlerini Python ile birlikte göstereceğiz. T-testi, ANOVA ve Ki-Kare testi. Büyük örneklem büyüklüğüne duyarlıdırlar ve örneklem büyüklüğü büyük olduğunda neredeyse kesinlikle çok küçük p-değeri üreteceklerdir. Bu nedenle, orijinal verilerden rastgele bir örnek (100 satır büyüklüğünde) aldım:

T-Testi

Sayısal bir değişken ile kategorik bir değişken arasındaki ilişkiyi test etmek istediğimizde t-testi kullanılır.

T-testinin üç ana türü vardır:

• Tek örneklem t-testi: Bir grubun ortalamasını sabit bir değere karşı test eder.
• İki örnek t-testi: İki grup arasındaki ortalama farkını test eder.
• Eşleştirilmiş örneklem t-testi: Aynı deneğin iki ölçümü arasındaki ortalama farkını test eder.

Örneğin, “Recency”in (müşterinin son alışverişinden bu yana geçen gün sayısı) “Response” (müşterinin son kampanyadaki teklifi kabul edip etmediği) tahminine katkıda bulunup bulunmadığını test etmek istersem, iki örneklem t testi kullanabilirim. İlk örneklem, teklifi kabul eden müşterilerin “Recency” i olacaktır:

1.adım: Sıfır ve alternatif hipotezi tanımlayın.

H0 (Sıfır Hipotez): Son kampanyada teklifi kabul eden müşteriler ile teklifi kabul etmeyen müşteriler arasında Receny açısından fark yoktur. H1(Alternatif Hipotez): Teklifi kabul eden müşterilerin Recency oranı, teklifi kabul etmeyen müşterilere kıyasla daha düşüktür.

2.adım : Uygun testi seçin.

İki bağımsız örnek arasındaki farkı test etmek için iki örnekli t-testi en uygun istatistiksel testtir. Sıfır hipotezi doğru olduğunda test istatistikleri, öğrenci t-dağılımını takip eder. T dağılımının şekli, iki örneklem boyutunun toplamı eksi 2 olarak hesaplanan serbestlik derecesi ile belirlenir.

Python kitaplığı scipy.stats ile aşağıdaki gibi t dağılımını oluşturun:

3.adım: P-değerini hesaplayın.

ttest_ind(), tüm bunları bizim için otomatik olarak yapan, Python’da bağımsız t-testi için kullanışlı bir işlevdir. Parametre olarak iki örnek rececency_P ve recency_N seçelim.

alternatif = “ less” seçin ve t-istatistiklerini ve p-değerini elde ederiz.

4.adım: Test sonucunu yorumlayın

Yaygın olarak kullanılan anlamlılık düzeyi eşiği 0,05'tir. Buradaki p değeri (0.012) 0.05'ten küçük olduğu için toplanan örneğe göre istatistiksel olarak anlamlı olduğunu söyleyebiliriz. Teklifi kabul eden müşterinin daha düşük bir recency değeri olması muhtemelen tesadüfen oluşmaz.

ANOVA Testi

Artık bir veya iki örneklem grubunun ortalamasını karşılaştırmak için t-testinin kullanıldığını biliyoruz. İkiden fazla numuneyi test etmek istersek ne olur? ANOVA testini kullanılırız.

ANOVA, gruplar arasındaki varyansın bir grup içindeki varyansa oranını hesaplayarak gruplar arasındaki farkı inceler. Daha büyük oran, gruplar arasındaki farkın rastgele şanstan ziyade grup farkının bir sonucu olduğunu gösterir.

Örnek olarak, “NumWebPurchases” tahmini için “Kidhome” özelliğini kullanıyorum. “Kidhome”un üç değeri vardır — 0, 1, 2 ve doğal olarak üç grup oluşturur.

1.adım: Sıfır ve alternatif hipotezi tanımlayın.

H0: Üç grup arasında fark yok.

H1: En az iki grup arasında fark var.

2.adım : Uygun testi seçin.

İkiden fazla grup içeren kategorik bir değere karşı sayısal değerlerin ilişkisini incelemek için ANOVA testi tercih edilir. ANOVA testindeki sıfır hipotezinin test istatistikleri, serbestlik dereceleriyle tanımlanan bir dağılımı da takip eder — bu f-dağılımıdır. Serbestlik derecesi, toplam örneklem sayısı (n) ve grup sayısı (k) ile hesaplanır.

• serbestlik dağılımı = n — 1
• serbestlik derecesi = n — k

3.adım: P-değerini hesaplayın.

Python kullanarak f-istatistiklerini ve p-değerini kolayca elde etmek için stats.f_oneway() fonksiyonunu kullanabiliriz.

4.adım: Test sonucunu yorumlayın.

p-değerini anlamlılık seviyesi 0.05 ile karşılaştırırsak, sıfır hipotezine karşı güçlü kanıtlar olduğu ve en az iki grup arasında “NumWebPurchases” açısından büyük olasılıkla bir fark olduğu sonucuna varabiliriz.

Ki-Kare Testi

Ki-Kare testi, iki kategorik değişken arasındaki ilişkiyi test etmek içindir. Altta yatan ilke, eğer iki kategorik değişken bağımsızsa, o zaman bir kategorik değişken, diğer kategorik değişken değiştiğinde benzer bir bileşime sahip olmalıdır. “Education” ve “Response”un bağımsız olup olmadığı örneğine bakalım.

1.adım: Sıfır ve alternatif hipotezi tanımlayın.

H0: “Education” ve “Response” birbirinden bağımsızdır.

H1: “Education” ve “Response” birbirine bağımlıdır.

2.adım : Uygun testi seçin.

2 kategorik veri arasında kıyaslama için istatistiksel test olarak ki-Kare testi seçilmiştir. Ki dağılımı, (satır — 1) x (sütun — 1) olarak hesaplanan serbestlik derecesi ile belirlenir.

3.adım: P-değerini hesaplayın.

Değişkenleri Ki-Kare testinin gerçekleştirilebilmesi için statsmodel kütüphanesi chi2_contingency kullanabiliriz.

4.adım: Test sonucunu yorumlayın.

Bu istatistiksel olarak anlamlı olmadığını düşündürür. Bu nedenle, bu iki kategorik değişkenin bağımsız olduğu sıfır hipotezini reddedemeyiz. Birbirininden bağımsızdır.

Bu yazımızda , üç yaygın istatistiksel test uygulamalarını yaptık: T-testi, ANOVA testi ve Ki-Kare testi. Hipotez testindeki temel mantık hep aynıdır:

1. Sıfır ve alternatif hipotezi tanımlayın.
2. Uygun testi seçin.
3. P-Value hesaplayın .
4. P-Value ‘ya göre test sonucunu değerlendirin.