Flutter İçin A/B Test..

Herkese Yeniden Merhaba 🖤

Telefonumuz da yüklü olan, sürekli kullandığımız Instagram, Twitter, LinkedIn gibi uygulamalar dan gelen bildirimlerimiz, trink sesi ile uygulamanın sağ üst köşesinde, kırmızı uyarılar şeklinde belirmesi sizi rahatsız eder mi? Yoksa uygulamaya girip bildirime bakmak ister misiniz?

Mesala uygulamanın search kısmının zaman zaman aşağı ya da yukarı alındığını, dolayısıyla alışkanlıklarımızın o yönde değiştini farkettiniz mi? Hangisi kullanıcı deneyimi açısından daha kolaydır sizce?

Bu ayki konumuz Flutter için A/B test, konuya girmeden önce küçük bir beyin fırtınası yapalım istedim:) Acaba hangi test kabul edilecek? Bunun için kullanıcı deneyimlerini test etmemiz gerek.. Hazırsanız başlayalım :)

Nedir Bu A/B Test?

A/B testi, bir kullanıcı deneyimi araştırma metodolojisidir. A/B testleri, A ve B olmak üzere iki değişkenli rastgele bir deneyden oluşur. İstatistiksel hipotez testinin veya alanında kullanıldığı şekliyle “iki örneklemli hipotez testinin“ uygulamasını içerir. İstatistiksel A/B testi, tek bir değişkenin iki versiyonunu karşılaştırmanın bir yoludur, tipik olarak bir deneğin varyant A’ya verdiği yanıtı varyant B’ye karşı test ederek ve iki varyanttan hangisinin daha etkili olduğunu belirler.

A/B testi, tek bir vektör değişkeninin iki örneğinin (A ve B) karşılaştırıldığı basit bir random, kontrollü deney için kısa yoldur. Bu değerler, kullanıcının davranışını etkileyebilecek bir varyasyon dışında benzerdir. A/B testleri, yaygın olarak kontrollü deney’in en basit şekli olarak kabul edilir. Ancak, teste daha fazla değişken ekleyerek karmaşıklığı arttırılabilir.

A/B testleri, kullanıcı etkileşimini ve yeni bir özellik veya ürün gibi çevrimiçi özelliklerin memnuniyetini anlamak için faydalıdır. LinkedIn, Facebook ve Instagram gibi büyük sosyal medya siteleri , kullanıcı deneyimlerini daha başarılı kılmak ve hizmetlerini düzene sokmanın bir yolu olarak A/B testini kullanırlar.

Uygulama içi A/B Test

A/B Testin Faydaları Nelerdir Bir Bakalım💭

• Kullanıcılarınızın yüzde kaçına testlerin uygulanmasını istediğinizi seçebiliyorsunuz.
• Kazanan ilan edilebilmesi için gereken güven aralığını seçebiliyorsunuz. (%95, %99 ya da %99.5)
• Deneyin en az kaç gün sürmesi gerektiğini belirtebiliyorsunuz.
• Deney sonrasında hangi değişkenin kullanıcılara iletileceğini belirtebiliyorsunuz.
• Deney süresince tüm değişkenlerin eşit oranlarda kullanıcılara iletilmesini sağlayabiliyorsunuz.
• İyileştirilmiş içerik görebileceksiniz. Örneğin, pazarlama içeriğini test etmek, kullanıcıların verilerini göstermek için olası iyileştirmelerin bir listesini gerektirir. Bu listeleri oluşturma, değerlendirme ve değerlendirme sürecinin kendisi, etkisiz dili ortadan kaldırır ve sürümleri kullanıcılar için daha iyi hale getirir.
• Uygulama ziyaret oranı artışı için A/B testi, ziyaretleri kayıt ve satın alma işlemlerine dönüştürmek için en iyi içeriği yönetmenin en basit ve en etkili yoludur. Neyin işe yarayıp neyin yaramadığını bilmek daha fazla müşteri adayına dönüşmeye yardımcı olmaktadır.
• Hızlı sonuç elde edebileceksiniz. Bir A/B testinde orta derecede küçük bir örneklem boyutu bile, hangi değişikliklerin kullanıcılar için en ilgi çekici olduğu konusunda ciddi sonuçlar sağlayabilir. Bu, yeni sitelerin, yeni uygulamaların ve düşük dönüşüm sağlayan sayfaların kısa süreli geliştirilmesine olanak tanır.
• A/B testi ile daha düşük risk alacaksınız. Etkisiz olduğu kanıtlanan maliyetli, yoğun zaman alan değişikliklere bağlılıktan kaçınılabilir. Önemli bir sonuç, iyi bilgilendirilmiş olabilir, aksi takdirde kaynakları temel veya olumsuz kazanç için bağlayabilecek hataların üstesinden gelebilir.
• Geliştirilmiş kullanıcı etkileşimi olacaktır. Bir sayfanın, uygulamanın veya e-postanın, başlık veya konu satırını, görüntüleri, formları ve dili, düzeni, yazı tiplerini ve renkleri vb. içermek üzere A/B testi yapılabilir. Tek seferde birinin değiştirilmesinin test edilmesi, hangi iddialı kullanıcıların davranışlarını ve hangilerinin yapmadığını gösterir. Sonuçta“galip gelen” değişikliklerle güncellemek, kullanıcı deneyimini iyileştirecek ve sonunda başarı için iyileştirme sağlanacaktır.

A/B Test Ne Zaman Yapılır ve Test Yaparken Dikkat Edilmesi Gerekenler Nedir🤔

Evett uygulamamızı yayına aldık, peki kullanıcılar şu anki halinden memnun mu acaba? Uygulamayı yavaş yavaş geliştiriyorsak ve müşterilerin ihtiyacı doğrultusunda yeni özellikler eklemek istiyorsak A/B test kullanabiliriz bence:)

• Optimizasyon: Daha çok pazarlama ile yapılan yalın oluşum olarak da bilinir. Hangi testin daha fazla etkileşime sahip olduğunu bulmak için araştırmanızı yaptıktan sonra, artık kazanmayı düşünürken optimize etmeye hazırsınız.
• Araştırma: Bu temelde, web sitenizde, uygulamanızda ve hatta kampanyanızda bir değişiklik, görünüm veya farklılık şeklinde değişiklik yapmadan önce araştırma için A/B testini kullanabilirsiniz. Örneğin, ürün sayfanıza bir faktör eklemenin dönüşümü etkileyeceğini görmek istiyorsunuz, bu nedenle ürün sayfanızda iki fark oluşturuyorsunuz ve ardından negatif veya pozitif bir sonuç olup olmayacağını görmek için A/B testinizi çalıştırıyorsunuz ve sonuçlara göre hangisini kullanacağınızı seçebilirsiniz.

Size ulaşacak verilerin hassaslığı ve ortaya çıkacak sonuçların bütün stratejiyi değiştirme ihtimaline karşılık A/B testi yapacağınız zaman dikkat etmeniz gereken bazı detaylar bulunuyor..

• Öncelikle A/B testi yapmadan önce bazı ölçütleri bir kenara not etmelisiniz.
• Bu ölçütlerden bir tanesi test yapmayı planladığınız sayfanın günlük ziyaretçi sayısı.
• Aynı sayfanın artırmayı hedeflemiş olduğunuz ölçütünün şu an size sağladığı dönüşüm oranını da bir yere kaydetmelisiniz.
• Koyduğunuz hedefler doğrultusunda testten beklentinizi ve tahmini iyileşme yüzdesini de bir yere not almalısınız.
• Bunun yanı sıra testte kullanmayı planladığınız varyasyon sayısını unutmamalısınız.

Elbette A/B testi yaparken de dikkat etmeniz gereken bazı noktalar var.

Örneğin; testin en azından 2 hafta boyunca yayında kalmasına özen göstermelisiniz. Daha kısa süreli testler size sağlıklı sonuçlar sağlamayabiliyor. Test ettiğiniz varyasyonların yeterince dönüşüm ve trafik aldığından emin olmalısınız. Almıyorsa trafiği destekleyecek çalışmalar yapmalısınız.

Sürecin en başında ziyaretçilere farklı örnekler sunma yöntemini benimsemediğiniz için test süresince aynı ziyaretçilere bu testin çeşitli varyasyonlarının gösterilmiyor olduğundan da emin olmalısınız.

Son olarak A/B testi yaptıktan en az 2 hafta sonra dikkat etmeniz gereken, her şeyden önce kendinize bir kahve yapıp test sonuçlarını çok iyi bir şekilde analiz etmelisiniz:)

A/B Testi Sonuçları

Her Şey Tamam, Fakat A/B Testini Nasıl Yapabiliriz Diyorsanız, Gelin Birlikte Bakalım 💃🕺

Testi yapabilmek için birkaç yol var.

Google sunduğu Tag Manager servisi ile bir adım daha ileriye gidebilmemize olanak sağlıyor.

Google Analytics Experiments ve Tag Manager servisleri sayesinde iOS ve Android uygulamalarınızda üretim ortamında A/B testleri gerçekleştirmek gayet basit bir şekil almış.

Biz bugün Firebase Remote Config ile yapma yöntemine bakacağız.

Ben direkt Firebase’in kendi dökümanından yararlanarak size aktaracağım ki daha sağlıklı ilerleyelim:)

1. Denemenin Analytics verilerine erişimi olması için projenizde Google Analytics’in etkinleştirildiğini doğrulayın. Projenizi oluştururken Google Analytics’i etkinleştirmediyseniz, Firebase konsolundaki settings > Proje ayarları’nı kullanarak erişebileceğiniz Entegrasyonlar sekmesinden etkinleştirebilirsiniz.
2. Firebase konsolu gezinme çubuğunun Engage bölümünde, A/B Testi ‘ne tıklayın.
3. Deneme oluştur ‘u tıklayın ve ardından deneme yapmak istediğiniz hizmet sorulduğunda Remote Config’i seçin.
4. Denemeniz için bir Ad ve isteğe bağlı Açıklama girin ve İleri ‘yi tıklayın.
5. Önce denemenizi kullanan uygulamayı seçerek Hedefleme alanlarını doldurun. Ayrıca, öğeleri tıklayıp ardından aşağıdaki listeden seçenekleri belirleyerek, kullanıcılarınızın bir alt kümesini denemenize katılmaları için hedefleyebilirsiniz:

• Sürüm: Uygulamanızın bir veya daha fazla sürümü
• Yapı numarası: Uygulamanın sürüm kodu
• Diller: Denemeye dahil edilebilecek kullanıcıları seçmek için kullanılan bir veya daha fazla dil ve yerel ayar
• Ülke/Bölge: Denemeye dahil edilmesi gereken kullanıcıları seçmek için bir veya daha fazla ülke veya bölge
• Kullanıcı kitlesi: Denemeye dahil edilebilecek kullanıcıları hedeflemek için kullanılan analiz kitleleri
• Kullanıcı mülkü: Denemeye dahil edilebilecek kullanıcıları seçmek için bir veya daha fazla Analytics kullanıcı mülkü.

6. Hedef kullanıcı yüzdesini ayarlayın: Denemenizdeki temel ve bir veya daha fazla değişken arasında eşit olarak bölmek istediğiniz kullanıcıları hedefle altında belirlenen ölçütlerle eşleşen uygulamanızın kullanıcı tabanının yüzdesini girin. Bu, %0.01 ile %100 arasında herhangi bir yüzde olabilir. Kullanıcılar, yinelenen deneyler de dahil olmak üzere her deneye rastgele atanır.

7. İsteğe bağlı olarak, denemenizde yalnızca bir Analytics etkinliğini ilk kez tetikleyen kullanıcılardan gelen verilerin sayıldığından emin olmak için bir etkinleştirme etkinliği ayarlayın. Hedefleme parametrelerinizle eşleşen tüm kullanıcıların Remote Config deneysel değerleri alacağını, ancak yalnızca bir etkinleştirme etkinliğini tetikleyenlerin deneme sonuçlarınıza dahil edileceğini unutmayın.

Geçerli bir deneme sağlamak için seçtiğiniz olayın, uygulamanız getirilen yapılandırma değerlerini etkinleştirdikten sonra gerçekleştiğinden emin olun. Ayrıca, alınan değerler etkinleştirilmeden önce her zaman meydana geldikleri için aşağıdaki olaylar kullanılamaz:

• app_install
• app_remove
• app_update
• dynamic_link_first_open
• first_open

8. Denemenin Hedefleri için izlenecek birincil ölçütü seçin ve açılır listeden istediğiniz ek ölçütleri ekleyin. Bunlara yerleşik hedefler (satın almalar, gelir, elde tutma, kilitlenmeyen kullanıcılar vb.), Analytics dönüşüm etkinlikleri ve diğer Analytics etkinlikleri dahildir. Bitirdiğinizde, İleri’yi tıklayın.

9. Varyantlar bölümünde, deneme için bir temel ve en az bir varyant seçeceksiniz. Denemek üzere bir veya daha fazla parametre eklemek için Seç veya yeni oluştur listesini kullanın. Firebase konsolunda daha önce kullanılmamış bir parametre oluşturabilirsiniz, ancak herhangi bir etkiye sahip olması için uygulamanızda bulunması gerekir. Denemenize birden çok parametre eklemek için bu adımı tekrarlayabilirsiniz.

10. (isteğe bağlı) Denemenize birden fazla varyant eklemek için Başka bir varyant ekle ‘yi tıklayın.

11. Belirli varyantlar için bir veya daha fazla parametreyi değiştirin. Değişmeyen parametreler, denemeye dahil olmayan kullanıcılar için aynıdır.

12. Denemenin varyant ağırlığını görüntülemek veya değiştirmek için Varyant Ağırlıkları’nı genişletin. Varsayılan olarak, her bir değişken eşit ağırlıktadır. Eşit olmayan ağırlıkların veri toplama süresini artırabileceğini ve deneme başladıktan sonra ağırlıkların değiştirilemeyeceğini unutmayın .

13. Denemenizi kaydetmek için Gözden Geçir’e tıklayın ve denemenizi bir test cihazında doğrulayın.

Analiz

Evet dostlarıım, daha iyi anlaşılabilmesi için Firebase’in kendi dökümanında da bulabileceğiniz şu video serisini buraya iliştireyim. 📌📌

Umarım bu yazı, uygulamanızda A/B Testi uygulama şevki uyandırır içinizde.⚡ 👩‍💻

Eğer bu yazıyı faydalı bulursanız, alkışlamayı unutmayınızz 👏

Eleştiri, öneri ve sorularınız için Cakmakkadriye45@gmail adresine mail atabilirsiniz:)

Bir sonraki yazımızda görüşmek üzere 🙋🏻‍♀️

🖤🖤🖤

#FSC #Flutter #ABTest #FirebaseConfig #StayWithFlutter