A/B Test Nedir? Nasıl Yapılır?

A/B test nasıl kurgulanır?

1. Hipotez yazın. "Ekran görüntülerinde fayda odaklı metin kullanırsak mağaza dönüşümü artar, çünkü kullanıcı uygulamanın ne işe yaradığını daha hızlı anlar." Neden kısmı olmayan hipotez, sonuçtan öğrenmenizi engeller.
2. Tek değişken seçin. Aynı anda birden fazla şeyi değiştirirseniz hangisinin işe yaradığını bilemezsiniz.
3. Örneklem büyüklüğünü önceden hesaplayın. Testi başlatmadan önce kaç kullanıcıya ve ne kadar süreye ihtiyacınız olduğunu belirleyin.
4. Trafiği rastgele bölün. Segmentlerin dengeli dağıldığından emin olun.
5. Süreyi tamamlayın. Hedef örnekleme ulaşmadan testi durdurmayın.
6. Sonucu belgeleyin. Kazanan kadar kaybeden testler de kurumsal bilgi birikimidir.

İstatistiksel anlamlılık ne demek?

İki varyasyon arasında gördüğünüz farkın tesadüf olmama olasılığıdır. Yaygın eşik %95 güven düzeyidir: yani sonucun rastlantı olma ihtimali %5'in altındadır.

Anlamlılık, tek başına yeterli değildir. Üç şeyi birlikte değerlendirin: etki büyüklüğü (fark ne kadar büyük), güven düzeyi (ne kadar eminiz) ve pratik anlam (bu fark iş için değer üretiyor mu). %95 güvenle doğrulanmış %0,3'lük bir iyileşme, uygulama maliyetine değmeyebilir.

Test ne kadar sürmeli?

• En az bir tam hafta: Hafta içi ve hafta sonu davranışı farklıdır; kısa testler bu döngüyü kaçırır.
• Hedef örnekleme ulaşana kadar: Süre değil, biriken veri belirleyicidir.
• İki haftadan uzun sürmemeli: Uzayan testlerde dış etkenler (kampanya, mevsimsellik, ürün değişikliği) sonucu kirletir.
• Gecikmeli metriklerde daha uzun: Retention veya abonelik yenilemesi test ediliyorsa ölçüm penceresi doğal olarak uzar.

Sık yapılan hatalar

1. Erken durdurma. İlk günlerde öndeki varyasyonu kazanan ilan etmek en yaygın hatadır. Küçük örneklemlerde fark çok oynaktır ve sıklıkla tersine döner.
2. Aynı anda çok değişken. Kazanan varyasyonu bilirsiniz ama nedenini bilemezsiniz, dolayısıyla öğrenme birikmez.
3. Yetersiz trafik. Düşük hacimli sayfalarda anlamlı sonuç için gereken süre pratik olmayabilir; bu durumda daha büyük değişiklikler test edin.
4. Yanlış metriği optimize etmek. Tıklamayı artıran değişiklik satın almayı düşürebilir. Her zaman aşağı huni metriğini de izleyin.
5. Sonuçları belgelememek. Test edilmiş bir fikrin aylar sonra yeniden test edilmesi ciddi zaman kaybıdır.
6. Çoklu test kirliliği. Aynı kullanıcı grubunda çakışan testler sonuçları birbirine karıştırır.

Mobilde nerede A/B test yapılır?

• Google Play: Store Listing Experiments ile ikon, ekran görüntüsü ve açıklama testi yerleşik olarak yapılabilir.
• App Store: Product Page Optimization ile üç varyasyona kadar test desteklenir.
• Reklam kreatifleri: Meta, TikTok ve Google'da kreatif varyasyon testleri kampanya içinde yürütülür.
• Uygulama içi: Onboarding akışı, paywall tasarımı ve fiyatlandırma testleri feature flag altyapısıyla yapılır.
• İniş sayfaları: Web tarafında başlık, görsel ve CTA testleri.

Sıkça sorulan sorular