A/B Testi ile Pazarlama Kararlarını İyileştirme
Barack Obama’nın 2008 seçim kampanyası, e-posta bültenlerinde yalnızca başlık değiştirerek bağış oranını yüzde 40 artırdı. “The one thing the polls got right…” başlıklı versiyon, varsayılan kontrole göre kampanyaya 60 milyon dolar fazladan kazandırdı. Bu, A/B testinin sadece teknik bir araç değil, doğrudan gelir etkisi olan bir karar mekanizması olduğunu gösterir.
A/B Testi Nedir, Ne Değildir?
A/B testi özünde kontrollü bir deney: aynı anda iki farklı versiyonu farklı kullanıcı gruplarına göstererek hangisinin ölçülen metrikte daha iyi performans sergilediğini istatistiksel olarak belirlemek. “A/B testi yaptık, B daha iyiydi” diyen pek çok ekip aslında randomizasyon, yeterli örneklem büyüklüğü ya da anlamlılık seviyesi (significance threshold) konusunda temel hataları gözden kaçırmış olabilir. Hatalı kurgulanmış bir test, yanlış kararın güven duygusunu besler.
Test Edilebilir Şeyler ve Öncelik Sırası
Her şey test edilebilir; ama her testin bir maliyeti var. Trafik hacmi düşük bir sayfada başlık rengi test etmek aylar sürer ve anlamsız bir sonuç üretir. Öncelik sırası şöyle kurulabilir: önce en yüksek trafikli sayfalar, ardından en yüksek çıkış oranına sahip sayfalar, son olarak mevcut performansı açıklanamayan sayfalar. Test edebileceğiniz unsurların kapsamı şaşırtıcı biçimde geniştir: başlık metni, CTA butonu rengi ve metni, form alanı sayısı, görsel seçimi, fiyat gösterimi (599 TL mi, 600 TL mi), sosyal kanıt elementlerinin sıralaması, sayfa düzeni.
İstatistiksel Güven Olmadan Sonuç Yoktur
En yaygın hata, testi erken kesmektir. Testi başlatıyorsunuz, iki gün sonra B versiyonu yüzde 18 önde görünüyor, testi durdurup B’yi devreye alıyorsunuz. Bu yanlış. Küçük örneklemlerdeki dalgalanmalar güvenilir değildir. Standart kural: testi yüzde 95 istatistiksel güven düzeyine ulaşana kadar çalıştırmak. Bu düzey, gözlemlediğiniz farkın rastgele olmadığını söyler. Google Optimize (şimdi kapalı), Optimizely, VWO, Adobe Target gibi araçlar bu hesabı otomatize eder ama sayıları anlamak yine de gerekir.
Bir Test Yeterli Örneklem Büyüklüğüne Nasıl Ulaşır?
Örneklem büyüklüğü üç değişkene bağlıdır: mevcut dönüşüm oranınız, tespit etmek istediğiniz minimum iyileşme (Minimum Detectable Effect) ve seçtiğiniz güven düzeyi. Örneğin mevcut dönüşüm oranınız yüzde 3 ve en az yüzde 15’lik iyileşmeyi tespit etmek istiyorsanız (yani yüzde 3’ten yüzde 3.45’e) her kolda yaklaşık 12.000 ziyaretçiye ihtiyacınız var. Bu trafiği günlük 400 ziyaretçiyle üretiyorsanız test otuz gün sürer. Gerçekçi bir süre hesabı yapılmadan başlanan testler genellikle yarıda kesilir.
Ne Test Edilir, Ne Edilmez?
A/B testi optimizasyon aracıdır, keşif aracı değil. Tamamen farklı iki konsepti (farklı sayfa düzeni, farklı değer önerisi, farklı hedef kitle) karşılaştırmak istiyorsanız önce nitel araştırma yapın: kullanıcı mülakatları, session kayıtları, anketler. A/B testi, “hangi ton daha iyi?” sorusunu yanıtlar; “doğru tonu mu kuruyoruz?” sorusunu yanıtlamaz. Bunu karıştıran ekipler aylarca yanlış soruyu optimize eder.
Sonuçları Örgütsel Bilgiye Dönüştürmek
Her testin bir kaydı olmalı: hipotez, versiyon açıklamaları, test süresi, trafik dağılımı, sonuç ve yorumu. Bu kayıtlar birikince kurum hafızası oluşur. “Biz daha önce bunu test etmişiz, işe yaramamıştı” sözünü veriye dayandırabilirsiniz. Tersine, “kısa başlıklar kısa formlarla birleşince dönüşümü artırıyor” gibi bir içgörü de bu kayıt defterinden çıkar. Sonuçlar paylaşılmazsa test kültürü değil, test rutini oluşur — ikisi birbirinden çok farklıdır.
A/B testi sizi her zaman doğru cevaba götürmez. Kazanan versiyon bazen sadece o haftaki trafik kalitesini yansıtıyor, bazen mevsimsel dalgalanmayı. Ama sistematik biçimde uygulandığında, pazarlama kararlarını sezgiden veye konuşmadan çıkarıp gözlemlenebilir gerçekliğe taşır. Bu kadar bile büyük bir kazanımdır.
