Recommendation Systems Metrics Business Value - Öneri Sistemi Metrikleri İş Değeri

Öneri sistemleri son zamanlarda e-ticaret sitelerinden müzik, film içeriklerine kadar birçok alanda kullanılmaya başlanmıştır. Örneğin; Youtube ilgilendiğimiz içerikler için videolar önermektedir. Spotify dinleme geçmişinize benzer müzikler sunmaktadır. Hepsiburada kullanıcıya özel ürünler göstermektedir. Kullanıcıların ilgilendiği içerikler baz alınarak kişiselleştirilmiş bir dünya yaratmak amaçlanmaktadır. Büyük veri havuzları içinden kullanıcılar için en anlamlı ve doğru içeriği sunmayı hedefleyen algoritmalar çalışmaktadır.

Bu yazımda öneri sistemlerinin bir e-ticaret platformu için yarattığı değerden bahsedeceğim. Netflix izlemelerinin %75’inin recommendation sistemlerinden geldiğini açıklamıştır. Youtube ana ekrandaki tıklanmaların %60’ını öneri sistemlerinden sağlamaktadır. Amazon 2006 yılında satışlarının %35’ inin öneri sistemlerinden geldiğini yayınlamıştır. Öneri sistemlerinin satışlar, müşteri tutundurma, ilgiyi arttırmak gibi birçok olumlu etkisi vardır, fakat bu etkileri ölçümlemek kolay değildir. Öneri sistemleri için yaygın olarak kullanılan ölçüm seçeneklerinden 5 tanesi aşağıdaki gibidir.

1- Click-Through-Rates(CTR)

Click-Through-Rates(CTR) çok yaygın bir ölçümdür. Bu ölçüm hesaplanırken, önerilen öğelerin daha fazla tıklanıyor olmasının, önerilerin kullanıcılar için daha alakalı olduğunu gösterdiği varsayılmaktadır.

En çok görüntülenen öğeleri öneren bir yaklaşım yerine birlikte ziyarete dayalı ürünleri öneren basit bir algoritma kullanıldığında CTR değerinin % 200 arttırıldığı gösterilmiştir. [1]

Haber önerileri için de çok yaygın bir ölçüdür. Google news kullandığı bir öneri sistemiyle %30 oranında CTR artışı elde ettiğini açıklamıştır, fakat bu artışın sitenin diğer bölümlerindeki tıklamalarda azalmaya sebep olduğu fark edilmiştir ve sonuç olarak genel CTR değişmemiştir. Bu örnekte olduğu gibi CTR tek başına öneri sistemlerinin ölçümü için yeterli değildir.

2- Adoption & Conversion(CR)

CTR nihai başarı ölçütü değildir. Çünkü bu ölçüm ile kullanıcıların okuduğu bir makaleyi beğenip beğenmediğini yada tıkladığı bir ürünü satın alıp almadığı bilinmemektedir. Potansiyel değerin ölçümlenmesinde “adoption” ve “conversion” daha etkili metriklerdir.

Youtube bir öneri videosunun açıldıktan sonra ne kadarının izlendiğini ölçmektedir ve buna “long CTR” adını vermektedir.

Benzer şekilde Netflix bir video veya filmin gerçekte ne kadarının oynatıldığını yakalayan bir ölçüm olarak “take-rate” kullanmıştır.

LinkedIn, kullanıcı profillerine eklenebilecek beceriler için bir A/B test uygulamıştır. Birinci senaryoda kullanıcılara profillerine dahil edebilecekleri becerilerin bir listesi tavsiye edilmiş, ikinci senaryoda kullanıcıların manuel giriş yapmaları beklenmiştir. Öneri listesinin gösterildiği arayüzde kullanıcıların %49'u beceri girişi yapmış, manuel giriş yapılan arayüzdeki oran %4'te kamıştır. A/B test için kullanılan arayüzler arasında öneri listesi haricinde de farklılıklar olduğundan, kullanıcıların beceri girişlerindeki oransal farkın tek sebebinin beceri listesi önerilmesi olduğu söylenememektedir. Ancak öneri listesinin önemli bir etkisi olduğu yorumu rahatlıkla çıkarılmaktadır.

3-Sales & Revenue

Adoption & conversion, birçok platformda CTR ölçümü ile karşılaştırdığımızda daha bilgilendirici veriler elde etmemizi sağlamaktadır. Yapılan algoritma değişiklikleri sonucunda satışlar gözlemlenerek ne kadar artış sağlandığı doğrudan ölçülmektedir.

Her zaman CR ve CTR ile aynı oranda bir artış sağlanmamaktadır. Örneğin; kullanılan öneri algoritmaları kullanıcı ilgisi ile alakasız olabilir. Kişiselleştirilmiş yeni algoritmalar kullanıldığında CTR için %100 artış sağlanabilir fakat satışlarda aynı oranda bir artış olmayabilir. Kullanıcılara farklı ürünler sunmak ilgiyi arttırabilir ama bu durum kullanıcıların her incelediği ürünü satın alacağı anlamına gelmemektedir. Bu sebeple satışlarda farklı oranlarda artış gözlemlenebilir. Satışlardaki artış beklentisi ve başarısı mevcut sisteme göre belirlenmelidir.

Doğrudan satış artışlarının yanı sıra dolaylı etkiler de ölçülmektedir. Örneğin, bir market uygulamasında öneri sistemleri ile doğrudan gelir % 0.3 oranında artırılmıştır. Ayrıca bir kategorinin de ilgi çekme ve tıklama oranında % 26 artış sağlamıştır. Böylece, kullanıcıların ürünleri direk öneri üzerinden seçmese bile, öneri sisteminin ek satışları teşvik edebileceği görülmektedir. [2]

4- Effects on Sales Distribution

Daha önce gördüğümüz gibi öneri sistemleri sistemleri kullanıcıların davranışlarını güçlü bir şekilde etkilemektedir. Bu etkiyi ölçerken satın alma rakamlarını baz almak yeterli olmayacaktır. Çünkü öneri sistemlerinin ikna edici potansiyeli, kullanıcıların farklı ürünleri satın almalarını da sağlayabilmektedir. Müşteriler başka kategorilerdeki ve daha önce satın aldıkları ürünleri tamamlayan ürünlerle de ilgilenebilir ve çapraz satışlar gerçekleşebilir.

Örneğin; Birinci sınıf tütün ürünü için farklı öneriler tanıtıldıktan sonra tüketici davranışlarında önemli değişiklikler olmuştur. Öneri sistemi uzun vadede daha fazla satın almaya yol açmıştır ve satış yelpazesinde yeni satıcılar öne çıkmıştır. [3]

Öneri sistemleri çeşitlilik için de etkilidir. Örneğin; Bir perakende sitesi için yapılan testte; öneri sisteminin toplam satış çeşitliliğinde bir azalmaya yol açtığı ortaya çıkmıştır. Benzer kullanıcılar sonunda benzer ürünlere baktığı için satışlarda artış sağlanmıştır, fakat ürün çeşitliliğinde azalış gözlemlenmiştir. [4]

5-User Engagement and Behavior

Öneri sistemlerinde kullanıcı etkileşimi güçlü bir değer yaratmaktadır. Bazı uygulama alanlarında kullanıcı katılımındaki artış etkileşim için en önemli unsurdur. Örneğin; bir medya platformu için yeni abonelikler doğrudan bir değer oluşturmaktadır.

E-ticaret siteleri için öneri sistemleri ile birlikte kullanıcıların sitede geçirdiği süre önemli bir etkendir. Bu sürenin arttırılması kullanıcı bağlılığını temsil etmektedir ve değer yaratmaktadır. Örneğin; Yahoo içerik benzerliğine dayalı algoritmasında çeşitliliği arttırdığında kullanıcıların sitede geçirdiği sürede %10 oranında artış gözlemlemiştir. LinkedIn benzer profiller için yeni bir algoritma denediğinde profil görüntülemeleri ve işe alım sürecindeki etkileşimin arttırdığını bildirmiştir.

Bu yazımızda bir öneri sisteminin değerinin ölçülmesi için farklı ölçüm yaklaşımlarını inceledik. Özetleyecek olursak;

Click-Through Rates: Ölçmek kolaydır ancak çoğu zaman nihai hedef değildir.

Adoption & Conversion : Ölçülmesi kolaydır, ancak genellikle alana ve uygulamaya özel bir yorum gerektirir. Her zaman doğrudan değere çevrilmez.

Sales & Revenue : En bilgilendirici ölçülerdir, ancak her zaman doğrudan belirlenemez.

Effects on Sales Distribution : Doğrudan bir ölçümdür ve satış dağılımındaki kaymaların etkilerinin tam olarak anlaşılmasını sağlar.

User Engagement and Behavior : Kullanıcı etkileşimi ile müşteriyi elde tutma arasında bir ilişki olduğu yaklaşımıdır.

Kaynak : Measuring the Business Value of Recommender Systems

[1] J. Davidson, B. Liebald, J. Liu, P. Nandy, T. Van Vleet, U. Gargi, S. Gupta, Y. He, M. Lambert, B. Livingston, and D. Sampath. e YouTube Video Recommendation System. In Proceedings of the Fourth ACM Conference on Recommender Systems, RecSys ’10, pages 293–296, 2010.

[2] M. B. Dias, D. Locher, M. Li, W. El-Deredy, and P. J. Lisboa. The value of personalised recommender systems to e-business: A case study. In Proceedings of the 2008 ACM Conference on Recommender Systems, RecSys ’08, pages 291–294, 2008.

[3] M. Zanker, M. Bricman, S. Gordea, D. Jannach, and M. Jessenitschnig. Persuasive online-selling in quality and taste domains. In Proceedings of the 7th International Conference on E-Commerce and Web Technologies, EC-Web ’06, pages 51–60, 2006.

[4] D. Lee and K. Hosanagar. How Do Recommender Systems Affect Sales Diversity? A Cross-Category Investigation via Randomized Field Experiment. Information Systems Research, 30(1):239–259, 2019.