Deneme (önizleme)
Deneme, kullanıcı deneyimini veya yazılım işlevselliğini geliştirmek için hipotezleri veya değişiklikleri sistematik olarak test etme işlemidir. Bu tanım, teknoloji de dahil olmak üzere tüm denemelerin dört ortak adıma sahip olduğu çoğu bilimsel alanda da geçerlidir:
- Bu denemenin amacını belgeleme hipotezi geliştirmek,
- Kurulum, ölçülenler ve nasıl yapılır dahil olmak üzere denemeyi gerçekleştirme yönteminin ana hatlarını oluşturma,
- Önceki adımda tanımlanan ölçümlerle ölçülen sonuçların gözlemlenmesi ,
- Hipotezin doğrulanıp doğrulanmadığına veya geçersiz kılındığına ilişkin bir sonuç elde etme.
Azure Uygulaması Yapılandırmasında deneme (önizleme)
Azure Uygulaması Yapılandırması'nda deneme özelliği, geliştiricilerin bir özelliğin farklı değişkenlerini kolayca test etmesine ve özellik düzeyinde etkiyi izlemesine olanak tanır. Yapılandırıldıktan sonra kullanıcılar yeni özellikleri analiz edebiliyor, bir özelliğin farklı çeşitlerini karşılaştırabiliyor ve yeni ürün değişiklikleri için ilgili ölçümleri hemen değerlendirebiliyor. Bu özellik, geliştirme ekiplerini ölçülebilir içgörülerle güçlendirerek daha hızlı ve daha güvenli ürün dağıtımlarını kolaylaştırır. Microsoft, deneme özelliğini Azure Uygulaması Yapılandırması'nda sunmak için Split Software ile birlikte çalışır. Bölünmüş Deneme Çalışma Alanı (önizleme), Microsoft ile Split Software arasındaki tümleştirmeye yönelik bir Azure Yerel ISV kaynağıdır .
Azure'da denemeler için üst düzey veri akışı.
Bir deneme başlatmak için öncelikle üzerinde deneme yapmak istediğiniz özelliği ve çeşitlemelerini tanımlamanız gerekir. Sonraki bölümde özellik değerlendirmesinin temelini oluşturan ölçümler yer alır. Azure'daki ilk denemenize başlamak için bu öğreticide açıklanan adımları izleyin.
Denemeyle ilgili kavramlar
Değişken Özellik Bayrakları: Bir özelliğin farklı sürümlerini veya yapılandırmalarını temsil eder. Bir denemede, değişken özellik bayrakları ilgilendiğiniz ölçümlerle ve uygulama hedef kitlesi için ayrılan trafikle ilgili olarak karşılaştırılır.
Telemetri: Telemetri, bir özelliğin varyasyonlarına ve özelliği değerlendirmek için ilgili ölçümlere yönelik verilerdir. Azure'daki kurulum için özellik bayrağı değerlendirme/atama verileri telemetri sağlayıcısına akar. Application Insights, deneme kurulumu için telemetri sağlayıcısıdır. Tanımlanan ölçümlerin verileri aynı Application Insights örneğine de akar.
A/B testi: Bölünmüş test olarak da bilinen A/B testi, teknoloji yığını içindeki olası değişikliklerin etkisini değerlendirmek için endüstri standardı bir yöntemdir.
Örnekleme boyutu: Örnekleme boyutu, deneme kapsamındaki kullanıcı örneğinin boyutudur. Bu, üzerinde deneme yaptığınız özelliğin herhangi bir varyasyonu için gönderilen olayların sayısıdır.
Minimum örnekleme boyutu: Denemenin istatistiksel olarak önemli sonuçlar göstermesi için özelliğin varyasyonu başına gereken minimum olay sayısıdır. Örnek boyutu ne kadar büyükse, denemenin sonuçlarının istatistiksel önemi de o kadar iyi olur.
Aşağıdaki örneği göz önünde bulundurun: E-ticaret web sitenizin müşterilerinin sarı renkli (değişken A) veya mavi renkli (değişken B) olan ödeme düğmesine tıklama olasılığının daha yüksek olup olmadığını görmek istiyorsunuz. Bu karşılaştırmayı ayarlamak için, trafiği özellik bayrağının iki değişkeni arasında bölmeniz ve performanslarını ölçmek için ölçüm olarak tıklama sayısını kullanmanız olasıdır. Tüm özelliklerinizin ölçülmesi ve hemen değerlendirilmesi pek mümkün değildir ve deneme burada devreye girer. Deneme çalıştırmak, ilgilendiğiniz ölçümlerle ilgili her bir değişkenin performansını karşılaştırmaya yönelik bu işlem için bir zaman çizelgesi ayarlamayı içerir. "A/B testi" ve "deneme" terimleri genellikle birbirinin yerine kullanılır; burada deneme, sistematik olarak hipotezleri test ettiğiniz genişletilmiş bir A/B testidir.
Denemenizi ayarlama
Başlamadan önce, hipotez bulma aşamanızda aşağıdaki soruları göz önünde bulundurun: Deneme çalıştırarak hangi soruları yanıtlamaya çalışıyorsunuz? Denemeyi ne üzerinde çalıştırmalısınız? Neden? Nereden başlıyorsun ki? İş gereksinimlerinize göre izleyebileceğiniz bazı stratejiler nelerdir? Bu deneme, uygulamanızın performansında veya işletmenizde anında iyileştirmeler yapmanıza yardımcı olacak mı?
Tam sürümden önce bir deneme çalıştırarak ne elde etmek istediğinizi belirleyin, planınızı bu aşamada belgelemeniz gerekir. Denemek istediğiniz özelliğin veya işlevselliğin varyasyonları nelerdir? İlgilendiğiniz bazı ölçümler nelerdir? Ölçü için bu ölçümlerin yakıtını sağlamak üzere verileri yakalamak için hangi kullanıcı veya sistem etkileşimi olayları kullanılabilir?
Denemeniz yalnızca topladığınız veriler kadar iyidir. Denemeyi başlatmadan önce, denetim olarak kullanmak istediğiniz değişkeni (temel değişken) ve hangisinde değişiklik görmeyi planladığınızı (karşılaştırma değişkeni) belirlemeniz gerekir.
Denemeden sonuç çıkarma
Deneme döngünüzün son aşaması, bir sonuç (veya gerekirse birden çok sonuç) elde etme işlemidir. Karşılaştırma değişkeninin sonucunu ve etkisini kontrol değişkenine göre gösteren deneme sonuçlarını denetleyebilirsiniz. Sonuçlar istatistiksel anlamlarını da gösterir. İstatistik ölçüsü telemetri verilerine ve örnek boyutuna bağlıdır.
Sonuçlar, öğrenmeleri ve sonuçları hemen üretime uygulayabileceğiniz eyleme dönüştürülebilir öğeler halinde sonuçlandırmanıza yardımcı olur. Ancak, deneme sürekli bir işlemdir. Ürününüzü sürekli geliştirmek için yeni denemeler başlatın.
Denemeyi kullanma senaryoları
Sürüm savunması
Amaç: Sorunsuz geçişler sağlayın ve her sürümde önemli ölçümleri koruyun veya geliştirin.
Yaklaşım: Yeni özellikleri aşamalı olarak dağıtmak, performans ölçümlerini izlemek ve yinelemeli iyileştirmeler için geri bildirim toplamak için denemelerden faydalanın.
Avantajlar:
- Dağıtımın başlarında sorunları algılamak ve gidermek için koruma ölçümlerini kullanarak yaygın sorun riskini en aza indirir.
- Gerçek zamanlı verilere dayalı bilinçli kararlar vererek önemli performans ve kullanıcı memnuniyeti ölçümlerinin korunmasına veya geliştirilmesine yardımcı olur.
Hipotezleri test edin
Amaç: Ürün özellikleri, kullanıcı davranışları veya iş stratejileri hakkında bilinçli kararlar almak için varsayımları ve hipotezleri doğrulayın.
Yaklaşım: Farklı özellik sürümleri veya senaryoları oluşturarak belirli hipotezleri test etmek için denemeleri kullanın, ardından sonuçları belirlemek için kullanıcı etkileşimlerini ve performans ölçümlerini analiz edin.
Avantajlar:
- Belirsizliği azaltan ve stratejik karar alma sürecine yol gösteren kanıta dayalı içgörüler sağlar.
- Hipotezleri gerçek kullanıcı verileriyle onaylayarak veya çürüterek daha hızlı yineleme ve yenilik sağlar.
- Çalışmaların işe yaradığı kanıtlanmış fikirlere odaklanarak ürün geliştirmeyi geliştirir ve sonuç olarak daha başarılı ve kullanıcıyla uyumlu özelliklere yol açar.
A/B testi
Amaç: Farklı kullanıcı arabirimi varyasyonlarını karşılaştırarak ve en etkili tasarımı belirleyerek iş ölçümlerini iyileştirin.
Yaklaşım: Kullanıcı arabirimi öğelerini test etmek, kullanıcı etkileşimlerini ölçmek ve performans ölçümlerini analiz etmek için denemeleri kullanarak A/B testleri gerçekleştirin.
Avantajlar:
- Ampirik kanıta dayalı kullanıcı arabirimi değişiklikleri uygulayarak kullanıcı deneyimini geliştirir.
- Dijital ürün veya hizmetlerin dönüşüm oranlarını, katılım düzeylerini ve genel verimliliğini artırır.
Akıllı uygulamalar için (örneğin, yapay zeka tabanlı özellikler)
Amaç: Hızlı denemeler aracılığıyla Yapay Zeka (Gen AI) benimsemesini hızlandırın ve yapay zeka modellerini ve kullanım örneklerini iyileştirin.
Yaklaşım: Yapay zeka modellerini hızla yinelemek, farklı senaryoları test etmek ve etkili yaklaşımları belirlemek için denemeleri kullanın.
Avantajlar:
- Yapay zeka çözümlerini gelişen kullanıcı ihtiyaçlarına ve pazar eğilimlerine uyarlamadaki çevikliği artırır.
- Yapay zeka girişimlerini ölçeklendirmeye yönelik en etkili yaklaşımların anlaşılmasını kolaylaştırır.
- Gerçek dünyadaki verilere ve geri bildirimlere göre yapay zeka modellerinin doğruluğunu ve performansını geliştirir.
Denemeleri kişiselleştirme ve hedefleme
Amaç: Kullanıcı tercihlerine ve davranışlarına göre uyarlanmış kişiselleştirilmiş içerik ve deneyimler sunma.
Yaklaşım: Kişiselleştirilmiş içeriği test etmek, etkileşimi ölçmek ve kişiselleştirme stratejilerini yinelemek için denemelerden yararlanın.
Avantajlar:
- İlgili ve kişiselleştirilmiş deneyimlerle kullanıcı katılımını, dönüşüm oranlarını ve müşteri bağlılığını artırır.
- Özel iletiler ve tekliflerle hedef kitleleri hedefleyerek gelir artışlarını ve müşteri elde tutmalarını sağlar.
Performans iyileştirme denemeleri
Amaç: Performans iyileştirme denemeleri aracılığıyla uygulama performansını ve kullanıcı deneyimini geliştirin.
Yaklaşım: Performans geliştirmelerini test etmek, önemli ölçümleri ölçmek ve başarılı iyileştirmeler uygulamak için denemeler yapın.
Avantajlar:
- Proaktif performans geliştirmeleriyle uygulama ölçeklenebilirliğini, güvenilirliğini ve yanıt hızını artırır.
- Verimli iyileştirmeler uygulayarak kaynak kullanımını ve altyapı maliyetlerini iyileştirir.
Deneme işlemleri
Deneme oluşturma: Deneme, telemetriyi yayan bir değişken özellik bayrağı üzerinde oluşturulabilir. Bir deneme oluşturulduktan sonra, denemeyle birlikte bir deneme sürümü de oluşturulur. Özellik bayrağında yapılan diğer tüm düzenlemeler, bu deneme için yeni bir deneme sürümünün oluşturulmasına neden oluyor.
Arşiv denemesi: Bir denemeyi arşivleme, denemeyi arşivlenmiş duruma getirir. Bir deneme arşivlenirken, deneme üzerinde hiçbir hesaplama yapılmaz. Hesaplamaları sürdürmek ve etkin duruma geri dönmek için denemeyi daha sonra geri yükleyebilirsiniz.
Denemeyi kurtarma: Denemenin kurtarılması arşivlenmiş bir denemeyi etkin duruma getirir ve deneme için hesaplamalar sürdürülür.
Denemeyi silme: Bir deneme silindiğinde Split'teki deneme ve ilgili tüm veriler silinir. Bu geri alınamaz bir işlemdir, bu nedenle silindikten sonra geri yükleme olmaz.
Deneme sonuçlarını denetleme: Etkin bir denemenin sonuçlarını denetlemek, denemedeki her bir değişkenin nasıl performans sergilediğini görmenizi sağlar.
Deneme işlemleri için erişim gereksinimleri
Aşağıdaki bölümlerde, Microsoft Entra ID ile denemeyle ilgili işlemler gerçekleştirmek için gereken roller ayrıntılı olarak verilmiştir.
Denemeyi ayarlama
Bölünmüş Deneme Çalışma Alanı da dahil olmak üzere gerekli kaynaklarla denemeyi ayarlamak için Azure aboneliği Sahibi rolü veya abonelik Katkıda Bulunanı ve Kullanıcı Erişimi Yöneticisi rollerinin birleşimi gereklidir.
Deneme oluşturma veya güncelleştirme
Deneme oluşturmak, güncelleştirmek, arşivlemek veya silmek için Uygulama Yapılandırması deposunda Veri Sahibi rolünü Uygulama Yapılandırması gerekir. Ayrıca Bağlı Bölünmüş Deneme Çalışma Alanına veri erişimini yöneten Enterprise uygulamasında ExperimentationDataOwner rolünü de gerektirir.
Deneme sonuçlarını okuma
Denemeleri, bunların sürümlerini ve sonuçlarını denetlemek için Uygulama Yapılandırması deposunda Uygulama Yapılandırması Veri Okuyucusu rolüne sahip olmanız gerekir. Ayrıca, bağlı Split Experimentation Çalışma Alanına veri erişimini yöneten Enterprise uygulamasında bir ExperimentationDataReader veya ExperimentationDataOwner rolüne de ihtiyaç duyar.
Faturalamayla ilgili dikkat edilmesi gerekenler ve sınırlar
Uygulama Yapılandırması özellikle denemeler için faturalandırılamaz. Deneme, Bölünmüş Deneme Çalışma Alanı (önizleme) ile tümleştirme yoluyla sağlanır. Azure Uygulaması Yapılandırması için Bölünmüş Deneme fiyatlandırma planını denetleyin.
Split denemesi için gereken en düşük örnek boyutu değişken başına 30'dur. Deneme sonuçlarını almak için en düşük örnek boyutuna sahip olmak için bir deneme gereklidir veya sonuçlarda "Veri yok" ifadesini gösterir.