Azure AI Search performans karşılaştırmaları
Önemli
Bu karşılaştırmalar, eski altyapıda çalışan dağıtımlar üzerinde 3 Nisan 2024'e kadar oluşturulan arama hizmetleri için geçerlidir. Kıyaslamalar yalnızca nonvector iş yükleri için de geçerlidir. Yeni sınırlarda hizmetler ve iş yükleri için güncelleştirmeler bekliyor.
Performans karşılaştırmaları, benzer yapılandırmalar altında olası performansı tahmin etmek için kullanışlıdır. Gerçek performans, arama hizmetinizin boyutu ve gönderdiğiniz sorgu türleri de dahil olmak üzere çeşitli faktörlere bağlıdır.
İş yükünüz için gereken arama hizmetinin boyutunu tahmin etmeye yardımcı olmak amacıyla, farklı arama hizmetleri ve yapılandırmalarının performansını belgelendirmek için çeşitli karşılaştırmalar çalıştırdık.
Bir dizi farklı kullanım örneğini kapsayacak şekilde iki ana senaryo için karşılaştırmalar çalıştırdık:
- E-ticaret araması - Bu karşılaştırma gerçek bir e-ticaret senaryosuna öykünmektedir ve İskandinav e-ticaret şirketi CDON'ı temel alır.
- Belge arama - Bu senaryo, Anlam Bilgini'nden tam metin belgeleri üzerinde anahtar sözcük aramasından oluşur. Bu, tipik bir belge arama çözümüne öykünmektedir.
Bu senaryolar farklı kullanım örneklerini yansıtsa da, her senaryo farklıdır, bu nedenle her zaman bireysel iş yükünüzün performans testini öneririz. Kendi hizmetinizde benzer testleri çalıştırabilmeniz için JMeter kullanarak bir performans testi çözümü yayımladık.
Test metodolojisi
Azure AI Search'ün performansını karşılaştırmak için farklı katmanlarda ve çoğaltma/bölüm birleşimlerinde iki farklı senaryo için testler çalıştırdık.
Bu karşılaştırmaları oluşturmak için aşağıdaki metodoloji kullanılmıştır:
- Test saniye başına sorgularda
X(QPS) 180 saniye boyunca başlar. Bu genellikle 5 veya 10 QPS'ydi. - QPS daha sonra artırıldı
Xve 180 saniye daha çalıştırıldı - Her 180 saniyede bir, ortalama gecikme süresi 1000 ms'nin üzerine veya sorguların %99'undan daha azı başarılı olana kadar test QPS artacaktır
X.
Aşağıdaki grafik, testin sorgu yükünün nasıl göründüğüne ilişkin görsel bir örnek verir:
Her senaryo, önbelleğe alma yoluyla testlerin aşırı dengesiz olmasını önlemek için en az 10.000 benzersiz sorgu kullandı.
Önemli
Bu testler yalnızca sorgu iş yüklerini içerir. Yüksek hacimli dizin oluşturma işlemleri olmasını bekliyorsanız, bunu tahmin ve performans testinize hesaba katmaya dikkat edin. Dizin oluşturma benzetimi için örnek kod bu öğreticide bulunabilir.
Tanımlar
Maksimum QPS - Maksimum QPS sayısı, sorguların %99'unun azaltma olmadan başarıyla tamamlandığı ve ortalama gecikme süresinin 1000 ms'nin altında kaldığı bir testte elde edilen en yüksek QPS'yi temel alır.
Maksimum QPS yüzdesi - Belirli bir test için elde edilen maksimum QPS yüzdesi. Örneğin, belirli bir test en fazla 100 QPS'ye ulaşırsa maksimum QPS'nin %20'sinin 20 QPS olması gerekir.
Gecikme süresi - Sunucunun bir sorgu için gecikme süresi; bu sayılar gidiş dönüş gecikmesi (RTT) içermez. Değerler milisaniye (ms) cinsindendir.
Yasal uyarıyı test etme
Bu karşılaştırmaları çalıştırmak için kullandığımız kod azure-search-performance-testing deposunda kullanılabilir. JMeter performans testi çözümünde QPS düzeylerinin karşılaştırmalara göre biraz daha düşük olduğunu gözlemlediğimize dikkat edin. Farklılıklar, testlerin stilindeki farklılıklara bağlanabilir. Bu, performans testlerinizi üretim iş yükünüze mümkün olduğunca benzer hale getirmenin önemini ifade eder.
Önemli
Bu karşılaştırmalar hiçbir şekilde hizmetinizden belirli bir performans düzeyini garanti etmeyebilir, ancak senaryonuza göre bekleyebileceğiniz performans hakkında size bir fikir verebilir.
Sorularınız veya endişeleriniz varsa adresinden bize azuresearch_contact@microsoft.comulaşın.
Karşılaştırma 1: E-ticaret araması
Bu kıyaslama, İsveç, Finlandiya, Norveç ve Danimarka'daki operasyonlarla İskandinav bölgesinin en büyük çevrimiçi marketi olan CDON e-ticaret şirketi ile ortaklaşa oluşturulmuştur. CDON, 1.500 satıcı ile 8 milyondan fazla ürün içeren geniş bir ürün yelpazesi sunmaktadır. 2020'de CDON'un 120 milyondan fazla ziyaretçisi ve 2 milyon aktif müşterisi vardı. CDON'un Azure AI Search kullanımı hakkında daha fazla bilgiyi bu makalede bulabilirsiniz.
Bu testleri çalıştırmak için CDON'un üretim arama dizininin anlık görüntüsünü ve web sitelerindeki binlerce benzersiz sorguyu kullandık.
Senaryo Ayrıntıları
- Belge Sayısı: 6.000.000
- Dizin Boyutu: 20 GB
- Dizin Şeması: Toplam 250 alan, 25 aranabilir alan ve 200 modellenebilir/filtrelenebilir alan içeren geniş bir dizin
- Sorgu Türleri: Modeller, filtreler, sıralama ve puanlama profilleri de dahil olmak üzere tam metin arama sorguları
S1 Performansı
Saniye başına sorgu sayısı
Aşağıdaki grafikte, saniye başına sorgu sayısı (QPS) açısından bir hizmetin uzun süre işleyebileceği en yüksek sorgu yükü gösterilmektedir.
Sorgu gecikme süresi
Sorgu gecikme süresi, hizmetin yüküne bağlı olarak değişir ve daha yüksek stres altındaki hizmetlerin ortalama sorgu gecikme süresi daha yüksektir. Aşağıdaki tabloda üç farklı kullanım düzeyi için sorgu gecikme süresinin 25, 50, 75, 90, 95 ve 99. yüzdebirlik dilimleri gösterilmektedir.
| Maksimum QPS yüzdesi | Ortalama gecikme | %25 | %75 | %90 | %95 | %99 |
|---|---|---|---|---|---|---|
| %20 | 104 ms | 35 ms | 115 ms | 177 ms | 257 ms | 738 ms |
| %50 | 140 ms | 47 ms | 144 ms | 241 ms | 400 ms | 1175 ms |
| %80 | 239 ms | 77 ms | 248 ms | 466 ms | 763 ms | 1752 ms |
S2 Performansı
Saniye başına sorgu sayısı
Aşağıdaki grafikte, saniye başına sorgu sayısı (QPS) açısından bir hizmetin uzun süre işleyebileceği en yüksek sorgu yükü gösterilmektedir.
Sorgu gecikme süresi
Sorgu gecikme süresi, hizmetin yüküne bağlı olarak değişir ve daha yüksek stres altındaki hizmetlerin ortalama sorgu gecikme süresi daha yüksektir. Aşağıdaki tabloda üç farklı kullanım düzeyi için sorgu gecikme süresinin 25, 50, 75, 90, 95 ve 99. yüzdebirlik dilimleri gösterilmektedir.
| Maksimum QPS yüzdesi | Ortalama gecikme | %25 | %75 | %90 | %95 | %99 |
|---|---|---|---|---|---|---|
| %20 | 56 ms | 21 ms | 68 ms | 106 ms | 132 ms | 210 ms |
| %50 | 71 ms | 26 ms | 83 ms | 132 ms | 177 ms | 329 ms |
| %80 | 140 ms | 47 ms | 153 ms | 293 ms | 452 ms | 924 ms |
S3 Performansı
Saniye başına sorgu sayısı
Aşağıdaki grafikte, saniye başına sorgu sayısı (QPS) açısından bir hizmetin uzun süre işleyebileceği en yüksek sorgu yükü gösterilmektedir.
Bu durumda, ikinci bir bölüm eklenmesinin en fazla QPS'yi önemli ölçüde artırdığını ancak üçüncü bir bölüm eklenmesinin azalan marjinal dönüşler sağladığını görüyoruz. Daha küçük bir gelişmenin nedeni büyük olasılıkla tüm verilerin yalnızca iki bölümle S3'ün etkin belleğine çekilmesi olabilir.
Sorgu gecikme süresi
Sorgu gecikme süresi, hizmetin yüküne bağlı olarak değişir ve daha yüksek stres altındaki hizmetlerin ortalama sorgu gecikme süresi daha yüksektir. Aşağıdaki tabloda üç farklı kullanım düzeyi için sorgu gecikme süresinin 25, 50, 75, 90, 95 ve 99. yüzdebirlik dilimleri gösterilmektedir.
| Maksimum QPS yüzdesi | Ortalama gecikme | %25 | %75 | %90 | %95 | %99 |
|---|---|---|---|---|---|---|
| %20 | 50 ms | 20 ms | 64 ms | 83 ms | 98 ms | 160 ms |
| %50 | 62 ms | 24 ms | 80 ms | 107 ms | 130 ms | 253 ms |
| %80 | 115 ms | 38 ms | 121 ms | 218 ms | 352 ms | 828 ms |
Karşılaştırma 2: Belge arama
Senaryo Ayrıntıları
- Belge Sayısı: 7,5 milyon
- Dizin Boyutu: 22 GB
- Dizin Şeması: 23 alan; 8 aranabilir, 10 filtrelenebilir/modellenebilir
- Sorgu Türleri: modellerle anahtar sözcük aramaları ve isabet vurgulama
S1 Performansı
Saniye başına sorgu sayısı
Aşağıdaki grafikte, saniye başına sorgu sayısı (QPS) açısından bir hizmetin uzun süre işleyebileceği en yüksek sorgu yükü gösterilmektedir.
Sorgu gecikme süresi
Sorgu gecikme süresi, hizmetin yüküne bağlı olarak değişir ve daha yüksek stres altındaki hizmetlerin ortalama sorgu gecikme süresi daha yüksektir. Aşağıdaki tabloda üç farklı kullanım düzeyi için sorgu gecikme süresinin 25, 50, 75, 90, 95 ve 99. yüzdebirlik dilimleri gösterilmektedir.
| Maksimum QPS yüzdesi | Ortalama gecikme | %25 | %75 | %90 | %95 | %99 |
|---|---|---|---|---|---|---|
| %20 | 67 ms | 44 ms | 77 ms | 103 ms | 126 ms | 216 ms |
| %50 | 93 ms | 59 ms | 110 ms | 150 ms | 184 ms | 304 ms |
| %80 | 150 ms | 96 ms | 184 ms | 248 ms | 297 ms | 424 ms |
S2 Performansı
Saniye başına sorgu sayısı
Aşağıdaki grafikte, saniye başına sorgu sayısı (QPS) açısından bir hizmetin uzun süre işleyebileceği en yüksek sorgu yükü gösterilmektedir.
Sorgu gecikme süresi
Sorgu gecikme süresi, hizmetin yüküne bağlı olarak değişir ve daha yüksek stres altındaki hizmetlerin ortalama sorgu gecikme süresi daha yüksektir. Aşağıdaki tabloda üç farklı kullanım düzeyi için sorgu gecikme süresinin 25, 50, 75, 90, 95 ve 99. yüzdebirlik dilimleri gösterilmektedir.
| Maksimum QPS yüzdesi | Ortalama gecikme | %25 | %75 | %90 | %95 | %99 |
|---|---|---|---|---|---|---|
| %20 | 45 ms | 31 ms | 55 ms | 73 ms | 84 ms | 109 ms |
| %50 | 63 ms | 39 ms | 81 ms | 106 ms | 123 ms | 163 ms |
| %80 | 115 ms | 73 ms | 145 ms | 191 ms | 224 ms | 291 ms |
S3 Performansı
Saniye başına sorgu sayısı
Aşağıdaki grafikte, saniye başına sorgu sayısı (QPS) açısından bir hizmetin uzun süre işleyebileceği en yüksek sorgu yükü gösterilmektedir.
Sorgu gecikme süresi
Sorgu gecikme süresi, hizmetin yüküne bağlı olarak değişir ve daha yüksek stres altındaki hizmetlerin ortalama sorgu gecikme süresi daha yüksektir. Aşağıdaki tabloda üç farklı kullanım düzeyi için sorgu gecikme süresinin 25, 50, 75, 90, 95 ve 99. yüzdebirlik dilimleri gösterilmektedir.
| Maksimum QPS yüzdesi | Ortalama gecikme | %25 | %75 | %90 | %95 | %99 |
|---|---|---|---|---|---|---|
| %20 | 43 ms | 29 ms | 53 ms | 74 ms | 86 ms | 111 ms |
| %50 | 65 ms | 37 ms | 85 ms | 111 ms | 128 ms | 164 ms |
| %80 | 126 ms | 83 ms | 162 ms | 205 ms | 233 ms | 281 ms |
Paketler
Bu karşılaştırmalar sayesinde Azure AI Search'ün sunduğu performans hakkında fikir edinebilirsiniz. Farklı katmanlardaki hizmetler arasındaki farkı da görebilirsiniz.
Bu karşılaştırmalardan bazı önemli yöntemler şunlardır:
- S2 genellikle sorgu biriminin en az dört katını S1 olarak işleyebilir
- S2 genellikle karşılaştırılabilir sorgu birimlerinde S1'den daha düşük gecikme süresine sahiptir
- Siz çoğaltma eklerken, bir hizmetin genellikle ölçekleri doğrusal olarak işleyebileceği QPS (örneğin, bir çoğaltma 10 QPS'yi işleyebilirse beş çoğaltma genellikle 50 QPS'yi işleyebilir)
- Hizmet üzerindeki yük ne kadar yüksekse ortalama gecikme süresi de o kadar yüksektir
Ayrıca performansın senaryolar arasında önemli ölçüde değişebileceğini de görebilirsiniz. Beklediğiniz performansı alamıyorsanız daha iyi performans için ipuçlarına göz atın.
Sonraki adımlar
Performans karşılaştırmalarını gördüğünüze göre, Azure AI Search'ün performansını ve performansı etkileyen temel faktörleri analiz etme hakkında daha fazla bilgi edinebilirsiniz.
Geri Bildirim
Çok yakında: 2024 boyunca, içerik için geri bildirim mekanizması olarak GitHub Sorunları’nı kullanımdan kaldıracak ve yeni bir geri bildirim sistemiyle değiştireceğiz. Daha fazla bilgi için bkz. https://aka.ms/ContentUserFeedback.
Gönderin ve geri bildirimi görüntüleyin