Azure portalında verileri içeri aktarma sihirbazı

Azure portalındaki Import data sihirbazı sorgulanabilir bir arama dizinine kod içermeyen bir yol sağlar. Desteklenen bir veri kaynağına bağlanır, isteğe bağlı yapay zeka zenginleştirme ve vektörleştirmeyi yapılandırır, bir dizin şeması çıkartır ve dizine içerik yükler. Anahtar sözcük araması, RAG ve çok modüllü RAG için sihirbazı kullanabilirsiniz.

Sihirbaz aşağıdakileri destekler:

• Dizin, dizin oluşturucu, veri kaynağı ve beceri kümesi de dahil olmak üzere dizin oluşturma işlem hattı oluşturma.
• Yerleşik dizin oluşturucular ve Azure Logic Apps bağlayıcıları.
• Beceri tabanlı yapay zeka zenginleştirmesi.
• Çok modüllü eklemeler de dahil olmak üzere veri öbekleme ve tümleşik vektörleştirme.
• Anlamsal derecelendirme yapılandırması.
• Bilgi deposu oluşturma.

Sihirbazın desteklediği şunlardır

Bu bölümde sihirbazda kullanılabilen özellikler açıklanmaktadır.

Yerleşik örnek veriler

Hotels-sample dizini için yerleşik örnek veriler artık kullanılamıyor. Ancak Quickstart: Azure portalında tam metin araması izleyerek aynı dizini oluşturabilirsiniz.

Veri kaynakları

Sihirbaz, yerleşik dizin oluşturucular veya Logic Apps bağlayıcıları (önizleme) aracılığıyla aşağıdaki veri kaynaklarına bağlanır.

Veri kaynağı	Destekleniyor	Bağlantı
ADLS 2. Nesil	✅	Yerleşik dizin oluşturucu
Azure Blob Depolama	✅	Yerleşik dizin oluşturucu
Azure Dosya Depolama	✅	Logic Apps bağlayıcısı
Azure Kuyrukları	✅	Logic Apps bağlayıcısı
Azure Tablo Depolaması	✅	Yerleşik dizin oluşturucu
Azure SQL Veritabanı ve Managed Instance	✅	Yerleşik dizin oluşturucu
NoSQL için Cosmos DB	✅	Yerleşik dizin oluşturucu
MongoDB için Cosmos DB	✅	Yerleşik dizin oluşturucu
Apache Gremlin için Cosmos DB	✅	Yerleşik dizin oluşturucu
MySQL	❌	Uygulanamaz
OneDrive	✅	Logic Apps bağlayıcısı
OneDrive İş	✅	Logic Apps bağlayıcısı
OneLake	✅	Yerleşik dizin oluşturucu
Service Bus	✅	Logic Apps bağlayıcısı
SharePoint	✅	Logic Apps bağlayıcısı
Sanal makinelerde SQL Server	✅	Yerleşik dizin oluşturucu

Tip

Azure Dosya Depolama veya SharePoint için Logic Apps bağlayıcısı kullanmak yerine Arama Hizmeti REST API'lerini kullanarak bu kaynaklardan gelen verileri program aracılığıyla dizinleyebilirsiniz. Daha fazla bilgi için Azure Dosyalar'tan Dizin verilerini ve SharePoint belge kitaplıklarından Dizin verilerini inceleyin.

Beceriler

Sihirbaz tarafından oluşturulan bir beceri kümesinde aşağıdaki beceriler görünebilir. Beceri kümesi oluşturulduktan sonra, beceri eklemek veya kaldırmak için JSON tanımını değiştirebilirsiniz.

Beceri	Destekleniyor	Açıklama
AML	✅	Yalnızca RAG ve çok modlu RAG için kullanılabilir.
Azure Vision çok modüllü ekleme	✅	Yalnızca RAG ve çok modlu RAG için kullanılabilir.
Azure OpenAI ekleme	✅	Yalnızca RAG ve çok modlu RAG için kullanılabilir.
Belge Düzeni	✅	Yalnızca RAG ve çok modlu RAG için kullanılabilir.
Varlık Tanıma	✅	Yalnızca anahtar sözcük araması için kullanılabilir.
Görüntü Analizi	✅	Varsayılan ayrıştırma modu varsayılarak Azure Depolama bloblar ve Microsoft OneLake dosyaları için kullanılabilir. PNG veya JPG gibi bir görüntü içerik türü veya PDF gibi bir uygulama dosyasında eklenmiş bir görüntü kullanın.
Anahtar İfade Çıkarımı	✅	Yalnızca anahtar sözcük araması için kullanılabilir.
Dil Algılama	✅	Yalnızca anahtar sözcük araması için kullanılabilir. Beceri kümesi Varlık Tanıma, Anahtar İfade Ayıklama veya Metin Bölme içerdiğinde otomatik olarak eklenir. Kullanıcı tarafından yapılandırılamaz.
Metin çevirisi	❌	Uygulanamaz.
Optik karakter tanıma	✅	Varsayılan ayrıştırma modu varsayılarak Azure Depolama bloblar ve Microsoft OneLake dosyaları için kullanılabilir. PNG veya JPG gibi bir görüntü içerik türü veya PDF gibi bir uygulama dosyasında eklenmiş bir görüntü kullanın.
PII Algılama	❌	Uygulanamaz.
Duygu	❌	Uygulanamaz.
Shaper	❌	Uygulanamaz.
Metin Bölme	✅	Gömme modeli seçtiğinizde veri öbekleme için eklenir. Kaynak alanının ayrıntı düzeyini sayfa veya tümce olarak ayarladığınızda, gömülemeyen beceriler eklenir.
Metin Birleştirme	✅	Gömme modeli seçtiğinizde veri öbekleme için eklenir. Kaynak alanının ayrıntı düzeyini sayfa veya tümce olarak ayarladığınızda, gömülemeyen beceriler eklenir.

Anlamsal derecelendirme

Anlam derecelendirmesi tüm sihirbaz senaryolarında kullanılabilir: anahtar sözcük araması, RAG ve çok modüllü RAG. Bunu etkinleştirirseniz, sihirbaz dizine semantik bir yapılandırma ekler.

Bilgi depoları

Bilgi deposu oluşturma yalnızca çok modüllü RAG senaryosu için kullanılabilir. Sihirbaz, belgelerinizdeki görüntüleri ayıklar ve belirttiğiniz bir Azure Depolama kapsayıcısında blob olarak depolar.

Sihirbazın oluşturduğu

Sihirbazı tamamladığınızda, arama hizmetinizde birkaç nesne oluşturur. Tam nesneler, seçtiğiniz seçeneklere bağlıdır. Örneğin, beceri tabanlı zenginleştirme uygularsanız bir beceri kümesi oluşturulur.

Nesne	Açıklama
Veri kaynağı	Desteklenen bir Microsoft veya Azure veri kaynağı için bağlantı bilgilerini depolar.
Dizin	Tam metin araması, vektör araması ve diğer sorgular için fiziksel veri yapısı. Semantik derecelendirmeyi etkinleştirirseniz bir anlamsal yapılandırma içerebilir.
Indexer	İsteğe bağlı bir zamanlamaya göre bir veri kaynağından hedef dizine çekerek verileri içeri aktarır. Ayrıca bir beceri kümesine başvurabilir.
Beceri Kümesi	(İsteğe bağlı) Dizin oluşturma sırasında yapay zeka zenginleştirme, veri öbekleme ve tümleşik vektörleştirme yönergeleri kümesi.
Bilgi deposu	(İsteğe bağlı) Azure Depolama ikincil depolama, ayıklanan görüntüler gibi beceri seti çıktıları içindir.

Sihirbaz çalıştırıldıktan sonra bu nesneleri görüntülemek için:

1. Azure portalında arama hizmetinize gidin.
2. Dizinler, dizin oluşturucular, veri kaynakları ve beceri kümelerinin sayfalarını bulmak için sol bölmeden Arama yönetimi'ni seçin.

Avantajlar ve sınırlamalar

Bu bölümde sihirbaz deneyiminin avantajları ve dezavantajları ele alınmaktadır. Sihirbazı ne zaman kullanacağınıza ve REST API'leri veya Azure SDK’ları kullanan programlı yaklaşımlar gibi alternatiflerin ne zaman dikkate alıneceğine karar vermek için bu bilgileri kullanın.

Sosyal haklar

Herhangi bir kod yazmadan önce, prototip oluşturma ve kavram kanıtı testi için sihirbazı kullanabilirsiniz. Sihirbaz dış veri kaynaklarına bağlanır, verileri örnekleyip bir ilk dizin oluşturur ve ardından verileri Azure Yapay Zeka Arama'deki bir dizinde JSON belgeleri olarak içeri aktarır ve isteğe bağlı olarak vektörleştirir.

Beceri kümelerini değerlendiriyorsanız, sihirbaz çıktı alanı eşlemelerini işler ve kullanılabilir nesneler oluşturmak için yardımcı işlevler ekler. Ayrıştırma modu belirttiğinizde Metin Bölme eklenir. Görüntü analizini seçtiğinizde, sihirbazın metin açıklamalarını görüntü içeriğiyle yeniden birleştirebilmesi için Metin Birleştirme eklenir. Bu görevlerin tümü öğrenme eğrisiyle birlikte gelir. Zenginleştirme konusunda yeniyseniz, bu adımların sizin için işlenmesi, çok fazla zaman ve çaba harcamadan bir becerinin değerini ölçmenizi sağlar.

Örnekleme, bazı sınırlamaları olan bir dizin şemasının çıkarıldığı işlemdir. Veri kaynağı oluşturulduğunda sihirbaz, hangi sütunların veri kaynağının parçası olduğuna karar vermek için rastgele bir belge örneği seçer. Büyük veri kaynakları için saatler sürebileceği için tüm dosyalar okunmayabilir. Bir belge seçimi göz önüne alındığında, dizin şemasında alan koleksiyonu oluşturmak için kaynak meta veriler (alan adı veya tür gibi) kullanılır. Kaynak verilerin karmaşıklığına bağlı olarak, ilk şemayı doğruluk için düzenlemeniz veya eksiksiz olması için genişletmeniz gerekebilir. Değişikliklerinizi dizin tanımı sayfasında satır içinde yapabilirsiniz.

Genel olarak, sihirbazın avantajları açıktır: gereksinimler karşılandığı sürece, birkaç dakika içinde sorgulanabilir bir dizin oluşturabilirsiniz. Sihirbaz, verileri JSON belgeleri olarak seri hale getirme gibi bazı dizin oluşturma karmaşıklıklarını işler.

Sınırlamalar

• Sihirbaz yinelemeyi veya yeniden kullanımı desteklemez. Sihirbazdan geçen her geçiş bir dizin, beceri kümesi ve dizin oluşturucu yapılandırması oluşturur. Sihirbazı tamamladıktan sonra, diğer portal araçlarını, REST API'lerini veya Azure SDK’ları kullanarak oluşturulan nesneleri düzenleyebilirsiniz.

• Kaynak içerik desteklenen bir veri kaynağında bulunmalıdır.

• Bir ön dizin şeması çıkarmak için kullanılan örnekleme, kaynak verilerin bir alt kümesi üzerinde gerçekleşir. Büyük veri kaynakları için sihirbazın alanları kaçırması mümkündür. Örnekleme yetersizse, dizine el ile alan eklemeniz veya çıkarsanan veri türlerini düzeltmeniz gerekebilir.

• Sihirbazda gösterildiği gibi yapay zeka zenginleştirme ve tümleşik vektörleştirme, yerleşik becerilerin bir alt kümesiyle sınırlıdır.

Güvenli bağlantılar

Ağ korumaları portaldan uç noktaya bağlantıyı ve portal işlemleri sırasında uç noktadan dış kaynağa bağlantıları etkiler.

Arama servisine portal bağlantıları

Ağ korumalı bir uç noktaya portal bağlantıları, istemci IP adresiniz kullanılarak yapılır.

• İstemci IP adresinizi güvenlik duvarı korumalı bir arama hizmetine yönelik bir gelen kuralına ekleyiniz.

• Özel uç nokta için yapılandırılmış bir arama hizmeti için, portal sayfalarını açmak ve sihirbazı çalıştırmak için izin verilmiş bir sanal makinede bir tarayıcı kullanın.

• Ağ güvenlik çevresine dahil olan bir arama hizmeti için istemci IP adresinizi bir gelen kuralına ekleyin.

Tip

Portal, istemci IP adresinizi algılar ve bunu search service güvenlik duvarına eklemenizi ister.

Dış kaynaklara portal bağlantıları

Sihirbaz aşağıdakiler için dış kaynaklara bağlanır:

• Dizin oluşturma sırasında veri alma.
• enrichment ve integrated vectorization için Microsoft Foundry kaynağı veya modeli tarafından gerçekleştirilen yapay zeka işleme.

Sihirbazdan, ağ korumalı veriler ve yapay zeka işleme için neredeyse tüm giden istekler istemcinizin IP adresi kullanılarak yapılır.

Bu bölümde, giden istekler için bağlantı gereksinimleri açıklanmaktadır.

Dış kaynaklara portal erişimini yapılandırma

• IP korumalı kaynaklar: İstemci IP adresinizi dış kaynağın allowListöğesine ekleyin. Destekleniyorsa, güvenilir hizmet olarak Microsoft.Search/searchServices listeleyin. Örneğin, Azure Depolama Microsoft.Search/searchServices güvenilir bir hizmet olarak listeleyebilirsiniz.

• Özel bağlantılar: Sihirbaz paylaşılan özel bağlantıları kullanır. Arama hizmetinizin katman ve bölge gereksinimlerini karşıladığını doğrulayın. Dış veri kaynağınızın paylaşılan özel bağlantılar için desteklendiğini doğrulayın.

Sihirbaz bağlanamıyorsa "Access denied due to Sanal Ağ/Firewall rules" görürsünüz. Alternatif olarak script tabanlı veya programatik yaklaşımları göz önünde bulundurun.

İş Akışı

Sihirbaz üst düzey bir iş akışını izler:

1. Desteklenen bir Azure veri kaynağına bağlanın.

2. (İsteğe bağlı) İçerik ve yapı ayıklamak veya oluşturmak için beceriler ekleyin.

3. Kaynak verileri örnekleme tarafından çıkarsanan bir dizin şeması oluşturun.

4. Nesneleri oluşturmak, isteğe bağlı olarak verileri vektörleştirmek, verileri bir dizine yüklemek, zamanlama ayarlamak ve diğer seçenekleri yapılandırmak için sihirbazı çalıştırın.

İş akışı tek yönlü bir işlem hattıdır. Oluşturulan nesnelerin hiçbirini düzenlemek için sihirbazı kullanamazsınız, ancak izin verilen güncelleştirmeleri yapmak için dizin tasarımcısı veya JSON düzenleyicileri gibi diğer portal araçlarını kullanabilirsiniz.

Sihirbazı başlatma

1. Azure portalında arama hizmetinize gidin.

2. Genel Bakış sayfasında Verileri içeri aktar'ı seçin.

   

   Sihirbaz tarayıcı penceresinde tamamen genişleterek açılır ve size daha fazla çalışma alanı verir.

3. Bir senaryo seçin: Anahtar sözcük araması, RAG veya Multimodal RAG.

   Seçtiğiniz senaryo, kullanılabilir veri kaynaklarını ve becerilerin yanı sıra sihirbaz tarafından oluşturulan dizin şemasını ve dizin oluşturucu yapılandırmasını belirler.

4. Dizin, dizin oluşturucu ve diğer geçerli nesneleri oluşturmak için kalan adımları izleyin.

Veri kaynağı yapılandırma

Sihirbaz, dizin oluşturucular tarafından sağlanan dahili mantığı kullanarak, bir dış desteklenen veri kaynağına bağlanır. Bu dizin oluşturucular, kaynağı örnekleme, meta verileri okuma, belgeleri parçalama yoluyla içerik ve yapıyı okuma, ve içerikleri Azure Yapay Zeka Arama'e sonraki içeri aktarma için JSON olarak seri hale getirme yetenekleriyle donatılmıştır.

Tüm önizleme veri kaynaklarının sihirbazda kullanılabilir olması garanti değildir. Her veri kaynağı değişiklikleri aşağı akışa ekleme potansiyeline sahip olduğundan, önizleme veri kaynağı yalnızca beceri kümesi tanımı ve dizin şeması çıkarımı gibi sihirbazın tüm deneyimlerini tam olarak desteklediğinde eklenir.

Yalnızca tek bir tablodan, veritabanı görünümünden veya eşdeğer veri yapısından içeri aktarabilirsiniz. Ancak, yapı hiyerarşik veya iç içe alt yapıları içerebilir. Daha fazla bilgi için Karmaşık türleri modelleme konusuna bakın.

Beceri kümesi yapılandırma

Beceri kümesi yapılandırması, veri kaynağı tanımından sonra gerçekleşir çünkü veri kaynağı türü belirli yerleşik becerilerin kullanılabilirliğini bildirir. Örneğin, Azure Blob Depolama dosyaları dizine ekliyorsanız, bu dosyalar için seçtiğiniz ayrıştırma modu yaklaşım analizinin kullanılabilir olup olmadığını belirler.

Sihirbaz yalnızca seçtiğiniz becerileri değil, başarılı bir sonuç için gereken becerileri de ekler.

Beceri kümeleri isteğe bağlıdır ve yapay zeka zenginleştirmesini istemiyorsanız sayfanın alt kısmında ilerleyebileceğiniz bir düğme vardır.

Dizin şeması yapılandırma

Sihirbaz, alanları ve alan türlerini algılamak için veri kaynağınızı örneklemektedir. Veri kaynağına bağlı olarak, meta verileri dizine eklemeye yönelik alanlar da sunabilir.

Örnekleme kesin olmayan bir alıştırma olduğundan, aşağıdaki noktalar için dizini gözden geçirin:

1. Alan listesi doğru mu? Veri kaynağınız örneklemede alınmamış alanlar içeriyorsa, eksik alanları el ile ekleyebilirsiniz. Ayrıca, arama deneyimine değer katmayan veya filtre ifadesinde veya puanlama profilinde kullanılmayacak alanları kaldırabilirsiniz.

2. Veri türü gelen veriler için uygun mu? Azure Yapay Zeka Arama entity veri modeli (EDM) veri türlerini destekler. Azure SQL verileriyle ilgili eşdeğer değerleri gösteren bir eşleme tablosu vardır. Daha fazla bilgi için bkz . Alan eşlemeleri ve dönüştürmeleri.

3. Anahtar görevi görecek tek bir alanınız var mı? Bu alan, belgeyi benzersiz olarak tanımlayan bir Edm.String olmalıdır. İlişkisel veriler için birincil anahtarla eşlenebilir. Bloblar için muhtemelen metadata-storage-path olabilir. Alan değerleri boşluk veya tireler içeriyorsa, Bu karakterler için doğrulama denetimini engellemek için Dizin oluşturucu oluşturma adımındaki Gelişmiş seçenekler'in altındaki Base-64 Kodlama Anahtarı seçeneğini ayarlamanız gerekir.

4. Bu alanın bir dizinde nasıl kullanıldığını belirlemek için öznitelikleri ayarlayın.

   Öznitelikler dizindeki alanların fiziksel ifadesini belirlediğinden, bu adımla zamanınızı ayırın. Öznitelikleri daha sonra program aracılığıyla bile değiştirmek istiyorsanız, neredeyse her zaman dizini bırakmanız ve yeniden oluşturmanız gerekir. Searchable ve Retrievable gibi temel özniteliklerin depolama üzerindeki ihmal edilebilir bir etkisi vardır. Filtrelerin etkinleştirilmesi ve önericilerin kullanılması storage gereksinimlerini artırır.

   • Aranabilir, tam metin aramayı etkinleştirir. Serbest biçimli sorgularda veya sorgu ifadelerinde kullanılan her alanın bu özniteliği olmalıdır. Çevrilmiş dizinler, Aranabilir olarak işaretlediğiniz her alan için oluşturulur.

   • Alınabilir, arama sonuçlarında alanı döndürür. Arama sonuçlarına içerik sağlayan her alan bu özniteliğe sahip olmalıdır. Bu alanın ayarlanması dizin boyutunu önemli ölçüde etkilemez.

   • Filterable , alana filtre ifadelerinde başvurulmasını sağlar. $filter ifadesinde kullanılan her alan bu özniteliğe sahip olmalıdır. Filtre ifadeleri tam eşleşmeler içindir. Metin dizeleri olduğu gibi kaldığından, kelimesi kelimesine içeriğe uyum sağlamak için daha fazla depolama gerekir.

   • Facetable , alanı çok yönlü gezinti için etkinleştirir. Yalnızca Filtrelenebilir olarak işaretlenen alanlar, Facetable olarak da işaretlenebilir.

   • Sıralanabilir, alanın bir sıralamada kullanılmasını sağlar. bir $Orderby ifadesinde kullanılan her alan bu özniteliğe sahip olmalıdır.

5. Sözcük temelli analize ihtiyacınız var mı? Aranabilir Edm.String alanları için, dil açısından gelişmiş dizin oluşturma ve sorgulama istiyorsanız bir Çözümleyici ayarlayabilirsiniz.

   Varsayılan değer Standard Lucene'dır, ancak düzensiz isim ve fiil formlarını çözümleme gibi gelişmiş sözcük işleme için Microsoft çözümleyicisini kullanmak istiyorsanız Microsoft english seçebilirsiniz. Azure portalında yalnızca dil çözümleyicileri belirtilebilir. Anahtar Sözcük veya Desen gibi özel bir çözümleyici veya dil dışı çözümleyici kullanmak istiyorsanız, bunu program aracılığıyla oluşturmanız gerekir. Daha fazla bilgi için bkz. Dil çözümleyicileri ekleme.

6. Otomatik tamamlama veya önerilen sonuçlar biçiminde typeahead işlevselliğine ihtiyacınız var mı? Seçili alanlarda typeahead sorgu önerilerini ve otomatik tamamlamayı etkinleştirmek için Önerici onay kutusunu seçin. Önericiler dizininizdeki belirteçli terimlerin sayısını ekler ve böylece daha fazla storage tüketir.

Dizin oluşturucuyu yapılandırın

Sihirbazın son sayfası dizin oluşturucu yapılandırması için kullanıcı girişleri toplar. Bir zamanlama belirtebilir ve veri kaynağı türüne göre değişen diğer seçenekleri ayarlayabilirsiniz.

Sihirbaz dahili olarak aşağıdaki tanımları ayarlar ve bunlar oluşturulduktan sonra dizin oluşturucuda görünmez.

• Veri kaynağı ve dizin arasındaki alan eşlemeleri.
• Beceri çıktısı ile dizin arasındaki çıkış alanı eşlemeleri.

Sihirbazı deneyin

Verileri içeri aktarma sihirbazının avantajlarını ve sınırlamalarını anlamanın en iyi yolu, bu sihirbazın üzerinden geçmektir. Aşağıdaki hızlı başlangıç kılavuzları sihirbaz aracı temel alınarak hazırlanmıştır.

• Quickstart: Azure portalında tam metin arama
• Quickstart: Azure portalında vektör araması
• Quickstart: Azure portalında çok modüllü arama
• Quickstart: Azure portalında beceri kümesi oluşturma