Microsoft.Extensions.DataIngestion kitaplığı

📦 Microsoft.Extensions.DataIngestion paketi, veri alımı için temel .NET yapı taşları sağlar. Geliştiricilerin yapay zeka ve makine öğrenmesi iş akışları, özellikle Alma-Artırımlı Oluşturma (RAG) senaryoları için belgeleri okumasına, işlemesine ve hazırlamasına olanak tanır.

Bu yapı taşları ile uygulama gereksinimlerinize göre uyarlanmış sağlam, esnek ve akıllı veri alımı işlem hatları oluşturabilirsiniz:

• Birleşik belge gösterimi: Herhangi bir dosya türünü (örneğin, PDF, Görüntü veya Microsoft Word) büyük dil modelleriyle iyi çalışan tutarlı bir biçimde temsil edin.
• Esnek veri alımı: Birden çok yerleşik okuyucu kullanarak hem bulut hizmetlerinden hem de yerel kaynaklardan belgeleri okuyarak, nerede olursa olsun veri getirmeyi kolaylaştırabilirsiniz.
• Yerleşik yapay zeka geliştirmeleri: Özetler, yaklaşım analizi, anahtar sözcük ayıklama ve sınıflandırma ile içeriği otomatik olarak zenginleştirin ve verilerinizi akıllı iş akışları için hazırlar.
• Özelleştirilebilir öbekleme stratejileri: Alma ve analiz gereksinimlerinizi en iyi duruma getirebilmeniz için belirteç tabanlı, bölüm tabanlı veya semantik duyarlı yaklaşımları kullanarak belgeleri öbeklere bölün.
• Üretime hazır depolama: İşlenen öbekleri popüler vektör veritabanlarında ve belge depolarında depolayıp gömme oluşturma desteği sunarak, işlem hatlarınız gerçek dünya senaryolarına hazır hale gelir.
• Uçtan uca işlem hattı oluşturma:IngestionPipeline<T> API ile okuyucuları, işlemcileri, parçalayıcıları ve yazıcılara birbirine bağlayarak gereksiz tekrarları azaltabilir ve tüm iş akışlarını oluşturmayı, özelleştirmeyi ve genişletmeyi kolaylaştırabilirsiniz.
• Performans ve ölçeklenebilirlik: Ölçeklenebilir veri işleme için tasarlanan bu bileşenler, büyük hacimli verileri verimli bir şekilde işleyerek kurumsal düzeydeki uygulamalar için uygun olmasını sağlayabilir.

Bu bileşenlerin tümü açık ve tasarım gereği genişletilebilir. Özel mantık ve yeni bağlayıcılar ekleyebilir ve sistemi yeni yapay zeka senaryolarını destekleyecek şekilde genişletebilirsiniz. .NET geliştiricileri belgelerin temsil edilme, işlenme ve depolanma şeklini standartlaştırarak, her proje için "tekerleği yeniden icat etmeden" güvenilir, ölçeklenebilir ve sürdürülebilir veri işlem hatları oluşturabilir.

Kararlı temeller üzerine kurulmuştur

Bu veri alımı yapı taşları, .NET ekosistemindeki kanıtlanmış ve genişletilebilir bileşenlerin üzerine kuruludur ve mevcut yapay zeka iş akışlarıyla güvenilirlik, birlikte çalışabilirlik ve sorunsuz tümleştirme sağlar:

• Microsoft.ML.Tokenizers: Belirteç oluşturucular, belirteçleri temel alarak belgeleri öbeklemenin temelini sağlar. Bu, büyük dil modelleri için veri hazırlamak ve alma stratejilerini iyileştirmek için gerekli olan içeriğin kesin olarak bölünmesini sağlar.
• Microsoft.Extensions.AI: Bu kitaplık kümesi, büyük dil modellerini kullanarak zenginleştirme dönüşümlerini destekler. Özetleme, yaklaşım analizi, anahtar sözcük ayıklama ve ekleme oluşturma gibi özellikleri etkinleştirerek akıllı içgörülerle verilerinizi geliştirmenizi kolaylaştırır.
• Microsoft.Extensions.VectorData: Bu kitaplık kümesi, işlenen öbekleri Qdrant, Azure SQL, CosmosDB, MongoDB, ElasticSearch ve daha birçok farklı vektör deposunda depolamak için tutarlı bir arabirim sunar. Bu, veri işlem hatlarınızın üretim için hazır olmasını ve farklı depolama arka uçlarında ölçeklendirilmesini sağlar.

Tanıdık desenlere ve araçlara ek olarak, bu soyutlamalar zaten genişletilebilir bileşenlere dayalıdır. Eklenti özelliği ve birlikte çalışabilirlik çok önemlidir, bu nedenle .NET yapay zeka ekosisteminin geri kalanı büyüdükçe veri alımı bileşenlerinin özellikleri de artar. Bu yaklaşım, geliştiricilerin yeni sağlayıcıları, zenginleştirmeleri ve depolama seçeneklerini kolayca tümleştirmesini sağlayarak işlem hatlarını geleceğe hazır ve gelişen yapay zeka senaryolarına uyarlanabilir hale getirmelerini sağlar.

Ayrıca bakınız

• Veri alımı