Knihovna Microsoft.Extensions.DataIngestion

Balíček📦 Microsoft.Extensions.DataIngestion poskytuje základní stavební bloky .NET pro příjem dat. Umožňuje vývojářům číst, zpracovávat a připravovat dokumenty pro pracovní postupy umělé inteligence a strojového učení, zejména pro scénáře Retrieval-Augmented Generation (RAG).

Pomocí těchto stavebních bloků můžete vytvářet robustní, flexibilní a inteligentní kanály pro příjem dat přizpůsobené potřebám vaší aplikace:

• Sjednocená reprezentace dokumentů: Představuje jakýkoli typ souboru (například PDF, Obrázek nebo Microsoft Word) v konzistentním formátu, který dobře funguje s velkými jazykovými modely.
• Flexibilní ingestování dat: Čtení dokumentů z cloudových služeb i místních zdrojů pomocí několika vestavěných čtecích zařízení usnadňuje přenos dat z libovolného umístění.
• Integrovaná vylepšení umělé inteligence: Automaticky obohatit obsah souhrny, analýzou mínění, extrakcí klíčových slov a klasifikací a připravit data pro inteligentní pracovní postupy.
• Přizpůsobitelné strategie pro rozdělení bloků: Rozdělte dokumenty na bloky pomocí přístupů založených na tokenech, na oddílech nebo s ohledem na sémantiku, abyste mohli přizpůsobit potřebám načítání a analýzy.
• Úložiště připravené pro produkční prostředí: Ukládejte zpracovávané bloky dat v oblíbených vektorových databázích a úložištích dokumentů s podporou generování vkládání, aby byly vaše kanály připravené pro scénáře z reálného světa.
• Kompozice end-to-end kanálu: Zřetězte čtenáře, procesory, chunkery a zapisovače pomocí rozhraní IngestionPipeline<T> API, čímž se sníží opakovaný kód a usnadní se sestavování, přizpůsobení a rozšiřování kompletních pracovních postupů.
• Výkon a škálovatelnost: Tyto komponenty navržené pro škálovatelné zpracování dat dokážou efektivně zpracovávat velké objemy dat a díky tomu jsou vhodné pro podnikové aplikace.

Všechny tyto komponenty jsou otevřené a rozšiřitelné návrhem. Můžete přidat vlastní logiku a nové konektory a rozšířit systém tak, aby podporoval nově vznikající scénáře AI. Díky standardizaci způsobu znázornění, zpracování a ukládání dokumentů můžou vývojáři .NET vytvářet spolehlivé, škálovatelné a udržovatelné datové kanály bez nutnosti "znovu vytvořit kolo" pro každý projekt.

Postaveno na stabilních základech

Tyto stavební bloky pro příjem dat jsou postavené na osvědčených a rozšiřitelných komponentách v ekosystému .NET a zajišťují spolehlivost, interoperabilitu a bezproblémovou integraci se stávajícími pracovními postupy AI:

• Microsoft.ML.Tokenizers: Tokenizátory poskytují základ pro vytváření bloků dokumentů na základě tokenů. To umožňuje přesné rozdělení obsahu, což je nezbytné pro přípravu dat pro velké jazykové modely a optimalizaci strategií načítání.
• Microsoft.Extensions.AI: Tato sada knihoven využívá transformační obohacování pomocí velkých jazykových modelů. Umožňuje funkce, jako je sumarizace, analýza sentimentu, extrakce klíčových slov a tvorba vektorových reprezentací, což usnadňuje vylepšení dat pomocí inteligentních poznatků.
• Microsoft.Extensions.VectorData: Tato sada knihoven nabízí konzistentní rozhraní pro ukládání zpracovaných bloků dat v široké škále vektorových úložišť, včetně Qdrantu, Azure SQL, CosmosDB, MongoDB, ElasticSearch a mnoha dalších. Tím zajistíte, že datové kanály jsou připravené pro produkční prostředí a můžou se škálovat napříč různými back-endy úložiště.

Kromě známých vzorů a nástrojů tyto abstrakce vycházejí z již rozšiřitelných komponent. Možnosti modulů plug-in a interoperabilita jsou klíčové, takže s rostoucím ekosystémem .NET AI se také zvětšují možnosti komponent pro příjem dat. Díky tomuto přístupu můžou vývojáři snadno integrovat nové poskytovatele, rozšiřování a možnosti úložiště, aby jejich kanály byly v budoucnu připravené a přizpůsobitelné vývojovým scénářům AI.

Viz také

• Příjem dat