Generatieve AI- en grote taalmodellen (LLM's) in Azure Databricks

Dit artikel bevat een overzicht van generatieve AI op Databricks en bevat koppelingen naar voorbeeldnotebooks en demo's.

Wat is generatieve AI?

Generatieve AI is een soort kunstmatige intelligentie die is gericht op de mogelijkheid van computers om modellen te gebruiken om inhoud zoals afbeeldingen, tekst, code en synthetische gegevens te maken.

Generatieve AI-toepassingen zijn gebouwd op basis van grote taalmodellen (LLM's) en basismodellen.

• LLM's zijn deep learning-modellen die enorme gegevenssets gebruiken en trainen om te excelleren in taalverwerkingstaken. Ze maken nieuwe combinaties van tekst die natuurlijke taal nabootsen op basis van de trainingsgegevens.
• Basismodellen zijn grote ML-modellen die vooraf zijn getraind met de bedoeling dat ze worden afgestemd op specifiekere taalbegrip- en generatietaken. Deze modellen worden gebruikt om patronen in de invoergegevens te onderscheiden.

Nadat deze modellen hun leerprocessen hebben voltooid, genereren ze samen statistisch waarschijnlijke uitvoer wanneer daarom wordt gevraagd en kunnen ze worden gebruikt om verschillende taken uit te voeren, waaronder:

• Het genereren van afbeeldingen op basis van bestaande afbeeldingen of het gebruik van de stijl van één afbeelding om een nieuwe te wijzigen of te maken.
• Spraaktaken zoals transcriptie, vertaling, vraag/antwoord genereren en interpretatie van de intentie of betekenis van tekst.

Belangrijk

Hoewel veel LLM's of andere generatieve AI-modellen waarborgen hebben, kunnen ze nog steeds schadelijke of onnauwkeurige informatie genereren.

Generatieve AI heeft de volgende ontwerppatronen:

• Prompt Engineering: Gespecialiseerde prompts maken om LLM-gedrag te begeleiden
• Ophalen augmented generation (RAG): een LLM combineren met externe kennis ophalen
• Afstemmen: Een vooraf getrainde LLM aanpassen aan specifieke gegevenssets van domeinen
• Pretraining: Een LLM helemaal opnieuw trainen

Ontwikkel generatieve AI en LLM's in Azure Databricks

Azure Databricks verenigt de AI-levenscyclus van gegevensverzameling en -voorbereiding, tot modelontwikkeling en LLMOps, tot het leveren en bewaken van gegevens. De volgende functies zijn specifiek geoptimaliseerd om de ontwikkeling van generatieve AI-toepassingen te vergemakkelijken:

• Unity Catalog voor governance, detectie, versiebeheer en toegangsbeheer voor gegevens, functies, modellen en functies.
• MLflow voor het bijhouden van modelontwikkeling en LLM-evaluatie.
• Functie-engineering en -dienst.
• Databricks Model Serving voor het implementeren van LLM's. U kunt een model voor eindpunten configureren dat specifiek wordt gebruikt voor toegang tot basismodellen:
  • Geavanceerde open LLM's met behulp van Foundation Model-API's.
  • Externe modellen die buiten Databricks worden gehost. Zie Externe modellen in Databricks Model Serving.
• Databricks Vector Search biedt een doorzoekbare vectordatabase waarin insluitingsvectoren worden opgeslagen en die kunnen worden geconfigureerd om automatisch te synchroniseren met uw Knowledge Base.
• Lakehouse Monitoring voor gegevensbewaking en traceringsmodelvoorspellingskwaliteit en drift met behulp van automatische payloadlogboekregistratie met deductietabellen.
• AI Playground voor het testen van basismodellen vanuit uw Databricks-werkruimte. U kunt instellingen, zoals systeemprompt en deductieparameters, vragen, vergelijken en aanpassen.
• Foundation Model Training voor het aanpassen van een basismodel met behulp van uw eigen gegevens om de prestaties voor uw specifieke toepassing te optimaliseren.

Aanvullende bronnen

• Zie Rag (Retrieval Augmented Generation) in Azure Databricks.
  • Zie Een Q&A-chatbot bouwen met LLama2 en Databricks.
• Zie Hugging Face-modellen in Databricks voor meer informatie over het gebruik van Face-modellen in Hugging Face.
• De opslagplaats databricks-ml-examples in Github bevat voorbeeld-implementaties van geavanceerde (SOTA)-LLM's.