Share via

Generatieve AI-basismodellen implementeren

  • Artikel

In dit artikel wordt ondersteuning beschreven voor het leveren en opvragen van generatieve AI- en LLM-basismodellen met behulp van Databricks Model Serving.

Belangrijk

Zie Aan de slag met het uitvoeren van query's op LLMs op Databricks in Databricks voor een aan de slag-zelfstudie over het uitvoeren van query's op een basismodel op Databricks.

Wat zijn basismodellen?

Basismodellen zijn grote ML-modellen die vooraf zijn getraind met de bedoeling dat ze worden afgestemd op specifiekere taalbegrip- en generatietaken. Deze modellen worden gebruikt om patronen in de invoergegevens te onderscheiden voor generatieve AI- en LLM-workloads.

Databricks Model Serving biedt ondersteuning voor het bedienen en opvragen van basismodellen met behulp van de volgende mogelijkheden:

  • Foundation Model-API's. Met deze functionaliteit zijn state-of-the-art open modellen beschikbaar voor uw model voor eindpunten. Deze modellen zijn gecureerde basismodelarchitecturen die geoptimaliseerde deductie ondersteunen. Basismodellen, zoals DBRX Instruct, Llama-2-70B-chat, BGE-Large en Mistral-7B zijn beschikbaar voor direct gebruik met prijzen voor betalen per token en workloads waarvoor prestatiegaranties en verfijnde modelvarianten nodig zijn, kunnen worden geïmplementeerd met ingerichte doorvoer.
  • Externe modellen. Dit zijn modellen die buiten Databricks worden gehost. Eindpunten die externe modellen dienen, kunnen centraal worden beheerd en klanten kunnen frequentielimieten en toegangsbeheer voor hen vaststellen. Voorbeelden hiervan zijn basismodellen zoals GpT-4 van OpenAI, Claude van Antropic en andere.

Vereisten

Als u basismodellen wilt openen en opvragen met Databricks Model Serving, bekijkt u de vereisten voor elke functionaliteit.

Een basismodel maken voor eindpunt

Zie Basismodel maken voor eindpunten

Een query uitvoeren op een basismodel

Aanvullende bronnen