Share via

Batchdeductie met behulp van Foundation Model-API's

  • Artikel

Dit artikel bevat voorbeeldnotebooks die batchdeductie uitvoeren op een ingerichte doorvoereindpunt met behulp van Foundation Model-API's. U hebt beide notebooks nodig om batchdeductie uit te voeren met behulp van Foundation Model-API's.

In de voorbeelden ziet u batchdeductie met behulp van het DBRX-instructmodel voor chattaken.

Vereisten

  • Een werkruimte in een ondersteunde regio voor Foundation-model-API's
  • Databricks Runtime 14.0 ML of hoger
  • Het provisioned-throughput-batch-inference notebook en chat-batch-inference-api notebook moeten zich in dezelfde map in de werkruimte bevinden

Invoertabel, batchdeductie instellen

Het volgende notebook voert de volgende taken uit met behulp van Python:

  • Leest gegevens uit de invoertabel en invoerkolom
  • Hiermee worden de aanvragen samengesteld en verzonden naar een Eindpunt van een Foundation-model-API's
  • Invoerrijen behouden samen met de antwoordgegevens in de uitvoertabel

Batchdeductietaken chatten met behulp van Python-notebook

Notebook downloaden

Het volgende notebook voert dezelfde taken uit als het bovenstaande notebook, maar gebruikt Spark:

  • Leest gegevens uit de invoertabel en invoerkolom
  • Hiermee worden de aanvragen samengesteld en verzonden naar een Eindpunt van een Foundation-model-API's
  • Invoerrij behouden samen met de antwoordgegevens in de uitvoertabel

Batchdeductietaken voor chatmodellen met pySpark Pandas UDF-notebook

Notebook downloaden

Ingerichte doorvoereindpunt maken

Als u het Spark-notebook wilt gebruiken in plaats van het Python-notebook, moet u de opdracht bijwerken die het Python-notebook aanroept.

  • Hiermee maakt u een ingerichte doorvoer voor eindpunt
  • Het eindpunt bewaken totdat het de status Gereed heeft
  • Roept het chat-batch-inference-api notebook aan om batchdeductietaken gelijktijdig uit te voeren op het voorbereide eindpunt. Als u liever Spark gebruikt, wijzigt u deze verwijzing om het chat-batch-inference-udf notebook aan te roepen.
  • Hiermee verwijdert u het ingerichte doorvoereindpunt nadat batchdeductie is voltooid

Batchdeductie uitvoeren op een ingerichte doorvoereindpuntnotebook

Notebook downloaden

Aanvullende bronnen