Ingestion Jobs - Create

Référence

Service:: Azure AI Services

API Version:: 2024-05-01-preview

Crée un travail d’ingestion avec l’ID de travail spécifié.

PUT {endpoint}/openai/ingestion/jobs/{job-id}?api-version=2024-05-01-preview

Paramètres URI

Nom	Dans	Obligatoire	Type	Description
endpoint	path	True	string url	Points de terminaison Cognitive Services pris en charge (protocole et nom d’hôte, par exemple : https://aoairesource.openai.azure.com. Remplacez « aoairesource » par le nom de votre compte Azure OpenAI).
job-id	path	True	string	ID du travail qui sera créé.
api-version	query	True	string	Version de l’API demandée.

En-tête de la demande

Nom	Obligatoire	Type	Description
api-key	True	string	Fournissez votre clé de compte Azure OpenAI Cognitive Services ici.
mgmt-user-token		string	Jeton utilisé pour accéder à l’espace de travail (nécessaire uniquement pour les travaux de calcul utilisateur).
aml-user-token		string	Jeton utilisé pour accéder aux ressources du travail dans l’espace de travail (nécessaire uniquement pour les travaux de calcul utilisateur).

Corps de la demande

Le corps de la requête peut être l’un des suivants :

Nom	Description
IngestionJobSystemCompute
IngestionJobUserCompute

IngestionJobSystemCompute

Nom	Obligatoire	Type	Description
kind	True	string: system	IngestionJobType Type de travail.
completionAction		IngestionJobCompletionAction	Action d’achèvement.
dataRefreshIntervalInHours		integer
datasource		SystemComputeDatasource: SystemComputeStorage SystemComputeUrl	SystemComputeDatasource
jobId		string
searchServiceConnection		BaseConnection: EndpointKeyConnection ConnectionStringConnection EndpointMIConnection WorkspaceConnection DeploymentConnection	BaseConnection Connexion à une ressource.

IngestionJobUserCompute

Nom	Obligatoire	Type	Description
kind	True	string: user	IngestionJobType Type de travail.
workspaceId	True	string
compute		JobCompute: ServerlessCompute CustomCompute	JobCompute Paramètres de calcul du travail.
dataRefreshIntervalInHours		integer
datasource		UserComputeDatasource: UserComputeDataset UserComputeUrl	UserComputeDatasource
jobId		string
target		TargetIndex: ACSIndex CosmosDBIndex PineconeIndex	TargetIndex Informations sur l’index à créer.

Réponses

Nom	Type	Description
200 OK	IngestionJob: IngestionJobSystemCompute IngestionJobUserCompute	Succès
Other Status Codes	ErrorResponse	Une erreur est survenue.

Sécurité

api-key

Fournissez votre clé de compte Azure OpenAI Cognitive Services ici.

Type: apiKey
In: header

Exemples

Create a system-compute ingestion job

Create a user-compute ingestion job

Create a system-compute ingestion job

Sample Request

HTTP

PUT {endpoint}/openai/ingestion/jobs/{job-id}?api-version=2024-05-01-preview

{
  "kind": "SystemCompute",
  "searchServiceConnection": {
    "kind": "EndpointWithManagedIdentity",
    "endpoint": "https://aykame-dev-search.search.windows.net"
  },
  "datasource": {
    "kind": "Storage",
    "storageAccountConnection": {
      "kind": "EndpointWithManagedIdentity",
      "endpoint": "https://mystorage.blob.core.windows.net/",
      "resourceId": "ResourceId=/subscriptions/1234567-abcd-1234-5678-1234abcd/resourceGroups/my-resource/providers/Microsoft.Storage/storageAccounts/mystorage"
    },
    "containerName": "container",
    "chunkingSettings": {
      "maxChunkSizeInTokens": 2048
    },
    "embeddingsSettings": [
      {
        "embeddingResourceConnection": {
          "kind": "RelativeConnection"
        },
        "modelProvider": "AOAI",
        "deploymentName": "Ada"
      }
    ]
  },
  "dataRefreshIntervalInHours": 24,
  "completionAction": 0
}

Sample Response

Status code:: 200

operation-location: https://aoairesource.openai.azure.com/openai/ingestion/jobs/ingestion-job/runs/72a2792ef7d24ba7b82c7fe4a37e379f?api-version=2024-05-01-preview

Response Body

{
  "kind": "SystemCompute",
  "jobId": "ingestion-job",
  "searchServiceConnection": {
    "kind": "EndpointWithManagedIdentity",
    "endpoint": "https://aykame-dev-search.search.windows.net"
  },
  "datasource": {
    "kind": "Storage",
    "storageAccountConnection": {
      "kind": "EndpointWithManagedIdentity",
      "endpoint": "https://mystorage.blob.core.windows.net/",
      "resourceId": "ResourceId=/subscriptions/1234567-abcd-1234-5678-1234abcd/resourceGroups/my-resource/providers/Microsoft.Storage/storageAccounts/mystorage"
    },
    "containerName": "container",
    "chunkingSettings": {
      "maxChunkSizeInTokens": 2048
    },
    "embeddingsSettings": [
      {
        "embeddingResourceConnection": {
          "kind": "RelativeConnection"
        },
        "modelProvider": "AOAI",
        "deploymentName": "Ada"
      }
    ]
  },
  "dataRefreshIntervalInHours": 24,
  "completionAction": 0
}

Create a user-compute ingestion job

Sample Request

HTTP

PUT {endpoint}/openai/ingestion/jobs/{job-id}?api-version=2024-05-01-preview

{
  "kind": "UserCompute",
  "workspaceId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev",
  "compute": {
    "kind": "ServerlessCompute"
  },
  "target": {
    "kind": "AzureAISearch",
    "connectionId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev/connections/search-connection"
  },
  "datasource": {
    "kind": "Dataset",
    "datasetId": "azureml://locations/centraluseuap/workspaces/83317fe6-efa6-4e4a-b020-d0edd11ec382/data/PlainText/versions/1",
    "datasetType": "uri_folder"
  }
}

Sample Response

Status code:: 200

operation-location: https://aoairesource.openai.azure.com/openai/ingestion/jobs/ingestion-job/runs/72a2792ef7d24ba7b82c7fe4a37e379f?api-version=2024-05-01-preview

Response Body

{
  "kind": "UserCompute",
  "jobId": "ingestion-job",
  "workspaceId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev",
  "compute": {
    "kind": "ServerlessCompute"
  },
  "target": {
    "kind": "AzureAISearch",
    "connectionId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev/connections/search-connection"
  },
  "datasource": {
    "kind": "Dataset",
    "datasetId": "azureml://locations/centraluseuap/workspaces/83317fe6-efa6-4e4a-b020-d0edd11ec382/data/PlainText/versions/1",
    "datasetType": "uri_folder"
  }
}

Définitions

Nom	Description
ACSIndex	Index ACS.
BaseConnection	BaseConnection
ChunkingSettings	ChunkingSettings
ComputeType	Type de calcul.
ConnectionStringConnection	Connexion de chaîne de connexion.
ConnectionType	Type de la connexion.
CosmosDBIndex	Index CosmosDB.
CrawlingSettings	CrawlingSettings
CustomCompute	Calcul personnalisé.
DatasourceType	Type de source de données.
DeploymentConnection	Connexion de déploiement relative.
EndpointKeyConnection	Connexion à la clé de point de terminaison.
EndpointMIConnection	Connexion d’identité managée de point de terminaison.
Error	Erreur
ErrorCode	ErrorCode
ErrorResponse	ErrorResponse
GenericEmbeddingSettings	ConnectionEmbeddingSettings
IngestionJobCompletionAction	Action d’achèvement.
IngestionJobSystemCompute
IngestionJobType	IngestionJobType
IngestionJobUserCompute
InnerError	InnerError
InnerErrorCode	InnerErrorCode
PineconeIndex	Index pinecone.
ServerlessCompute	Calcul serverless.
SystemComputeDatasource	SystemComputeDatasource
SystemComputeStorage	SystemComputeStorage
SystemComputeUrl	SystemComputeUrl
TargetType	Type cible.
UserComputeDataset	UserComputeStorage
UserComputeUrl	UserComputeUrl
WorkspaceConnection	Connexion de l’espace de travail AML.
WorkspaceConnectionEmbeddingSettings	WorkspaceConnectionEmbeddingSettings

ACSIndex

Index ACS.

Nom	Type	Description
connectionId	string	ID de la connexion pointant vers l’index ACS.
kind	string: acs	Type cible.

BaseConnection

Nom	Type	Description
kind	ConnectionType	Type de la connexion.

ChunkingSettings

Nom	Type	Description
maxChunkSizeInTokens	integer

ComputeType

Type de calcul.

Nom	Type	Description
custom	string	Calcul utilisateur personnalisé.
serverless	string	Calcul utilisateur serverless.

ConnectionStringConnection

Connexion de chaîne de connexion.

Nom	Type	Description
connectionString	string	Chaîne de connexion
kind	ConnectionType	Type de la connexion.

ConnectionType

Type de la connexion.

Nom	Type	Description
connectionString	string	Chaîne de connexion.
endpointKey	string	Point de terminaison et connexion de clé.
endpointMI	string	Point de terminaison et identité managée.
workspace	string	Connexion de l’espace de travail AML.

CosmosDBIndex

Index CosmosDB.

Nom	Type	Description
collectionName	string	Nom de la collection Cosmos DB.
connectionId	string	ID de la connexion pointant vers cosmos DB.
databaseName	string	Nom de la base de données Cosmos DB.
kind	string: cosmosdb	Type cible.

CrawlingSettings

Nom	Type	Description
maxCrawlDepth	integer
maxCrawlTimeInMins	integer
maxDownloadTimeInMins	integer
maxFileSize	integer
maxFiles	integer
maxRedirects	integer

CustomCompute

Calcul personnalisé.

Nom	Type	Description
computeId	string	ID du calcul personnalisé
kind	string: custom	Type de calcul.

DatasourceType

Type de source de données.

Nom	Type	Description
storage	string	Compte Azure Storage.
urls	string	Les URL.

DeploymentConnection

Connexion de déploiement relative.

Nom	Type	Description
kind	ConnectionType	Type de la connexion.

EndpointKeyConnection

Connexion à la clé de point de terminaison.

Nom	Type	Description
endpoint	string	Point de terminaison
key	string	Clé :
kind	ConnectionType	Type de la connexion.

EndpointMIConnection

Connexion d’identité managée de point de terminaison.

Nom	Type	Description
endpoint	string	Point de terminaison
kind	ConnectionType	Type de la connexion.

Error

Erreur

Nom	Type	Description
code	ErrorCode	ErrorCode Codes d’erreur tels que définis dans les instructions REST de Microsoft (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).
details	Error[]	Détails de l’erreur, le cas échéant.
innererror	InnerError	InnerError Erreur interne telle que définie dans les instructions REST de Microsoft (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).
message	string	Message de cette erreur.
target	string	Emplacement où l’erreur s’est produite s’il est disponible.

ErrorCode

Nom	Type	Description
conflict	string	L’opération demandée est en conflit avec l’état actuel de la ressource.
contentFilter	string	La génération d’images a échoué en raison de notre système de sécurité.
fileImportFailed	string	Échec de l’importation du fichier.
forbidden	string	L’opération est interdite pour la clé utilisateur/API actuelle.
internalFailure	string	Erreur interne. Veuillez réessayer.
invalidPayload	string	Les données de demande ne sont pas valides pour cette opération.
itemDoesAlreadyExist	string	L’élément existe déjà.
jsonlValidationFailed	string	Échec de la validation des données jsonl.
notFound	string	La ressource est introuvable.
quotaExceeded	string	Quota dépassé.
serviceUnavailable	string	Le service n’est actuellement pas disponible.
tooManyRequests	string	Trop grand nombre de requêtes. Veuillez réessayer ultérieurement.
unauthorized	string	La clé utilisateur/API actuelle n’est pas autorisée pour l’opération.
unexpectedEntityState	string	L’opération ne peut pas être exécutée dans l’état actuel de la ressource.

ErrorResponse

Nom	Type	Description
error	Error	Erreur Contenu d’erreur tel que défini dans les instructions REST de Microsoft (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).

GenericEmbeddingSettings

ConnectionEmbeddingSettings

Nom	Type	Description
connection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection Connexion à une ressource.
deploymentName	string
modelName	string

IngestionJobCompletionAction

Action d’achèvement.

Nom	Type	Description
cleanUpAssets	string	Va propre ressources intermédiaires créées pendant le processus d’ingestion.
keepAllAssets	string	Ne propre aucune des ressources intermédiaires créées pendant le processus d’ingestion.

IngestionJobSystemCompute

Nom	Type	Description
completionAction	IngestionJobCompletionAction	Action d’achèvement.
dataRefreshIntervalInHours	integer
datasource	SystemComputeDatasource: SystemComputeStorage SystemComputeUrl	SystemComputeDatasource
jobId	string
kind	string: system	IngestionJobType Type de travail.
searchServiceConnection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection Connexion à une ressource.

IngestionJobType

Nom	Type	Description
system	string	Travaux qui s’exécutent sur des ressources appartenant au service.
user	string	Travaux qui s’exécutent sur un espace de travail appartenant à l’utilisateur.

IngestionJobUserCompute

Nom	Type	Description
compute	JobCompute: CustomCompute ServerlessCompute	JobCompute Paramètres de calcul du travail.
dataRefreshIntervalInHours	integer
datasource	UserComputeDatasource: UserComputeDataset UserComputeUrl	UserComputeDatasource
jobId	string
kind	string: user	IngestionJobType Type de travail.
target	TargetIndex: ACSIndex CosmosDBIndex PineconeIndex	TargetIndex Informations sur l’index à créer.
workspaceId	string

InnerError

Nom	Type	Description
code	InnerErrorCode	InnerErrorCode Codes d’erreur internes tels que définis dans les instructions REST de Microsoft (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).
innererror	InnerError	InnerError Erreur interne telle que définie dans les instructions REST de Microsoft (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).

InnerErrorCode

Nom	Type	Description
invalidPayload	string	Les données de demande ne sont pas valides pour cette opération.

PineconeIndex

Index pinecone.

Nom	Type	Description
connectionId	string	ID de la connexion pointant vers la pomme de pin.
kind	string: pinecone	Type cible.

ServerlessCompute

Calcul serverless.

Nom	Type	Description
instanceCount	integer	Nombre d’instances sur laquelle exécuter le travail.
kind	string: serverless	Type de calcul.
sku	string	Niveau de référence SKU

SystemComputeDatasource

Nom	Type	Description
kind	DatasourceType	Type de source de données.

SystemComputeStorage

Nom	Type	Description
chunking	ChunkingSettings	ChunkingSettings Paramètres de segmentation
connection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection Connexion à une ressource.
containerName	string	nom du conteneur
embeddings	GenericEmbeddingSettings[]	ConnectionEmbeddingSettings Paramètres d’incorporation de connexion
kind	DatasourceType	Type de source de données.

SystemComputeUrl

Nom	Type	Description
chunking	ChunkingSettings	ChunkingSettings Paramètres de segmentation
connection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection Connexion à une ressource.
containerName	string	nom du conteneur
crawling	CrawlingSettings	CrawlingSettings Paramètres d’analyse
embeddings	GenericEmbeddingSettings[]	ConnectionEmbeddingSettings Paramètres d’incorporation de connexion
kind	DatasourceType	Type de source de données.
urls	string[]

TargetType

Type cible.

Nom	Type	Description
acs	string	Index Azure AI Search.
cosmosdb	string	Index CosmosDB.
pinecone	string	Index pinecone.

UserComputeDataset

UserComputeStorage

Nom	Type	Description
chunking	ChunkingSettings	ChunkingSettings Paramètres de segmentation
datasetId	string
datasetType	string
embeddings	WorkspaceConnectionEmbeddingSettings[]	WorkspaceConnectionEmbeddingSettings ID de connexion au modèle d’incorporation
kind	string: dataset	Type de source de données.

UserComputeUrl

Nom	Type	Description
chunking	ChunkingSettings	ChunkingSettings Paramètres de segmentation
crawling	CrawlingSettings	CrawlingSettings Paramètres d’analyse
embeddings	WorkspaceConnectionEmbeddingSettings[]	WorkspaceConnectionEmbeddingSettings ID de connexion au modèle d’incorporation
kind	string: urls	Type de source de données.
urls	string[]

WorkspaceConnection

Connexion de l’espace de travail AML.

Nom	Type	Description
connectionId	string	ConnectionId
kind	ConnectionType	Type de la connexion.

WorkspaceConnectionEmbeddingSettings

Nom	Type	Description
connectionId	string
deploymentName	string
modelName	string

Partager via

Ingestion Jobs - Create

Paramètres URI

En-tête de la demande

Corps de la demande

IngestionJobSystemCompute

IngestionJobUserCompute

Réponses

Sécurité

api-key

Exemples

Create a system-compute ingestion job

Sample Request

Sample Response

Create a user-compute ingestion job

Sample Request

Sample Response

Définitions

ACSIndex

BaseConnection

ChunkingSettings

ComputeType

ConnectionStringConnection

ConnectionType

CosmosDBIndex

CrawlingSettings

CustomCompute

DatasourceType

DeploymentConnection

EndpointKeyConnection

EndpointMIConnection

Error

ErrorCode

ErrorResponse

GenericEmbeddingSettings

IngestionJobCompletionAction

IngestionJobSystemCompute

IngestionJobType

IngestionJobUserCompute

InnerError

InnerErrorCode

PineconeIndex

ServerlessCompute

SystemComputeDatasource

SystemComputeStorage

SystemComputeUrl

TargetType

UserComputeDataset

UserComputeUrl

WorkspaceConnection

WorkspaceConnectionEmbeddingSettings

Ressources supplémentaires