Ingestion Jobs - Create

Referência

Serviço:: Azure AI Services

Versão da API:: 2024-05-01-preview

Cria um trabalho de ingestão com a ID do trabalho especificada.

PUT {endpoint}/openai/ingestion/jobs/{job-id}?api-version=2024-05-01-preview

Parâmetros de URI

Nome	Em	Obrigatório	Tipo	Description
endpoint	path	True	string url	Pontos de extremidade dos Serviços Cognitivos com suporte (protocolo e nome do host, por exemplo: https://aoairesource.openai.azure.com. Substitua "aoairesource" pelo nome da sua conta do Azure OpenAI).
job-id	path	True	string	A ID do trabalho que será criado.
api-version	query	True	string	A versão da API solicitada.

Cabeçalho da solicitação

Nome	Obrigatório	Tipo	Description
mgmt-user-token		string	O token usado para acessar o workspace (necessário apenas para trabalhos de computação do usuário).
aml-user-token		string	O token usado para acessar os recursos dentro do trabalho no workspace (necessário apenas para trabalhos de computação do usuário).

Corpo da solicitação

O corpo da solicitação pode ser um dos seguintes:

Nome	Description
IngestionJobSystemCompute
IngestionJobUserCompute

IngestionJobSystemCompute

Nome	Obrigatório	Tipo	Description
kind	True	string: SystemCompute	IngestionJobType O tipo de trabalho.
completionAction		IngestionJobCompletionAction	A ação de conclusão.
dataRefreshIntervalInHours		integer
datasource		SystemComputeDatasource: SystemComputeStorage SystemComputeUrl	SystemComputeDatasource
jobId		string
searchServiceConnection		BaseConnection: EndpointKeyConnection ConnectionStringConnection EndpointMIConnection WorkspaceConnection DeploymentConnection	BaseConnection Uma conexão com um recurso.

IngestionJobUserCompute

Nome	Obrigatório	Tipo	Description
kind	True	string: UserCompute	IngestionJobType O tipo de trabalho.
workspaceId	True	string
compute		JobCompute: ServerlessCompute CustomCompute	JobCompute As configurações de computação do trabalho.
dataRefreshIntervalInHours		integer
datasource		UserComputeDatasource: UserComputeDataset UserComputeUrl	UserComputeDatasource
jobId		string
target		TargetIndex: AzureAISearchIndex CosmosDBIndex PineconeIndex	TargetIndex Informações sobre o índice a ser criado.

Respostas

Nome	Tipo	Description
200 OK	IngestionJob: IngestionJobSystemCompute IngestionJobUserCompute	Êxito
Other Status Codes	ErrorResponse	Ocorreu um erro.

Segurança

api-key

Autenticação de chave de API

Tipo: apiKey
Em: header

OAuth2Auth

Autenticação OAuth2

Tipo: oauth2
Flow: implicit
URL de Autorização: https://login.microsoftonline.com/common/oauth2/v2.0/authorize

Escopos

Nome	Description
https://cognitiveservices.azure.com/.default

Exemplos

Create a system-compute ingestion job

Create a user-compute ingestion job

Create a system-compute ingestion job

Solicitação de exemplo

HTTP

PUT {endpoint}/openai/ingestion/jobs/ingestion-job?api-version=2024-05-01-preview

{
  "kind": "SystemCompute",
  "searchServiceConnection": {
    "kind": "EndpointWithManagedIdentity",
    "endpoint": "https://aykame-dev-search.search.windows.net"
  },
  "datasource": {
    "kind": "Storage",
    "connection": {
      "kind": "EndpointWithManagedIdentity",
      "endpoint": "https://mystorage.blob.core.windows.net/",
      "resourceId": "/subscriptions/1234567-abcd-1234-5678-1234abcd/resourceGroups/my-resource/providers/Microsoft.Storage/storageAccounts/mystorage"
    },
    "containerName": "container",
    "chunking": {
      "maxChunkSizeInTokens": 2048
    },
    "embeddings": [
      {
        "connection": {
          "kind": "RelativeConnection"
        },
        "deploymentName": "Ada"
      }
    ]
  },
  "dataRefreshIntervalInHours": 24,
  "completionAction": "keepAllAssets"
}

Resposta de exemplo

Código de status:: 200

operation-location: https://aoairesource.openai.azure.com/openai/ingestion/jobs/ingestion-job/runs/72a2792ef7d24ba7b82c7fe4a37e379f?api-version=2024-05-01-preview

{
  "kind": "SystemCompute",
  "jobId": "ingestion-job",
  "searchServiceConnection": {
    "kind": "EndpointWithManagedIdentity",
    "endpoint": "https://aykame-dev-search.search.windows.net"
  },
  "datasource": {
    "kind": "Storage",
    "connection": {
      "kind": "EndpointWithManagedIdentity",
      "endpoint": "https://mystorage.blob.core.windows.net/",
      "resourceId": "/subscriptions/1234567-abcd-1234-5678-1234abcd/resourceGroups/my-resource/providers/Microsoft.Storage/storageAccounts/mystorage"
    },
    "containerName": "container",
    "chunking": {
      "maxChunkSizeInTokens": 2048
    },
    "embeddings": [
      {
        "connection": {
          "kind": "RelativeConnection"
        },
        "deploymentName": "Ada"
      }
    ]
  },
  "dataRefreshIntervalInHours": 24,
  "completionAction": "keepAllAssets"
}

Create a user-compute ingestion job

Solicitação de exemplo

HTTP

PUT {endpoint}/openai/ingestion/jobs/ingestion-job?api-version=2024-05-01-preview

{
  "kind": "UserCompute",
  "workspaceId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev",
  "compute": {
    "kind": "ServerlessCompute"
  },
  "target": {
    "kind": "AzureAISearch",
    "connectionId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev/connections/search-connection"
  },
  "datasource": {
    "kind": "Dataset",
    "datasetId": "azureml://locations/centraluseuap/workspaces/83317fe6-efa6-4e4a-b020-d0edd11ec382/data/PlainText/versions/1",
    "datasetType": "uri_folder"
  }
}

Resposta de exemplo

Código de status:: 200

operation-location: https://aoairesource.openai.azure.com/openai/ingestion/jobs/ingestion-job/runs/72a2792ef7d24ba7b82c7fe4a37e379f?api-version=2024-05-01-preview

{
  "kind": "UserCompute",
  "jobId": "ingestion-job",
  "workspaceId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev",
  "compute": {
    "kind": "ServerlessCompute"
  },
  "target": {
    "kind": "AzureAISearch",
    "connectionId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev/connections/search-connection"
  },
  "datasource": {
    "kind": "Dataset",
    "datasetId": "azureml://locations/centraluseuap/workspaces/83317fe6-efa6-4e4a-b020-d0edd11ec382/data/PlainText/versions/1",
    "datasetType": "uri_folder"
  }
}

Definições

Nome	Description
AzureAISearchIndex	Índice do Azure AI Search.
ChunkingSettings	ChunkingSettings
ComputeType	O tipo de computação.
ConnectionStringConnection	Conexão de cadeia de conexão.
ConnectionType	O tipo de conexão.
CosmosDBIndex	Índice do CosmosDB.
CrawlingSettings	CrawlingSettings
CustomCompute	Computação personalizada.
DeploymentConnection	Conexão de implantação relativa.
EndpointKeyConnection	Conexão de chave de ponto de extremidade.
EndpointMIConnection	Conexão de Identidade Gerenciada do Ponto de Extremidade.
Error	Erro
ErrorCode	ErrorCode
ErrorResponse	ErrorResponse
GenericEmbeddingSettings	ConnectionEmbeddingSettings
IngestionJobCompletionAction	A ação de conclusão.
IngestionJobSystemCompute
IngestionJobType	IngestionJobType
IngestionJobUserCompute
InnerError	InnerError
InnerErrorCode	InnerErrorCode
PineconeIndex	Índice Pinecone.
ServerlessCompute	Computação sem servidor.
SystemComputeDatasourceType	O tipo de fonte de dados.
SystemComputeStorage	SystemComputeStorage
SystemComputeUrl	SystemComputeUrl
TargetType	O tipo de destino.
UserComputeDataset	UserComputeStorage
UserComputeDatasourceType	O tipo de fonte de dados.
UserComputeUrl	UserComputeUrl
WorkspaceConnection	Conexão de workspace AML.
WorkspaceConnectionEmbeddingSettings	WorkspaceConnectionEmbeddingSettings

AzureAISearchIndex

Índice do Azure AI Search.

Nome	Tipo	Description
connectionId	string	A ID da conexão que aponta para o Índice de Pesquisa de IA do Azure.
kind	string: AzureAISearch	O tipo de destino.

ChunkingSettings

Nome	Tipo	Description
maxChunkSizeInTokens	integer

ComputeType

O tipo de computação.

Nome	Tipo	Description
CustomCompute	string	Computação de usuário personalizada.
ServerlessCompute	string	Computação de usuário sem servidor.

ConnectionStringConnection

Conexão de cadeia de conexão.

Nome	Tipo	Description
connectionString	string	Cadeia de conexão
kind	string: ConnectionString	O tipo de conexão.

ConnectionType

O tipo de conexão.

Nome	Tipo	Description
ConnectionString	string	Cadeia de conexão.
EndpointWithKey	string	Ponto de extremidade e conexão de chave.
EndpointWithManagedIdentity	string	Ponto de extremidade e identidade gerenciada.
RelativeConnection	string	Implantação relativa
WorkspaceConnection	string	Conexão de workspace AML.

CosmosDBIndex

Índice do CosmosDB.

Nome	Tipo	Description
collectionName	string	O nome da coleção cosmos DB.
connectionId	string	A ID da conexão que aponta para o cosmos DB.
databaseName	string	O nome do banco de dados cosmos DB.
kind	string: CosmosDB	O tipo de destino.

CrawlingSettings

Nome	Tipo	Description
maxCrawlDepth	integer
maxCrawlTimeInMins	integer
maxDownloadTimeInMins	integer
maxFileSize	integer
maxFiles	integer
maxRedirects	integer

CustomCompute

Computação personalizada.

Nome	Tipo	Description
computeId	string	ID da computação personalizada
kind	string: CustomCompute	O tipo de computação.

DeploymentConnection

Conexão de implantação relativa.

Nome	Tipo	Description
kind	string: RelativeConnection	O tipo de conexão.

EndpointKeyConnection

Conexão de chave de ponto de extremidade.

Nome	Tipo	Description
endpoint	string	Extremidade
key	string	Chave
kind	string: EndpointWithKey	O tipo de conexão.

EndpointMIConnection

Conexão de Identidade Gerenciada do Ponto de Extremidade.

Nome	Tipo	Description
endpoint	string	Extremidade
kind	string: EndpointWithManagedIdentity	O tipo de conexão.
resourceId	string	ID do recurso

Error

Erro

Nome	Tipo	Description
code	ErrorCode	ErrorCode Códigos de erro conforme definido nas diretrizes rest da Microsoft (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).
details	Error[]	Os detalhes do erro, se disponíveis.
innererror	InnerError	InnerError Erro interno conforme definido nas diretrizes rest da Microsoft (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).
message	string	A mensagem desse erro.
target	string	O local em que o erro ocorreu se disponível.

ErrorCode

Nome	Tipo	Description
conflict	string	A operação solicitada entra em conflito com o estado do recurso atual.
contentFilter	string	A geração de imagens falhou como resultado do nosso sistema de segurança.
fileImportFailed	string	Falha na importação do arquivo.
forbidden	string	A operação é proibida para a chave de usuário/api atual.
internalFailure	string	Erro interno. Tente novamente.
invalidPayload	string	Os dados da solicitação são inválidos para esta operação.
itemDoesAlreadyExist	string	O item já existe.
jsonlValidationFailed	string	Falha na validação de dados jsonl.
notFound	string	O recurso não foi encontrado.
quotaExceeded	string	Cota excedida.
serviceUnavailable	string	No momento, o serviço não está disponível.
tooManyRequests	string	Muitas solicitações. Tente novamente mais tarde.
unauthorized	string	A chave de usuário/api atual não está autorizada para a operação.
unexpectedEntityState	string	A operação não pode ser executada no estado do recurso atual.

ErrorResponse

Nome	Tipo	Description
error	Error	Erro Conteúdo do erro, conforme definido nas diretrizes do Microsoft REST (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).

GenericEmbeddingSettings

ConnectionEmbeddingSettings

Nome	Tipo	Description
connection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection Uma conexão com um recurso.
deploymentName	string
modelName	string

IngestionJobCompletionAction

A ação de conclusão.

Nome	Tipo	Description
cleanUpTempAssets	string	Limpará ativos intermediários criados durante o processo de ingestão.
keepAllAssets	string	Não limpará nenhum dos ativos intermediários criados durante o processo de ingestão.

IngestionJobSystemCompute

Nome	Tipo	Description
completionAction	IngestionJobCompletionAction	A ação de conclusão.
dataRefreshIntervalInHours	integer
datasource	SystemComputeDatasource: SystemComputeStorage SystemComputeUrl	SystemComputeDatasource
jobId	string
kind	string: SystemCompute	IngestionJobType O tipo de trabalho.
searchServiceConnection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection Uma conexão com um recurso.

IngestionJobType

Nome	Tipo	Description
SystemCompute	string	Trabalhos executados em recursos de serviço.
UserCompute	string	Trabalhos executados no workspace de propriedade do usuário.

IngestionJobUserCompute

Nome	Tipo	Description
compute	JobCompute: CustomCompute ServerlessCompute	JobCompute As configurações de computação do trabalho.
dataRefreshIntervalInHours	integer
datasource	UserComputeDatasource: UserComputeDataset UserComputeUrl	UserComputeDatasource
jobId	string
kind	string: UserCompute	IngestionJobType O tipo de trabalho.
target	TargetIndex: AzureAISearchIndex CosmosDBIndex PineconeIndex	TargetIndex Informações sobre o índice a ser criado.
workspaceId	string

InnerError

Nome	Tipo	Description
code	InnerErrorCode	InnerErrorCode Códigos de erro internos, conforme definido nas diretrizes rest da Microsoft (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).
innererror	InnerError	InnerError Erro interno conforme definido nas diretrizes rest da Microsoft (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).

InnerErrorCode

Nome	Tipo	Description
invalidPayload	string	Os dados da solicitação são inválidos para esta operação.

PineconeIndex

Índice Pinecone.

Nome	Tipo	Description
connectionId	string	A ID da conexão apontando para o pinecone.
kind	string: Pinecone	O tipo de destino.

ServerlessCompute

Computação sem servidor.

Nome	Tipo	Description
instanceCount	integer	A contagem de instâncias em que executar o trabalho.
kind	string: ServerlessCompute	O tipo de computação.
sku	string	Nível de SKU

SystemComputeDatasourceType

O tipo de fonte de dados.

Nome	Tipo	Description
Storage	string	Conta de Armazenamento do Azure.
Urls	string	URLs.

SystemComputeStorage

Nome	Tipo	Description
chunking	ChunkingSettings	ChunkingSettings Configurações de agrupamento
connection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection Uma conexão com um recurso.
containerName	string	nome do contêiner
embeddings	GenericEmbeddingSettings[]	ConnectionEmbeddingSettings Configurações de inserção de conexão
kind	string: Storage	O tipo de fonte de dados.

SystemComputeUrl

Nome	Tipo	Description
chunking	ChunkingSettings	ChunkingSettings Configurações de agrupamento
connection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection Uma conexão com um recurso.
containerName	string	nome do contêiner
crawling	CrawlingSettings	CrawlingSettings Configurações de rastreamento
embeddings	GenericEmbeddingSettings[]	ConnectionEmbeddingSettings Configurações de inserção de conexão
kind	string: Urls	O tipo de fonte de dados.
urls	string[]

TargetType

O tipo de destino.

Nome	Tipo	Description
AzureAISearch	string	Índice do Azure AI Search.
CosmosDB	string	Índice do CosmosDB.
Pinecone	string	Índice Pinecone.

UserComputeDataset

UserComputeStorage

Nome	Tipo	Description
chunking	ChunkingSettings	ChunkingSettings Configurações de agrupamento
datasetId	string
datasetType	string
embeddings	WorkspaceConnectionEmbeddingSettings[]	WorkspaceConnectionEmbeddingSettings ID de conexão para o modelo de inserção
kind	string: Dataset	O tipo de fonte de dados.

UserComputeDatasourceType

O tipo de fonte de dados.

Nome	Tipo	Description
Dataset	string	Conjunto de dados do workspace.
Urls	string	URLs.

UserComputeUrl

Nome	Tipo	Description
chunking	ChunkingSettings	ChunkingSettings Configurações de agrupamento
crawling	CrawlingSettings	CrawlingSettings Configurações de rastreamento
embeddings	WorkspaceConnectionEmbeddingSettings[]	WorkspaceConnectionEmbeddingSettings ID de conexão para o modelo de inserção
kind	string: Urls	O tipo de fonte de dados.
urls	string[]

WorkspaceConnection

Conexão de workspace AML.

Nome	Tipo	Description
connectionId	string	ConnectionId
kind	string: WorkspaceConnection	O tipo de conexão.

WorkspaceConnectionEmbeddingSettings

Nome	Tipo	Description
connectionId	string
deploymentName	string
modelName	string

Compartilhar via

Ingestion Jobs - Create

Parâmetros de URI

Cabeçalho da solicitação

Corpo da solicitação

IngestionJobSystemCompute

IngestionJobUserCompute

Respostas

Segurança

api-key

OAuth2Auth

Escopos

Exemplos

Create a system-compute ingestion job

Solicitação de exemplo

Resposta de exemplo

Create a user-compute ingestion job

Solicitação de exemplo

Resposta de exemplo

Definições

AzureAISearchIndex

ChunkingSettings

ComputeType

ConnectionStringConnection

ConnectionType

CosmosDBIndex

CrawlingSettings

CustomCompute

DeploymentConnection

EndpointKeyConnection

EndpointMIConnection

Error

ErrorCode

ErrorResponse

GenericEmbeddingSettings

IngestionJobCompletionAction

IngestionJobSystemCompute

IngestionJobType

IngestionJobUserCompute

InnerError

InnerErrorCode

PineconeIndex

ServerlessCompute

SystemComputeDatasourceType

SystemComputeStorage

SystemComputeUrl

TargetType

UserComputeDataset

UserComputeDatasourceType

UserComputeUrl

WorkspaceConnection

WorkspaceConnectionEmbeddingSettings

Recursos adicionais