Ingestion Jobs - Create

Referencia

Servicio:: Azure AI Services

Versión de la API:: 2024-05-01-preview

Crea un trabajo de ingesta con el identificador de trabajo especificado.

PUT {endpoint}/openai/ingestion/jobs/{job-id}?api-version=2024-05-01-preview

Parámetros de identificador URI

Nombre	En	Requerido	Tipo	Description
endpoint	path	True	string url	Puntos de conexión de Cognitive Services admitidos (protocolo y nombre de host, por ejemplo: https://aoairesource.openai.azure.com. Reemplace "aoairesource" por el nombre de la cuenta de Azure OpenAI).
job-id	path	True	string	Identificador del trabajo que se creará.
api-version	query	True	string	La versión de API solicitada.

Encabezado de la solicitud

Nombre	Requerido	Tipo	Description
api-key	True	string	Proporcione aquí la clave de cuenta de Azure OpenAI de Cognitive Services.
mgmt-user-token		string	Token que se usa para acceder al área de trabajo (solo es necesario para trabajos de proceso de usuario).
aml-user-token		string	Token que se usa para acceder a los recursos del trabajo en el área de trabajo (solo es necesario para los trabajos de proceso de usuario).

Cuerpo de la solicitud

El cuerpo de la solicitud puede ser uno de los siguientes:

Nombre	Description
IngestionJobSystemCompute
IngestionJobUserCompute

IngestionJobSystemCompute

Nombre	Requerido	Tipo	Description
kind	True	string: system	IngestionJobType El tipo de trabajo.
completionAction		IngestionJobCompletionAction	Acción de finalización.
dataRefreshIntervalInHours		integer
datasource		SystemComputeDatasource: SystemComputeStorage SystemComputeUrl	SystemComputeDatasource
jobId		string
searchServiceConnection		BaseConnection: EndpointKeyConnection ConnectionStringConnection EndpointMIConnection WorkspaceConnection DeploymentConnection	BaseConnection Una conexión a un recurso.

IngestionJobUserCompute

Nombre	Requerido	Tipo	Description
kind	True	string: user	IngestionJobType El tipo de trabajo.
workspaceId	True	string
compute		JobCompute: ServerlessCompute CustomCompute	JobCompute La configuración de proceso del trabajo.
dataRefreshIntervalInHours		integer
datasource		UserComputeDatasource: UserComputeDataset UserComputeUrl	UserComputeDatasource
jobId		string
target		TargetIndex: ACSIndex CosmosDBIndex PineconeIndex	TargetIndex Información sobre el índice que se va a crear.

Respuestas

Nombre	Tipo	Description
200 OK	IngestionJob: IngestionJobSystemCompute IngestionJobUserCompute	Correcto
Other Status Codes	ErrorResponse	Se produjo un error.

Seguridad

api-key

Proporcione aquí la clave de cuenta de Azure OpenAI de Cognitive Services.

Tipo: apiKey
En: header

Ejemplos

Create a system-compute ingestion job

Create a user-compute ingestion job

Create a system-compute ingestion job

Solicitud de ejemplo

HTTP

PUT {endpoint}/openai/ingestion/jobs/{job-id}?api-version=2024-05-01-preview

{
  "kind": "SystemCompute",
  "searchServiceConnection": {
    "kind": "EndpointWithManagedIdentity",
    "endpoint": "https://aykame-dev-search.search.windows.net"
  },
  "datasource": {
    "kind": "Storage",
    "storageAccountConnection": {
      "kind": "EndpointWithManagedIdentity",
      "endpoint": "https://mystorage.blob.core.windows.net/",
      "resourceId": "ResourceId=/subscriptions/1234567-abcd-1234-5678-1234abcd/resourceGroups/my-resource/providers/Microsoft.Storage/storageAccounts/mystorage"
    },
    "containerName": "container",
    "chunkingSettings": {
      "maxChunkSizeInTokens": 2048
    },
    "embeddingsSettings": [
      {
        "embeddingResourceConnection": {
          "kind": "RelativeConnection"
        },
        "modelProvider": "AOAI",
        "deploymentName": "Ada"
      }
    ]
  },
  "dataRefreshIntervalInHours": 24,
  "completionAction": 0
}

Respuesta de muestra

status code:: 200

operation-location: https://aoairesource.openai.azure.com/openai/ingestion/jobs/ingestion-job/runs/72a2792ef7d24ba7b82c7fe4a37e379f?api-version=2024-05-01-preview

{
  "kind": "SystemCompute",
  "jobId": "ingestion-job",
  "searchServiceConnection": {
    "kind": "EndpointWithManagedIdentity",
    "endpoint": "https://aykame-dev-search.search.windows.net"
  },
  "datasource": {
    "kind": "Storage",
    "storageAccountConnection": {
      "kind": "EndpointWithManagedIdentity",
      "endpoint": "https://mystorage.blob.core.windows.net/",
      "resourceId": "ResourceId=/subscriptions/1234567-abcd-1234-5678-1234abcd/resourceGroups/my-resource/providers/Microsoft.Storage/storageAccounts/mystorage"
    },
    "containerName": "container",
    "chunkingSettings": {
      "maxChunkSizeInTokens": 2048
    },
    "embeddingsSettings": [
      {
        "embeddingResourceConnection": {
          "kind": "RelativeConnection"
        },
        "modelProvider": "AOAI",
        "deploymentName": "Ada"
      }
    ]
  },
  "dataRefreshIntervalInHours": 24,
  "completionAction": 0
}

Create a user-compute ingestion job

Solicitud de ejemplo

HTTP

PUT {endpoint}/openai/ingestion/jobs/{job-id}?api-version=2024-05-01-preview

{
  "kind": "UserCompute",
  "workspaceId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev",
  "compute": {
    "kind": "ServerlessCompute"
  },
  "target": {
    "kind": "AzureAISearch",
    "connectionId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev/connections/search-connection"
  },
  "datasource": {
    "kind": "Dataset",
    "datasetId": "azureml://locations/centraluseuap/workspaces/83317fe6-efa6-4e4a-b020-d0edd11ec382/data/PlainText/versions/1",
    "datasetType": "uri_folder"
  }
}

Respuesta de muestra

status code:: 200

operation-location: https://aoairesource.openai.azure.com/openai/ingestion/jobs/ingestion-job/runs/72a2792ef7d24ba7b82c7fe4a37e379f?api-version=2024-05-01-preview

{
  "kind": "UserCompute",
  "jobId": "ingestion-job",
  "workspaceId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev",
  "compute": {
    "kind": "ServerlessCompute"
  },
  "target": {
    "kind": "AzureAISearch",
    "connectionId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev/connections/search-connection"
  },
  "datasource": {
    "kind": "Dataset",
    "datasetId": "azureml://locations/centraluseuap/workspaces/83317fe6-efa6-4e4a-b020-d0edd11ec382/data/PlainText/versions/1",
    "datasetType": "uri_folder"
  }
}

Definiciones

Nombre	Description
ACSIndex	Índice de ACS.
BaseConnection	BaseConnection
ChunkingSettings	ChunkingSettings
ComputeType	Tipo de proceso.
ConnectionStringConnection	Conexión de cadena de conexión.
ConnectionType	Tipo de conexión.
CosmosDBIndex	Índice de CosmosDB.
CrawlingSettings	CrawlingSettings
CustomCompute	Proceso personalizado.
DatasourceType	Tipo de origen de datos.
DeploymentConnection	Conexión de implementación relativa.
EndpointKeyConnection	Conexión de clave de punto de conexión.
EndpointMIConnection	Conexión de identidad administrada del punto de conexión.
Error	Error
ErrorCode	ErrorCode
ErrorResponse	ErrorResponse
GenericEmbeddingSettings	ConnectionEmbeddingSettings
IngestionJobCompletionAction	Acción de finalización.
IngestionJobSystemCompute
IngestionJobType	IngestionJobType
IngestionJobUserCompute
InnerError	InnerError
InnerErrorCode	InnerErrorCode
PineconeIndex	Índice pinecone.
ServerlessCompute	Proceso sin servidor.
SystemComputeDatasource	SystemComputeDatasource
SystemComputeStorage	SystemComputeStorage
SystemComputeUrl	SystemComputeUrl
TargetType	Tipo de destino.
UserComputeDataset	UserComputeStorage
UserComputeUrl	UserComputeUrl
WorkspaceConnection	Conexión del área de trabajo de AML.
WorkspaceConnectionEmbeddingSettings	WorkspaceConnectionEmbeddingSettings

ACSIndex

Índice de ACS.

Nombre	Tipo	Description
connectionId	string	Identificador de la conexión que apunta al índice de ACS.
kind	string: acs	Tipo de destino.

BaseConnection

Nombre	Tipo	Description
kind	ConnectionType	Tipo de conexión.

ChunkingSettings

Nombre	Tipo	Description
maxChunkSizeInTokens	integer

ComputeType

Tipo de proceso.

Nombre	Tipo	Description
custom	string	Proceso de usuario personalizado.
serverless	string	Proceso de usuario sin servidor.

ConnectionStringConnection

Conexión de cadena de conexión.

Nombre	Tipo	Description
connectionString	string	Cadena de conexión
kind	ConnectionType	Tipo de conexión.

ConnectionType

Tipo de conexión.

Nombre	Tipo	Description
connectionString	string	Cadena de conexión
endpointKey	string	Punto de conexión y conexión de clave.
endpointMI	string	Punto de conexión e identidad administrada.
workspace	string	Conexión del área de trabajo de AML.

CosmosDBIndex

Índice de CosmosDB.

Nombre	Tipo	Description
collectionName	string	Nombre de la colección de cosmos DB.
connectionId	string	Identificador de la conexión que apunta a cosmos DB.
databaseName	string	Nombre de la base de datos de Cosmos DB.
kind	string: cosmosdb	Tipo de destino.

CrawlingSettings

Nombre	Tipo	Description
maxCrawlDepth	integer
maxCrawlTimeInMins	integer
maxDownloadTimeInMins	integer
maxFileSize	integer
maxFiles	integer
maxRedirects	integer

CustomCompute

Proceso personalizado.

Nombre	Tipo	Description
computeId	string	Identificador del proceso personalizado
kind	string: custom	Tipo de proceso.

DatasourceType

Tipo de origen de datos.

Nombre	Tipo	Description
storage	string	Cuenta de Azure Storage.
urls	string	Direcciones URL.

DeploymentConnection

Conexión de implementación relativa.

Nombre	Tipo	Description
kind	ConnectionType	Tipo de conexión.

EndpointKeyConnection

Conexión de clave de punto de conexión.

Nombre	Tipo	Description
endpoint	string	Punto de conexión
key	string	Clave
kind	ConnectionType	Tipo de conexión.

EndpointMIConnection

Conexión de identidad administrada del punto de conexión.

Nombre	Tipo	Description
endpoint	string	Punto de conexión
kind	ConnectionType	Tipo de conexión.

Error

Nombre	Tipo	Description
code	ErrorCode	ErrorCode Códigos de error tal y como se definen en las directrices de REST de Microsoft (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).
details	Error[]	Detalles del error si está disponible.
innererror	InnerError	InnerError Error interno tal como se define en las directrices rest de Microsoft (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).
message	string	Mensaje de este error.
target	string	Ubicación donde se produjo el error si está disponible.

ErrorCode

Nombre	Tipo	Description
conflict	string	La operación solicitada entra en conflicto con el estado de recurso actual.
contentFilter	string	Se produjo un error en la generación de imágenes como resultado de nuestro sistema de seguridad.
fileImportFailed	string	Error en la importación del archivo.
forbidden	string	La operación está prohibida para la clave de usuario o API actual.
internalFailure	string	Error interno. Inténtelo de nuevo.
invalidPayload	string	Los datos de solicitud no son válidos para esta operación.
itemDoesAlreadyExist	string	El elemento ya existe.
jsonlValidationFailed	string	Error en la validación de datos jsonl.
notFound	string	No se encuentra el recurso.
quotaExceeded	string	Cuota superada.
serviceUnavailable	string	El servicio no está disponible actualmente.
tooManyRequests	string	Demasiadas solicitudes. Inténtelo de nuevo más tarde.
unauthorized	string	La clave de usuario o API actual no está autorizada para la operación.
unexpectedEntityState	string	La operación no se puede ejecutar en el estado del recurso actual.

ErrorResponse

Nombre	Tipo	Description
error	Error	Error Contenido de error tal y como se define en las directrices de REST de Microsoft (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).

GenericEmbeddingSettings

ConnectionEmbeddingSettings

Nombre	Tipo	Description
connection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection Una conexión a un recurso.
deploymentName	string
modelName	string

IngestionJobCompletionAction

Acción de finalización.

Nombre	Tipo	Description
cleanUpAssets	string	Limpiará los recursos intermedios creados durante el proceso de ingesta.
keepAllAssets	string	No limpiará ninguno de los recursos intermedios creados durante el proceso de ingesta.

IngestionJobSystemCompute

Nombre	Tipo	Description
completionAction	IngestionJobCompletionAction	Acción de finalización.
dataRefreshIntervalInHours	integer
datasource	SystemComputeDatasource: SystemComputeStorage SystemComputeUrl	SystemComputeDatasource
jobId	string
kind	string: system	IngestionJobType El tipo de trabajo.
searchServiceConnection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection Una conexión a un recurso.

IngestionJobType

Nombre	Tipo	Description
system	string	Trabajos que se ejecutan en recursos propiedad del servicio.
user	string	Trabajos que se ejecutan en el área de trabajo propiedad del usuario.

IngestionJobUserCompute

Nombre	Tipo	Description
compute	JobCompute: CustomCompute ServerlessCompute	JobCompute La configuración de proceso del trabajo.
dataRefreshIntervalInHours	integer
datasource	UserComputeDatasource: UserComputeDataset UserComputeUrl	UserComputeDatasource
jobId	string
kind	string: user	IngestionJobType El tipo de trabajo.
target	TargetIndex: ACSIndex CosmosDBIndex PineconeIndex	TargetIndex Información sobre el índice que se va a crear.
workspaceId	string

InnerError

Nombre	Tipo	Description
code	InnerErrorCode	InnerErrorCode Códigos de error internos, tal como se define en las directrices de REST de Microsoft (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).
innererror	InnerError	InnerError Error interno tal como se define en las directrices rest de Microsoft (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).

InnerErrorCode

Nombre	Tipo	Description
invalidPayload	string	Los datos de solicitud no son válidos para esta operación.

PineconeIndex

Índice pinecone.

Nombre	Tipo	Description
connectionId	string	Identificador de la conexión que apunta al pinecono.
kind	string: pinecone	Tipo de destino.

ServerlessCompute

Proceso sin servidor.

Nombre	Tipo	Description
instanceCount	integer	Recuento de instancias en las que se va a ejecutar el trabajo.
kind	string: serverless	Tipo de proceso.
sku	string	Nivel de SKU

SystemComputeDatasource

Nombre	Tipo	Description
kind	DatasourceType	Tipo de origen de datos.

SystemComputeStorage

Nombre	Tipo	Description
chunking	ChunkingSettings	ChunkingSettings Configuración de fragmentación
connection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection Una conexión a un recurso.
containerName	string	container name
embeddings	GenericEmbeddingSettings[]	ConnectionEmbeddingSettings Configuración de inserción de conexiones
kind	DatasourceType	Tipo de origen de datos.

SystemComputeUrl

Nombre	Tipo	Description
chunking	ChunkingSettings	ChunkingSettings Configuración de fragmentación
connection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection Una conexión a un recurso.
containerName	string	container name
crawling	CrawlingSettings	CrawlingSettings Configuración de rastreo
embeddings	GenericEmbeddingSettings[]	ConnectionEmbeddingSettings Configuración de inserción de conexiones
kind	DatasourceType	Tipo de origen de datos.
urls	string[]

TargetType

Tipo de destino.

Nombre	Tipo	Description
acs	string	Índice de Azure AI Search.
cosmosdb	string	Índice de CosmosDB.
pinecone	string	Índice pinecone.

UserComputeDataset

UserComputeStorage

Nombre	Tipo	Description
chunking	ChunkingSettings	ChunkingSettings Configuración de fragmentación
datasetId	string
datasetType	string
embeddings	WorkspaceConnectionEmbeddingSettings[]	WorkspaceConnectionEmbeddingSettings Identificador de conexión al modelo de inserción
kind	string: dataset	Tipo de origen de datos.

UserComputeUrl

Nombre	Tipo	Description
chunking	ChunkingSettings	ChunkingSettings Configuración de fragmentación
crawling	CrawlingSettings	CrawlingSettings Configuración de rastreo
embeddings	WorkspaceConnectionEmbeddingSettings[]	WorkspaceConnectionEmbeddingSettings Identificador de conexión al modelo de inserción
kind	string: urls	Tipo de origen de datos.
urls	string[]

WorkspaceConnection

Conexión del área de trabajo de AML.

Nombre	Tipo	Description
connectionId	string	ConnectionId
kind	ConnectionType	Tipo de conexión.

WorkspaceConnectionEmbeddingSettings

Nombre	Tipo	Description
connectionId	string
deploymentName	string
modelName	string

Compartir a través de

Ingestion Jobs - Create

Parámetros de identificador URI

Encabezado de la solicitud

Cuerpo de la solicitud

IngestionJobSystemCompute

IngestionJobUserCompute

Respuestas

Seguridad

api-key

Ejemplos

Create a system-compute ingestion job

Solicitud de ejemplo

Respuesta de muestra

Create a user-compute ingestion job

Solicitud de ejemplo

Respuesta de muestra

Definiciones

ACSIndex

BaseConnection

ChunkingSettings

ComputeType

ConnectionStringConnection

ConnectionType

CosmosDBIndex

CrawlingSettings

CustomCompute

DatasourceType

DeploymentConnection

EndpointKeyConnection

EndpointMIConnection

Error

ErrorCode

ErrorResponse

GenericEmbeddingSettings

IngestionJobCompletionAction

IngestionJobSystemCompute

IngestionJobType

IngestionJobUserCompute

InnerError

InnerErrorCode

PineconeIndex

ServerlessCompute

SystemComputeDatasource

SystemComputeStorage

SystemComputeUrl

TargetType

UserComputeDataset

UserComputeUrl

WorkspaceConnection

WorkspaceConnectionEmbeddingSettings

Recursos adicionales