Ingestion Jobs - Create

Referencia

Servicio:: Azure AI Services

Versión de la API:: 2024-07-01-preview

Crea un trabajo de ingesta con el identificador de trabajo especificado.

PUT {endpoint}/openai/ingestion/jobs/{job-id}?api-version=2024-07-01-preview

Parámetros de identificador URI

Nombre	En	Requerido	Tipo	Description
endpoint	path	True	string url	Puntos de conexión de Cognitive Services admitidos (protocolo y nombre de host, por ejemplo: https://aoairesource.openai.azure.com. Reemplace "aoairesource" por el nombre de la cuenta de Azure OpenAI).
job-id	path	True	string	Identificador del trabajo que se creará.
api-version	query	True	string	La versión de API solicitada.

Encabezado de la solicitud

Nombre	Requerido	Tipo	Description
mgmt-user-token		string	El token usado para acceder al área de trabajo (solo es necesario para los trabajos de proceso de usuario).
aml-user-token		string	Token que se usa para acceder a los recursos del trabajo del área de trabajo (solo es necesario para los trabajos de proceso de usuario).

Cuerpo de la solicitud

El cuerpo de la solicitud puede ser uno de los siguientes:

Nombre	Description
IngestionJobSystemCompute
IngestionJobUserCompute

IngestionJobSystemCompute

Nombre	Requerido	Tipo	Description
kind	True	string: SystemCompute	IngestionJobType Tipo de trabajo.
completionAction		IngestionJobCompletionAction	Acción de finalización.
dataRefreshIntervalInHours		integer
datasource		SystemComputeDatasource: SystemComputeStorage SystemComputeUrl	SystemComputeDatasource
jobId		string
searchServiceConnection		BaseConnection: EndpointKeyConnection ConnectionStringConnection EndpointMIConnection WorkspaceConnection DeploymentConnection	BaseConnection Una conexión a un recurso.

IngestionJobUserCompute

Nombre	Requerido	Tipo	Description
kind	True	string: UserCompute	IngestionJobType Tipo de trabajo.
workspaceId	True	string
compute		JobCompute: ServerlessCompute CustomCompute	JobCompute Configuración de proceso del trabajo.
dataRefreshIntervalInHours		integer
datasource		UserComputeDatasource: UserComputeDataset UserComputeUrl	UserComputeDatasource
jobId		string
target		TargetIndex: AzureAISearchIndex CosmosDBIndex PineconeIndex	TargetIndex Información sobre el índice que se va a crear.

Respuestas

Nombre	Tipo	Description
200 OK	IngestionJob: IngestionJobSystemCompute IngestionJobUserCompute	Éxito
Other Status Codes	ErrorResponse	Error.

Seguridad

api-key

Autenticación de clave de API

Tipo: apiKey
En: header

OAuth2Auth

Autenticación de OAuth2

Tipo: oauth2
Flujo: implicit
Dirección URL de autorización: https://login.microsoftonline.com/common/oauth2/v2.0/authorize

Ámbitos

Nombre	Description
https://cognitiveservices.azure.com/.default

Ejemplos

Create a system-compute ingestion job

Create a user-compute ingestion job

Create a system-compute ingestion job

Solicitud de ejemplo

HTTP

PUT {endpoint}/openai/ingestion/jobs/ingestion-job?api-version=2024-07-01-preview

{
  "kind": "SystemCompute",
  "searchServiceConnection": {
    "kind": "EndpointWithManagedIdentity",
    "endpoint": "https://aykame-dev-search.search.windows.net"
  },
  "datasource": {
    "kind": "Storage",
    "connection": {
      "kind": "EndpointWithManagedIdentity",
      "endpoint": "https://mystorage.blob.core.windows.net/",
      "resourceId": "/subscriptions/1234567-abcd-1234-5678-1234abcd/resourceGroups/my-resource/providers/Microsoft.Storage/storageAccounts/mystorage"
    },
    "containerName": "container",
    "chunking": {
      "maxChunkSizeInTokens": 2048
    },
    "embeddings": [
      {
        "connection": {
          "kind": "RelativeConnection"
        },
        "deploymentName": "Ada"
      }
    ]
  },
  "dataRefreshIntervalInHours": 24,
  "completionAction": "keepAllAssets"
}

Respuesta de muestra

status code:: 200

operation-location: https://aoairesource.openai.azure.com/openai/ingestion/jobs/ingestion-job/runs/72a2792ef7d24ba7b82c7fe4a37e379f?api-version=2024-07-01-preview

{
  "kind": "SystemCompute",
  "jobId": "ingestion-job",
  "searchServiceConnection": {
    "kind": "EndpointWithManagedIdentity",
    "endpoint": "https://aykame-dev-search.search.windows.net"
  },
  "datasource": {
    "kind": "Storage",
    "connection": {
      "kind": "EndpointWithManagedIdentity",
      "endpoint": "https://mystorage.blob.core.windows.net/",
      "resourceId": "/subscriptions/1234567-abcd-1234-5678-1234abcd/resourceGroups/my-resource/providers/Microsoft.Storage/storageAccounts/mystorage"
    },
    "containerName": "container",
    "chunking": {
      "maxChunkSizeInTokens": 2048
    },
    "embeddings": [
      {
        "connection": {
          "kind": "RelativeConnection"
        },
        "deploymentName": "Ada"
      }
    ]
  },
  "dataRefreshIntervalInHours": 24,
  "completionAction": "keepAllAssets"
}

Create a user-compute ingestion job

Solicitud de ejemplo

HTTP

PUT {endpoint}/openai/ingestion/jobs/ingestion-job?api-version=2024-07-01-preview

{
  "kind": "UserCompute",
  "workspaceId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev",
  "compute": {
    "kind": "ServerlessCompute"
  },
  "target": {
    "kind": "AzureAISearch",
    "connectionId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev/connections/search-connection"
  },
  "datasource": {
    "kind": "Dataset",
    "datasetId": "azureml://locations/centraluseuap/workspaces/83317fe6-efa6-4e4a-b020-d0edd11ec382/data/PlainText/versions/1",
    "datasetType": "uri_folder"
  }
}

Respuesta de muestra

status code:: 200

operation-location: https://aoairesource.openai.azure.com/openai/ingestion/jobs/ingestion-job/runs/72a2792ef7d24ba7b82c7fe4a37e379f?api-version=2024-07-01-preview

{
  "kind": "UserCompute",
  "jobId": "ingestion-job",
  "workspaceId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev",
  "compute": {
    "kind": "ServerlessCompute"
  },
  "target": {
    "kind": "AzureAISearch",
    "connectionId": "/subscriptions/f375b912-331c-4fc5-8e9f-2d7205e3e036/resourceGroups/adrama-copilot-demo/providers/Microsoft.MachineLearningServices/workspaces/adrama-rag-dev/connections/search-connection"
  },
  "datasource": {
    "kind": "Dataset",
    "datasetId": "azureml://locations/centraluseuap/workspaces/83317fe6-efa6-4e4a-b020-d0edd11ec382/data/PlainText/versions/1",
    "datasetType": "uri_folder"
  }
}

Definiciones

Nombre	Description
AzureAISearchIndex	Índice de Azure AI Search.
ChunkingSettings	ChunkingSettings
ComputeType	Tipo de proceso.
ConnectionStringConnection	Conexión de cadena de conexión.
ConnectionType	Tipo de conexión.
CosmosDBIndex	Índice de CosmosDB.
CrawlingSettings	CrawlingSettings
CustomCompute	Proceso personalizado.
DeploymentConnection	Conexión de implementación relativa.
EndpointKeyConnection	Conexión de clave de punto de conexión.
EndpointMIConnection	Conexión de identidad administrada del punto de conexión.
Error	Error
ErrorCode	ErrorCode
ErrorResponse	ErrorResponse
GenericEmbeddingSettings	ConnectionEmbeddingSettings
IngestionJobCompletionAction	Acción de finalización.
IngestionJobSystemCompute
IngestionJobType	IngestionJobType
IngestionJobUserCompute
InnerError	InnerError
InnerErrorCode	InnerErrorCode
PineconeIndex	Índice pinecone.
ServerlessCompute	Proceso sin servidor.
SystemComputeDatasourceType	Tipo de origen de datos.
SystemComputeStorage	SystemComputeStorage
SystemComputeUrl	SystemComputeUrl
TargetType	Tipo de destino.
UserComputeDataset	UserComputeStorage
UserComputeDatasourceType	Tipo de origen de datos.
UserComputeUrl	UserComputeUrl
WorkspaceConnection	Conexión del área de trabajo de AML.
WorkspaceConnectionEmbeddingSettings	WorkspaceConnectionEmbeddingSettings

AzureAISearchIndex

Índice de Azure AI Search.

Nombre	Tipo	Description
connectionId	string	Identificador de la conexión que apunta al índice de Azure AI Search.
kind	string: AzureAISearch	Tipo de destino.

ChunkingSettings

Nombre	Tipo	Description
maxChunkSizeInTokens	integer

ComputeType

Tipo de proceso.

Nombre	Tipo	Description
CustomCompute	string	Proceso de usuario personalizado.
ServerlessCompute	string	Proceso de usuario sin servidor.

ConnectionStringConnection

Conexión de cadena de conexión.

Nombre	Tipo	Description
connectionString	string	Cadena de conexión
kind	string: ConnectionString	Tipo de conexión.

ConnectionType

Tipo de conexión.

Nombre	Tipo	Description
ConnectionString	string	Cadena de conexión.
EndpointWithKey	string	Punto de conexión y conexión de clave.
EndpointWithManagedIdentity	string	Punto de conexión e identidad administrada.
RelativeConnection	string	Implementación relativa
WorkspaceConnection	string	Conexión del área de trabajo de AML.

CosmosDBIndex

Índice de CosmosDB.

Nombre	Tipo	Description
collectionName	string	Nombre de la colección de cosmos DB.
connectionId	string	Identificador de la conexión que apunta a cosmos DB.
databaseName	string	Nombre de la base de datos de Cosmos DB.
kind	string: CosmosDB	Tipo de destino.

CrawlingSettings

Nombre	Tipo	Description
maxCrawlDepth	integer
maxCrawlTimeInMins	integer
maxDownloadTimeInMins	integer
maxFileSize	integer
maxFiles	integer
maxRedirects	integer

CustomCompute

Proceso personalizado.

Nombre	Tipo	Description
computeId	string	Identificador del proceso personalizado
kind	string: CustomCompute	Tipo de proceso.

DeploymentConnection

Conexión de implementación relativa.

Nombre	Tipo	Description
kind	string: RelativeConnection	Tipo de conexión.

EndpointKeyConnection

Conexión de clave de punto de conexión.

Nombre	Tipo	Description
endpoint	string	Extremo
key	string	Llave
kind	string: EndpointWithKey	Tipo de conexión.

EndpointMIConnection

Conexión de identidad administrada del punto de conexión.

Nombre	Tipo	Description
endpoint	string	Extremo
kind	string: EndpointWithManagedIdentity	Tipo de conexión.
resourceId	string	Identificador de recurso

Error

Nombre	Tipo	Description
code	ErrorCode	ErrorCode Códigos de error tal como se definen en las directrices de REST de Microsoft (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).
details	Error[]	Los detalles del error si están disponibles.
innererror	InnerError	InnerError Error interno tal como se define en las directrices rest de Microsoft (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).
message	string	Mensaje de este error.
target	string	Ubicación donde se produjo el error si está disponible.

ErrorCode

Nombre	Tipo	Description
conflict	string	La operación solicitada entra en conflicto con el estado de recurso actual.
contentFilter	string	Se produjo un error en la generación de imágenes como resultado de nuestro sistema de seguridad.
fileImportFailed	string	Error en la importación del archivo.
forbidden	string	La operación está prohibida para la clave de usuario o API actual.
internalFailure	string	Error interno. Vuelva a intentarlo.
invalidPayload	string	Los datos de solicitud no son válidos para esta operación.
itemDoesAlreadyExist	string	El elemento ya existe.
jsonlValidationFailed	string	Error en la validación de datos jsonl.
notFound	string	No se encuentra el recurso.
quotaExceeded	string	Se superó la cuota.
serviceUnavailable	string	El servicio no está disponible actualmente.
tooManyRequests	string	Demasiadas solicitudes. Vuelva a intentarlo más tarde.
unauthorized	string	La clave de usuario o API actual no está autorizada para la operación.
unexpectedEntityState	string	La operación no se puede ejecutar en el estado del recurso actual.

ErrorResponse

Nombre	Tipo	Description
error	Error	Error Contenido de error tal como se define en las directrices rest de Microsoft (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).

GenericEmbeddingSettings

ConnectionEmbeddingSettings

Nombre	Tipo	Description
connection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection Una conexión a un recurso.
deploymentName	string
modelName	string

IngestionJobCompletionAction

Acción de finalización.

Nombre	Tipo	Description
cleanUpTempAssets	string	Limpiará los recursos intermedios creados durante el proceso de ingesta.
keepAllAssets	string	No limpiará ninguno de los recursos intermedios creados durante el proceso de ingesta.

IngestionJobSystemCompute

Nombre	Tipo	Description
completionAction	IngestionJobCompletionAction	Acción de finalización.
dataRefreshIntervalInHours	integer
datasource	SystemComputeDatasource: SystemComputeStorage SystemComputeUrl	SystemComputeDatasource
jobId	string
kind	string: SystemCompute	IngestionJobType Tipo de trabajo.
searchServiceConnection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection Una conexión a un recurso.

IngestionJobType

Nombre	Tipo	Description
SystemCompute	string	Trabajos que se ejecutan en recursos de propiedad del servicio.
UserCompute	string	Trabajos que se ejecutan en el área de trabajo propiedad del usuario.

IngestionJobUserCompute

Nombre	Tipo	Description
compute	JobCompute: CustomCompute ServerlessCompute	JobCompute Configuración de proceso del trabajo.
dataRefreshIntervalInHours	integer
datasource	UserComputeDatasource: UserComputeDataset UserComputeUrl	UserComputeDatasource
jobId	string
kind	string: UserCompute	IngestionJobType Tipo de trabajo.
target	TargetIndex: AzureAISearchIndex CosmosDBIndex PineconeIndex	TargetIndex Información sobre el índice que se va a crear.
workspaceId	string

InnerError

Nombre	Tipo	Description
code	InnerErrorCode	InnerErrorCode Códigos de error internos tal como se definen en las directrices rest de Microsoft (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).
innererror	InnerError	InnerError Error interno tal como se define en las directrices rest de Microsoft (https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses).

InnerErrorCode

Nombre	Tipo	Description
invalidPayload	string	Los datos de solicitud no son válidos para esta operación.

PineconeIndex

Índice pinecone.

Nombre	Tipo	Description
connectionId	string	Identificador de la conexión que apunta al pinecone.
kind	string: Pinecone	Tipo de destino.

ServerlessCompute

Proceso sin servidor.

Nombre	Tipo	Description
instanceCount	integer	Recuento de instancias en las que ejecutar el trabajo.
kind	string: ServerlessCompute	Tipo de proceso.
sku	string	Nivel de SKU

SystemComputeDatasourceType

Tipo de origen de datos.

Nombre	Tipo	Description
Storage	string	Cuenta de Azure Storage.
Urls	string	Direcciones URL.

SystemComputeStorage

Nombre	Tipo	Description
chunking	ChunkingSettings	ChunkingSettings Configuración de fragmentación
connection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection Una conexión a un recurso.
containerName	string	nombre del contenedor
embeddings	GenericEmbeddingSettings[]	ConnectionEmbeddingSettings Configuración de inserción de conexiones
kind	string: Storage	Tipo de origen de datos.

SystemComputeUrl

Nombre	Tipo	Description
chunking	ChunkingSettings	ChunkingSettings Configuración de fragmentación
connection	BaseConnection: ConnectionStringConnection DeploymentConnection EndpointKeyConnection EndpointMIConnection WorkspaceConnection	BaseConnection Una conexión a un recurso.
containerName	string	nombre del contenedor
crawling	CrawlingSettings	CrawlingSettings Configuración de rastreo
embeddings	GenericEmbeddingSettings[]	ConnectionEmbeddingSettings Configuración de inserción de conexiones
kind	string: Urls	Tipo de origen de datos.
urls	string[]

TargetType

Tipo de destino.

Nombre	Tipo	Description
AzureAISearch	string	Índice de Azure AI Search.
CosmosDB	string	Índice de CosmosDB.
Pinecone	string	Índice pinecone.

UserComputeDataset

UserComputeStorage

Nombre	Tipo	Description
chunking	ChunkingSettings	ChunkingSettings Configuración de fragmentación
datasetId	string
datasetType	string
embeddings	WorkspaceConnectionEmbeddingSettings[]	WorkspaceConnectionEmbeddingSettings Identificador de conexión al modelo de inserción
kind	string: Dataset	Tipo de origen de datos.

UserComputeDatasourceType

Tipo de origen de datos.

Nombre	Tipo	Description
Dataset	string	Conjunto de datos del área de trabajo.
Urls	string	Direcciones URL.

UserComputeUrl

Nombre	Tipo	Description
chunking	ChunkingSettings	ChunkingSettings Configuración de fragmentación
crawling	CrawlingSettings	CrawlingSettings Configuración de rastreo
embeddings	WorkspaceConnectionEmbeddingSettings[]	WorkspaceConnectionEmbeddingSettings Identificador de conexión al modelo de inserción
kind	string: Urls	Tipo de origen de datos.
urls	string[]

WorkspaceConnection

Conexión del área de trabajo de AML.

Nombre	Tipo	Description
connectionId	string	ConnectionId
kind	string: WorkspaceConnection	Tipo de conexión.

WorkspaceConnectionEmbeddingSettings

Nombre	Tipo	Description
connectionId	string
deploymentName	string
modelName	string

Compartir a través de

Ingestion Jobs - Create

Parámetros de identificador URI

Encabezado de la solicitud

Cuerpo de la solicitud

IngestionJobSystemCompute

IngestionJobUserCompute

Respuestas

Seguridad

api-key

OAuth2Auth

Ámbitos

Ejemplos

Create a system-compute ingestion job

Solicitud de ejemplo

Respuesta de muestra

Create a user-compute ingestion job

Solicitud de ejemplo

Respuesta de muestra

Definiciones

AzureAISearchIndex

ChunkingSettings

ComputeType

ConnectionStringConnection

ConnectionType

CosmosDBIndex

CrawlingSettings

CustomCompute

DeploymentConnection

EndpointKeyConnection

EndpointMIConnection

Error

ErrorCode

ErrorResponse

GenericEmbeddingSettings

IngestionJobCompletionAction

IngestionJobSystemCompute

IngestionJobType

IngestionJobUserCompute

InnerError

InnerErrorCode

PineconeIndex

ServerlessCompute

SystemComputeDatasourceType

SystemComputeStorage

SystemComputeUrl

TargetType

UserComputeDataset

UserComputeDatasourceType

UserComputeUrl

WorkspaceConnection

WorkspaceConnectionEmbeddingSettings

Recursos adicionales