Formatos de datos NER personalizados aceptados

  • Artículo

Si está intentando importar los datos en NER personalizado, debe seguir un formato específico. Si no tiene datos para importar, puede crear el proyecto y usar Language Studio para etiquetar los documentos.

Formato de archivo de etiquetas

El archivo Labels debe tener el formato json siguiente para importar las etiquetas en un proyecto.

{
  "projectFileVersion": "2022-05-01",
  "stringIndexType": "Utf16CodeUnit",
  "metadata": {
    "projectKind": "CustomEntityRecognition",
    "storageInputContainerName": "{CONTAINER-NAME}",
    "projectName": "{PROJECT-NAME}",
    "multilingual": false,
    "description": "Project-description",
    "language": "en-us",
    "settings": {}
  },
  "assets": {
    "projectKind": "CustomEntityRecognition",
    "entities": [
      {
        "category": "Entity1"
      },
      {
        "category": "Entity2"
      }
    ],
    "documents": [
      {
        "location": "{DOCUMENT-NAME}",
        "language": "{LANGUAGE-CODE}",
        "dataset": "{DATASET}",
        "entities": [
          {
            "regionOffset": 0,
            "regionLength": 500,
            "labels": [
              {
                "category": "Entity1",
                "offset": 25,
                "length": 10
              },
              {
                "category": "Entity2",
                "offset": 120,
                "length": 8
              }
            ]
          }
        ]
      },
      {
        "location": "{DOCUMENT-NAME}",
        "language": "{LANGUAGE-CODE}",
        "dataset": "{DATASET}",
        "entities": [
          {
            "regionOffset": 0,
            "regionLength": 100,
            "labels": [
              {
                "category": "Entity2",
                "offset": 20,
                "length": 5
              }
            ]
          }
        ]
      }
    ]
  }
}
Clave Marcador de posición Valor Ejemplo
multilingual true Valor booleano que le permite tener documentos en varios idiomas del conjunto de datos y, cuando se implementa el modelo, puede consultarlo en cualquier idioma admitido (no necesariamente incluido en los documentos de entrenamiento). Consulte Compatibilidad de idiomas para obtener más información sobre la compatibilidad multilingüe. true
projectName {PROJECT-NAME} Nombre de proyecto myproject
storageInputContainerName {CONTAINER-NAME} Nombre del contenedor mycontainer
entities Matriz que contiene todos los tipos de entidad que tiene en el proyecto. Estos son los tipos de entidad que se extraerán de los documentos.
documents Matriz que contiene todos los documentos del proyecto y la lista de las entidades etiquetadas en cada documento. []
location {DOCUMENT-NAME} Ubicación de los documentos en el contenedor de almacenamiento. Puesto que todos los documentos están en la raíz del contenedor, este debe ser el nombre del documento. doc1.txt
dataset {DATASET} El conjunto de pruebas al que este archivo irá cuando se divida antes del entrenamiento. Encuentre más información sobre la división de datos aquí. Los valores posibles que admite este campo son Train y Test. Train
regionOffset Posición del carácter inclusivo del inicio del texto. 0
regionLength Longitud del rectángulo delimitador en términos de caracteres UTF16. El entrenamiento solo tiene en cuenta los datos de esta región. 500
category Tipo de entidad asociada al intervalo de texto especificado. Entity1
offset Posición inicial del texto de la entidad. 25
length Longitud de la entidad en términos de caracteres UTF16. 20
language {LANGUAGE-CODE} Una cadena que especifica el código de idioma del documento que se usa en el proyecto. Si el proyecto es un proyecto multilingüe, elija el código de idioma de la mayoría de los documentos. Consulte Compatibilidad con idiomas para obtener más información sobre los códigos de idioma admitidos. en-us

Pasos siguientes