固有表現認識 (NER) の使用方法

[アーティクル]
12/19/2023

NER 機能を使うと、非構造化テキストを評価し、テキストから複数の定義済みカテゴリ (人、場所、イベント、製品、組織など) の名前付きエンティティを抽出できます。

開発オプション

固有表現認識を使用するには、分析のために未加工の非構造化テキストを送信し、お使いのアプリケーションで API 出力を処理します。分析はそのままの状態で行われ、データに使用されるモデルに対して追加のカスタマイズは行われません。固有表現認識を使用するには、次の 2 つの方法があります。

開発オプション	説明
Language Studio	Language Studio は Web ベースのプラットフォームであり、Azure アカウントがなければテキストの例で、サインアップしたら独自のデータで、エンティティリンクを試すことができます。詳しくは、Language Studio の Web サイトまたは Language Studio のクイックスタートに関する記事をご覧ください。
REST API またはクライアントライブラリ (Azure SDK)	さまざまな言語で使用できる REST API ライブラリ、またはクライアントライブラリを使用して、固有表現認識をお使いのアプリケーションに統合します。詳しくは、固有表現認識のクイックスタートに関する記事をご覧ください。

データの処理方法を決定する (省略可能)

入力言語

処理されるドキュメントを送信するときに、サポートされている言語のうちのどれでそのドキュメントが書かれているかを指定できます。言語を指定しないと、英語がキーフレーズ抽出によって既定で使われます。さまざまな多言語と絵文字のエンコードをサポートするため、API からの応答でオフセットが返される場合があります。

データの送信

要求が受信されると分析が実行されます。 NER を同期的に使うとステートレスになります。データはアカウントに保存されず、結果がすぐに応答で返されます。

この機能を非同期的に使うと、API の結果は、応答で示される要求取り込み時刻から 24 時間利用できます。この時間が経過すると、結果は消去され、取得できなくなります。

API では、指定されたドキュメント言語について、定義されたエンティティのカテゴリの検出が試みられます。

NER の結果の取得

NER から結果を取得するときは、結果をアプリケーションにストリーミングしたり、ローカルシステム上のファイルに出力を保存したりできます。 API の応答には、認識されたエンティティと、そのカテゴリ、サブカテゴリ、信頼度スコアなどが含まれます。

返されるエンティティを選択する (プレビュー API のみ)

API バージョン 2023-04-15-preview 以降で、API は指定されたドキュメント言語につて、定義されたエンティティ型とタグの検出を試みます。柔軟性を高めるために、エンティティ型とタグが古いモデルでエンティティの定義に使用されていたカテゴリとサブカテゴリの構造に取って代わります。また、適切なエンティティ型と共にオプションの includeList パラメーターと excludeList パラメータを使用することで、どのエンティティを検出して返すかを指定することもできます。次の例では、Location のみが検出されます。返されるエンティティ型を 1 つ以上指定できます。このバージョンで型とタグの階層が導入されたため、次に示すように、さまざまな粒度レベルでフィルタリングする柔軟性が得られます。

入力:

注意

この例では、Location エンティティ型のみが返されます。

{
    "kind": "EntityRecognition",
    "parameters": 
    {
        "includeList" :
        [
            "Location"
        ]
    },
    "analysisInput":
    {
        "documents":
        [
            {
                "id":"1",
                "language": "en",
                "text": "We went to Contoso foodplace located at downtown Seattle last week for a dinner party, and we adore the spot! They provide marvelous food and they have a great menu. The chief cook happens to be the owner (I think his name is John Doe) and he is super nice, coming out of the kitchen and greeted us all. We enjoyed very much dining in the place! The pasta I ordered was tender and juicy, and the place was impeccably clean. You can even pre-order from their online menu at www.contosofoodplace.com, call 112-555-0176 or send email to order@contosofoodplace.com! The only complaint I have is the food didn't come fast enough. Overall I highly recommend it!"
            }
        ]
    }
}

上記の例では、エンティティ型とタグで概要が示されているGPE、Structural、および Geological でタグ付けされたエンティティなど、Location エンティティ型に該当するエンティティが返されます。また、次に概要を示すように、GPE タグのみでフィルタリングするなど、Location エンティティ型のエンティティタグの 1 つを使用してフィルタリングすることで、返されたエンティティをさらに絞り込むこともできます。


    "parameters": 
    {
        "includeList" :
        [
            "GPE"
        ]
    }

このメソッドは、GPE タグに該当するすべての Location エンティティのみを返し、Structural または Geological でタグ付けされた Location エンティティなど、他のエンティティタグでタグ付けされた Location 型に該当するその他すべてのエンティティを無視します。また、excludeList パラメーターを使用して、結果をさらにドリルダウンすることもできます。 GPE タグ付きエンティティは、次のタグでタグ付けすることができます: City、State、CountryRegion、Continent。たとえば、この例では、 Continent タグと CountryRegion タグを除外できます。


    "parameters": 
    {
        "includeList" :
        [
            "GPE"
        ],
        "excludeList": :
        [
            "Continent",
            "CountryRegion"
        ]
    }

includeList パラメーターに含まれる GPE エンティティタグは Location 型に該当するため、これらのパラメーターを使用して、Location エンティティ型のみを正常にフィルタリングすることができます。次に、地政学的エンティティのみをフィルタリングして、Continent タグまたは CountryRegion タグでタグ付けされたエンティティをすべて除外します。

NER のモデルを指定する

既定では、テキストで利用可能な最新の AI モデルがこの機能で使われます。特定のバージョンのモデルを使うように API 要求を構成することもできます。

サービスとデータの制限

分単位および秒単位で送信できる要求のサイズと数については、サービスの制限に関する記事を参照してください。

次のステップ

固有表現認識の概要

次の方法で共有