如何使用 Azure AI Studio 部署 Cohere Embed 模型

重要

本文所述的部分功能可能僅適用於預覽版。 此預覽版本沒有服務等級協定，不建議將其用於生產工作負載。 可能不支援特定功能，或可能已經限制功能。 如需詳細資訊，請參閱 Microsoft Azure 預覽版增補使用條款。

在本文中，您會了解如何使用 Azure AI Studio 將 Cohere Embed 模型部署為隨用隨付權杖型計費的無伺服器 API。

Cohere 在 Azure AI Studio 中提供兩個 Embed 模型。 這些模型可以作爲隨用隨付權杖型計費的無伺服器 API 來提供。 您可以透過篩選 Cohere 集合，在模型目錄中瀏覽 Cohere 系列模型。

Cohere Embed 模型

在本節中，您將了解兩個在模型目錄中可用的 Cohere Embed 模型：

• Cohere Embed v3 - 英文版
• Cohere Embed v3 - 多語系版

您可以透過篩選 Cohere 集合，在模型目錄中瀏覽 Cohere 系列模型。

Cohere Embed v3 - 英文版

Cohere Embed 英文版是目前市場上用於語意搜尋、擷取擴增生成 (RAG)、分類和群集的一流文字表示模型。 Embedd 英文版在 HuggingFace MTEB 基準上擁有出色效能，在金融、法律和一般用途公司等多個產業的使用案例中表現優秀。 Embed 英文版還具有以下屬性：

• Embed 英文版有 1,024 個維度。
• 模型的內容視窗是 512 個權杖

Cohere Embed v3 - 多語系版

Cohere Embed 多語系版是目前市場上用於語意搜尋、擷取擴增生成 (RAG)、分類和群集的一流文字表示模型。 Embed 多語系版支援 100 多種語言，可用以在語言內搜尋 (例如，以法文查詢搜尋法文文件) 及跨語言搜尋 (例如，以英文查詢搜尋中文文件)。 Embed 多語系版在 Miracl 等多語系基準上有優異表現。 Embed 多語系版還具有以下屬性：

• Embed 多語系版有 1,024 個維度。
• 模型的內容視窗是 512 個權杖

部署為無伺服器 API

模型目錄中的某些模型可以部署為隨用隨付計費方案的無伺服器 API。 這種部署可讓您以 API 的形式取用模型，而不必在您的訂用帳戶上裝載模型，同時讓組織保持所需的企業安全性和合規性。 此部署選項不需要您的訂用帳戶提供配額。

先前提及的 Cohere 模型可以部署為隨用隨付計費方案的服務，並由 Cohere 透過 Microsoft Azure Marketplace 提供。 Cohere 可以變更或更新這些模型的使用規定和價格。

必要條件

• 具有有效付款方式的 Azure 訂用帳戶。 免費版或試用版 Azure 訂用帳戶將無法運作。 如果您沒有 Azure 訂用帳戶，請建立付費 Azure 帳戶以開始。

• AI Studio 中樞。

  重要

  針對 Cohere 系列模型，無伺服器 API 模型部署供應項目僅適用於在美國東部 2 或瑞典中部區域建立的中樞。

• Azure AI Studio 中的 AI Studio 專案。

• Azure 角色型存取控制可用來授與 Azure AI Studio 作業的存取權限。 若要執行本文中的步驟，您的使用者帳戶必須獲指派資源群組上的 Azure AI 開發人員角色。 如存取權限的需詳細資訊，請參閱 Azure AI Studio 中的角色型存取控制。

建立新的部署

下列步驟示範 Cohere Embed v3 - 英文版的部署，但您可以透過取代模型名稱，使用相同的步驟來部署 Cohere Embed v3 - 多語系版。

若要建立部署：

1. 請登入 Azure AI Studio。

2. 從左側提要欄位中，選取 [模型目錄]。

3. 搜尋 Cohere。

4. 選取 Cohere-embed-v3-english 開啟 [模型詳細資料] 頁面。

   

5. 選取 [部署]，針對模型開啟無伺服器 API 部署視窗。

6. 或者，您可以從 AI Studio 中的專案開始起始部署。

   1. 從專案的左側側邊列中，選取「元件」>「部署」。

   2. 選取 [+ 建立部署]。

   3. 搜尋並選取 [Cohere-embed-v3-english]。 開啟 [模型詳細資料] 頁面。

      

   4. 選取 [確認]，開啟針對模型的無伺服器 API 部署視窗。

   

7. 選取您要在其中部署模型的專案。 若要部署模型，您的專案必須位於 [美國東部 2] 或 [瑞典中部] 區域。

8. 在部署精靈上，選取 [Azure Marketplace 條款] 的連結，以深入了解使用規定。

9. 選取 [價格及使用規定] 索引標籤，以了解所選模型的價格。

10. 選取「訂閱並部署」按鈕。 如果這是您第一次在專案中部署模型，您必須為專案訂閱特定供應項目 (例如 Mistral-large)。 此步驟會要求您的帳戶具有資源群組上的 Azure AI 開發人員角色權限，如必要條件中所述。 每個專案都有自己模型特定 Azure Marketplace 供應項目的訂用帳戶，可讓您控制及監視支出。 目前，針對專案內的每個模型只能有一個部署。

11. 當您為專案訂閱特定 Azure Marketplace 供應項目之後，就不需要再次訂閱相同工作區中的相同供應項目的後續部署。 如果您適用此情況，則系統會顯示 [繼續部署] 選項供您選取。

    

12. 為部署指定名稱。 此名稱會成為部署 API URL 的一部分。 此 URL 在每個 Azure 區域中都必須是唯一的。

    

13. 選取部署。 待部署準備就緒後，系統會將您重新導向至 [部署] 頁面。

14. 選取 [在遊樂場中開啟] 以開始與模型互動。

15. 返回「部署」頁面、選取部署，然後記下端點的目標 URL 和祕密金鑰。 如需使用 API 的詳細資訊，請參閱參考一節。

16. 您一律可藉由瀏覽至「專案概觀」頁面，來尋找端點的詳細資料、URL 和存取金鑰。 接著，從專案的左側提要欄位中，選取 [元件]>[部署]。

若要了解將 Cohere 模型部署為隨用隨付權杖型計費的無伺服器 API 之計費，請參閱將 Cohere 模型部署為服務的成本和配額考量。

將 Cohere Embed 模型視為服務取用

這些模型可以使用 embed API 取用。

1. 從 [專案概觀] 頁面，移至左側側邊欄，然後選取 [元件]>[部署]。

2. 尋找並選取您所建立的部署。

3. 複製 目標 URL 和 金鑰值。

4. Cohere 公開了使用 Embed v3 英文版和 Embed v3 多語系版模型的兩個推斷路由。 v1/embeddings 遵守 Azure AI 生成式訊息 API 結構描述，v1/embed 則支援 Cohere 的原生 API 結構描述。

   如需使用 API 的詳細資訊，請參閱參考一節。

部署為服務的 Cohere Embed 模型 Embed API 參考

Cohere Embed v3 - 英文版和 Embed v3 - 多語系版接受路由 /embeddings 上的 Azure AI 模型推斷 API 和 上的原生 Cohere Embed v3 API/embed。

Azure AI 模型推斷 API

Azure AI 模型推斷 API 結構描述可以在內嵌的參考文章中找到，並且可以從端點本身取得 OpenAPI 規格。

Cohere Embed v3

下文包含 Cohere Embed v3 API 的詳細資訊。

要求

    POST /v1/embed HTTP/1.1
    Host: <DEPLOYMENT_URI>
    Authorization: Bearer <TOKEN>
    Content-type: application/json

v1/embed 要求結構描述

Cohere Embed v3 - 英文版和 Embed v3 多語系版針對 v1/embed API 呼叫接受下列參數：

機碼	類型	預設	描述
texts	array of strings	必要	模型要內嵌的字串陣列。 每次呼叫的文字數目上限為 96。 如欲取得最佳品質，建議每個文字長度減少至低於 512 個權杖。
input_type	enum string	必要	前面加上特殊權杖可區分每種類型。 除了混合類型進行搜尋和擷取時，您不應該將不同類型的混合在一起。 在此情況下，請內嵌類型為 search_document 的主體和類型為 search_query 的內嵌查詢。 search_document：在搜尋使用案例中，將文件編碼為儲存在向量資料庫的內嵌時，請使用 search_document。 search_query：查詢向量資料庫尋找相關文件時，請使用 search_query。 classification：使用內嵌為文字分類器的輸入時，請使用分類。 clustering：使用群集建立內嵌叢集。
truncate	enum string	NONE	NONE：輸入超過輸入權杖長度上限時會傳回錯誤。 START：捨棄輸入的開頭。 END：捨棄輸入的結尾。
embedding_types	array of strings	float	指定您要取回的內嵌類型。 可以是一或多個以下類型。 float、、 int8、 uint8、 binary、 ubinary

v1/embed 回應結構描述

Cohere Embed v3 英文版和 Embed v3 多語系版的回應包含下列欄位：

機碼	類型	描述
response_type	enum	回應類型。 未指定 embedding_types 時會傳回 embeddings_floats，或在指定了 embeddings_types 時傳回 embeddings_by_type。
id	integer	回應的識別碼。
embeddings	array 或 array of objects	內嵌陣列，其中每個內嵌都是具有 1,024 個元素的浮點數陣列。 內嵌陣列的長度與原始文字陣列長度相同。
texts	array of strings	所傳回內嵌的文字項目。
meta	string	API 使用資料，包括目前的版本和可計費權杖。

如需詳細資訊，請參閱https://docs.cohere.com/reference/embed。

v1/embed 範例

Embeddings_floats 回應

要求：

    {
        "input_type": "clustering",
        "truncate": "START",
        "texts":["hi", "hello"]
    }

回應：

    {
        "id": "da7a104c-e504-4349-bcd4-4d69dfa02077",
        "texts": [
            "hi",
            "hello"
        ],
        "embeddings": [
            [
                ...
            ],
            [
                ...
            ]
        ],
        "meta": {
            "api_version": {
                "version": "1"
            },
            "billed_units": {
                "input_tokens": 2
            }
        },
        "response_type": "embeddings_floats"
    }

Embeddings_by_types 回應

要求：

    {
        "input_type": "clustering",
        "embedding_types": ["int8", "binary"],
        "truncate": "START",
        "texts":["hi", "hello"]
    }

回應：

    {
        "id": "b604881a-a5e1-4283-8c0d-acbd715bf144",
        "texts": [
            "hi",
            "hello"
        ],
        "embeddings": {
            "binary": [
                [
                    ...
                ],
                [
                    ...
                ]
            ],
            "int8": [
                [
                    ...
                ],
                [
                    ...
                ]
            ]
        },
        "meta": {
            "api_version": {
                "version": "1"
            },
            "billed_units": {
                "input_tokens": 2
            }
        },
        "response_type": "embeddings_by_type"
    }

更多推斷範例

套件	範例 Notebook
使用 CURL 和 Python Web 要求的 CLI	cohere-embed.ipynb
OpenAI SDK (實驗性)	openaisdk.ipynb
LangChain	langchain.ipynb
Cohere SDK	cohere-sdk.ipynb (英文)
LiteLLM SDK	litellm.ipynb

擷取擴增生成 (RAG) 和工具使用範例

說明	套件	範例 Notebook
使用 Cohere 內嵌建立本機 Facebook AI 相似度搜尋 (FAISS) 向量索引 - Langchain	langchain, langchain_cohere	cohere_faiss_langchain_embed.ipynb (英文)
使用 Cohere Command R/R+ 回答本機 FAISS 向量索引的資料問題 - Langchain	langchain, langchain_cohere	command_faiss_langchain.ipynb (英文)
使用 Cohere Command R/R+ 回答 AI 搜尋向量索引的資料問題 - Langchain	langchain, langchain_cohere	cohere-aisearch-langchain-rag.ipynb (英文)
使用 Cohere Command R/R+ 回答 AI 搜尋向量索引的資料問題 - Cohere SDK	cohere, azure_search_documents	cohere-aisearch-rag.ipynb (英文)
使用 LangChain 呼叫 Command R+ 工具/函式	cohere、 、 langchainlangchain_cohere	command_tools-langchain.ipynb (英文)

成本和配額

將模型部署為服務的成本和配額考量

Cohere 透過 Azure Marketplace 和 Azure AI Studio 整合，透過 Azure Marketplace 提供部署為無伺服器 API 且隨用隨付計費的 Cohere 模型。 您可以在部署模型時找到 Azure Marketplace 價格。

每次專案訂閱來自 Azure Marketplace 的指定供應項目時，都會建立新的資源，以便追蹤與其使用量相關聯的成本。 使用相同的資源來追蹤與推斷相關聯的成本；不過，可以使用多個計量獨立追蹤每個案例。

如需如何追蹤成本的詳細資訊，請參閱監視透過 Azure Marketplace 提供的模型成本 (部分機器翻譯)。

配額會根據每個部署管理。 每個部署的速率限制為每分鐘 200,000 個權杖，每分鐘 1,000 個 API 要求。 不過，我們目前限制每個專案的每個模型為一個部署。 如果目前的速率限制無法滿足您的情節，請連絡 Microsoft Azure 支援。

內容篩選

部署為無伺服器 API 的模型會受到 Azure AI 內容 保管庫 保護。 透過 Azure AI 內容安全，提示和完成都會通過旨在偵測及防止有害內容輸出的一組分類模型。 內容篩選系統會偵測並針對輸入提示和輸出完成中的特定類別的潛在有害內容採取動作。 在這裡 (部分機器翻譯) 深入了解內容篩選。

相關內容

• 什麼是 Azure AI Studio？
• Azure AI 常見問題文章