解決方案構想
本文說明解決方案概念。 您的雲端架構師可以使用本指南，協助視覺化此架構的一般實作的主要元件。 以本文為起點，設計符合您工作負載具體要求的完善解決方案。
本文說明如何使用影像處理、自然語言處理和自訂技能來擷取特定領域的資料。 您可以使用該資料來擴充文字和影像文件。 將 Azure AI 搜尋服務與 AI 擴充納入，以協助大規模識別和探索相關內容。 此解決方案會使用 AI 擴充，從原始複雜、非結構化的 JFK 暗殺記錄 (JFK 檔案) 資料集擷取意義。
架構
下載此架構的 Visio 檔案。
資料流程
下列資料流程會對應至上圖。 此資料流程描述非結構化 JFK 檔案資料集如何通過 AI 搜尋服務技能管線來產生結構化且可編製索引的資料。
Azure Blob 儲存體中的非結構化資料 (例如文件和影像) 會擷取到 AI 搜尋服務中。
為了起始索引程序，文件破解步驟會從資料擷取影像和文字，然後擴充內容。 此程序中的擴充步驟取決於您選取的資料類型和技能類型。
以 Azure AI 視覺和 Azure AI 語言 API 為基礎的內建技能會提供 AI 擴充功能，例如影像光學字元辨識 (OCR)、影像分析、文字翻譯、實體辨識和全文檢索搜尋。
自訂技能支援需要更複雜之 AI 模型或服務的案例。 範例包括 Azure AI 文件智慧服務、Azure Machine Learning 模型和 Azure Functions。
擴充程序完成之後，索引子會將已擴充且編製索引的文件儲存在搜尋索引中。 全文檢索搜尋和其他查詢表單可以使用此索引。
擴充的文件也可以投影到知識存放區，讓知識採礦應用程式或資料科學應用程式等下游應用程式可以使用。
查詢會存取搜尋索引中擴充的內容。 索引支援自訂分析器、模糊搜尋查詢、篩選和評分設定檔，以調整搜尋相關性。
連線到 Blob 儲存體或 Azure 資料表儲存體的應用程式可以存取知識存放區。
元件
此解決方案會使用下列 Azure 元件。
AI 搜尋服務
AI 搜尋服務會為內容編製索引，並提供此解決方案中的使用者體驗。 您可以使用 AI 搜尋服務，將預先建置的 AI 技能套用至內容。 而且，您可以使用擴充性機制來新增自訂技能，以提供特定的擴充轉換。
Azure AI 視覺
視覺會使用文字辨識，從影像擷取和辨識文字資訊。 讀取 API 會使用最新的 OCR 辨識模型，並針對大型、大量文字的文件和雜訊影像進行最佳化。
舊版 OCR API 並未針對大型文件最佳化，但支援更多語言。 OCR 結果的精確度可能會根據掃描和影像的品質而有所不同。 此解決方案會使用 OCR 產生 hOCR 格式的資料。
語言
語言會使用文字分析功能，例如具名實體辨識和關鍵片語擷取，從非結構化文件擷取文字資訊。
Azure 儲存體
Blob 儲存體是 REST 架構的物件儲存體，可讓您透過 HTTPS 從世界各地存取資料。 您可使用 Blob 儲存體將資料公諸於世，或私下儲存應用程式資料。 Blob 儲存體適用於大量的非結構化資料，例如文字或圖形。
資料表儲存體會在雲端儲存高可用性、可調整、結構化和半結構化的 NoSQL 資料。
Azure Functions
Functions 是無伺服器計算服務，您可用來執行少量事件觸發的程式碼，而不需要明確佈建或管理基礎結構。 此解決方案會使用 Functions 方法，將美國中央情報局 (CIA) 密碼編譯程式清單套用至 JFK 檔案做為自訂技能。
Azure App Service
此解決方案會在 Azure App Service 中建置獨立 Web 應用程式，以測試、示範及搜尋索引，以及探索擴充和索引文件中的連線。
案例詳細資料
大型非結構化資料集可以包含鍵入和手寫筆記、相片、圖表和其他標準搜尋解決方案無法剖析的非結構化資料。 JFK 檔案包含超過 34,000 頁有關 CIA 調查 1963 年 JFK 暗殺事件的文件。
您可以在 AI 搜尋服務中使用 AI 擴充，從影像、Blob 和其他非結構化資料來源 (例如 JFK 檔案) 擷取及增強可搜尋、可編製索引的文字。 AI 擴充使用來自 Azure AI 服務視覺和語言 API 的預先定型機器學習技能集。 您也可以建立並附加自訂技能以新增特定領域資料的特殊處理，例如 CIA 密碼編譯程式。 然後，AI 搜尋服務就可以編製索引並搜尋該內容。
此解決方案中的 AI 搜尋服務技能可分類為下列群組：
影像處理：此解決方案使用內建文字擷取和影像分析技能，包括物件和臉部偵測、標籤和標題產生，以及名人和地標識別。 這些技能會建立影像內容的文字表示法，讓您可以使用 AI 搜尋服務的查詢功能進行搜尋。 文件破解是從非文字來源擷取或建立文字內容的程序。
自然語言處理：此解決方案使用內建技能，例如實體辨識、語言偵測和關鍵片語擷取，將非結構化文字對應至索引中的可搜尋和可篩選欄位。
自訂技能：此解決方案會使用擴充 AI 搜尋服務的自訂技能，將特定擴充轉換套用至內容。 您可以透過自訂 Web API 技能來指定自訂技能的介面。
潛在使用案例
JFK 檔案範例專案和線上示範會呈現特定的 AI 搜尋服務使用案例。 此解決方案概念並非適用於所有案例的架構或可調整架構。 不過，此解決方案概念會提供一般指導方針和範例。 程式碼專案和示範會為擷取的影像建立公用網站和可公開讀取的儲存體容器，因此您不應該將此解決方案與非公用資料搭配使用。
您也可以使用此架構：
提高搜尋應用程式和資料科學應用程式中非結構化文字和影像內容的價值與效用。
使用自訂技能將開放原始碼程式碼、非 Microsoft 程式碼或 Microsoft 程式碼整合到編製索引管線中。
讓掃描的 JPG、PNG 或點陣圖文件可全文檢索搜尋。
針對結合影像和文字的 PDF，產生比標準 PDF 文字擷取更好的結果。 某些掃描和原生 PDF 格式可能無法在 AI 搜尋服務中正確剖析。
從原本有意義的原始內容或隱藏在大型、非結構化文件或半結構化文件中的內容建立新資訊。
參與者
本文由 Microsoft 維護。 原始投稿人如下。
主要作者：
- Carlos Alexandre Santos | 資深專業 AI 雲端解決方案架構師
若要查看非公開的 LinkedIn 設定檔，請登入 LinkedIn。
下一步
深入了解此解決方案：
閱讀產品文件：
嘗試學習路徑：