Power Query 連接器 (預覽 - 已淘汰)
重要
Power Query 連接器支援是遵循 Microsoft Azure Preview 補充使用規定引進,做為受管制的公開預覽,但現在已中止。 如果您擁有使用 Power Query 連接器的搜尋解決方案,請移轉至替代解決方案。
從 2022 年 11 月 28 日移轉
Power Query 連接器預覽是在 2021 年 5 月宣佈,且不會繼續正式發行。 下列移轉指引適用於 Snowflake 和 PostgreSQL。 如果您是使用不同的連接器並需要移轉指示,請使用預覽註冊中提供的電子郵件連絡資訊來要求協助,或向 Azure 支援服務開啟票證。
必要條件
- Azure 儲存體帳戶。 如果您還沒有儲存體帳戶,請建立一個儲存體帳戶。
- Azure Data Factory。 如果您沒有 Data Factory,請建立一個 Data Factory。 實作前請參閱 Data Factory 管線定價,以了解相關聯的成本。 此外,請透過範例查看 Data Factory 定價。
移轉 Snowflake 資料管線
本節說明如何將資料從 Snowflake 資料庫複製到 Azure 認知搜尋索引。 從 Snowflake 直接編製索引到 Azure 認知搜尋並沒有任何程序,因此本節包含將資料庫內容複寫到 Azure 儲存體 Blob 容器的暫存階段。 接著,您將使用 Data Factory 管線從該暫存容器編製索引。
步驟 1:擷取 Snowflake 資料庫資訊
移至 Snowflake 並登入您的 Snowflake 帳戶。 Snowflake 帳戶看起來像 https://<account_name>.snowflakecomputing.com。
登入之後,請從左側窗格收集下列資訊。 您會在下一個步驟中使用此資訊:
- 從 [資料] 中,選取 [資料庫],然後複製資料庫來源的名稱。
- 從 管理員,選取 [使用者 & 角色],然後複製用戶的名稱。 請確定使用者擁有讀取權限。
- 從 [管理員],選取 [帳戶],然後複製帳戶的 LOCATOR 值。
- 從 Snowflake URL,類似於
https://app.snowflake.com/<region_name>/xy12345/organization)
。 複製區域名稱。 例如,在https://app.snowflake.com/south-central-us.azure/xy12345/organization
中,區域名稱為south-central-us.azure
。 - 從 [管理員],選取 [倉儲],然後複製與您要做為來源的資料庫相關聯倉儲的名稱。
步驟 2:設定 Snowflake 連結服務
使用您的 Azure 帳戶登入 Azure Data Factory Studio。
選取資料處理站,然後選取 [繼續]。
從左側功能表中,選取 [管理] 圖示。
在 [連結服務] 底下選取 [新增]。
在右側窗格的 [資料存放區搜尋] 中,輸入「snowflake」。 選取 [Snowflake] 圖格,然後選取 [繼續]。
填寫 [新增連結服務] 表單,其中包含您在上一個步驟中收集的資料。 [帳戶名稱] 包含 LOCATOR 值和區域 (例如:
xy56789south-central-us.azure
)。表單完成之後,請選取 [測試連線]。
如果測試成功,請選取 [建立]。
步驟 3:設定 Snowflake 資料集
從左側功能表中,選取 [作者] 圖示。
選取 [資料集],然後選取 [資料集動作] 省略號功能表 (
...
)。選取 [新增資料集]。
在右側窗格的 [資料存放區搜尋] 中,輸入「snowflake」。 選取 [Snowflake] 圖格,然後選取 [繼續]。
在 [設定屬性] 中:
- 選取您在步驟 2 中建立的連結服務。
- 選取您要匯入的資料表,然後選取 [確定]。
選取 [儲存]。
步驟 4:在 Azure 認知搜尋中建立新的索引
使用與您目前針對 Snowflake 資料所設定相同的結構描述,在 Azure 認知搜尋服務中建立新的索引。
您可以重新規劃您目前用於 Snowflake Power 連接器的索引。 在 Azure 入口網站中尋找索引,然後選取 [索引定義 (JSON)]。 選取定義,並將其複製到新索引要求的主體。
步驟 5:設定 Azure 認知搜尋連結服務
從左側功能表中,選取 [管理] 圖示。
在 [連結服務] 底下選取 [新增]。
在右側窗格的 [資料存放區搜尋] 中,輸入「search」。 選取 [Azure 搜尋服務] 圖格,然後選取 [繼續]。
填寫 [新的連結服務] 值:
- 選擇 Azure 認知搜尋服務所在的 Azure 訂用帳戶。
- 選擇具有您 Power Query 連接器索引子的 Azure 認知搜尋服務。
- 選取 [建立] 。
步驟 6:設定 Azure 認知搜尋資料集
從左側功能表中,選取 [作者] 圖示。
選取 [資料集],然後選取 [資料集動作] 省略號功能表 (
...
)。選取 [新增資料集]。
在右側窗格的 [資料存放區搜尋] 中,輸入「search」。 選取 [Azure 搜尋服務] 圖格,然後選取 [繼續]。
在 [設定屬性] 中:
選取 [儲存]。
步驟 7:設定 Azure Blob 儲存體連結服務
從左側功能表中,選取 [管理] 圖示。
在 [連結服務] 底下選取 [新增]。
在右側窗格的 [資料存放區搜尋] 中,輸入「storage」。 選取 [Azure Blob 儲存體] 圖格,然後選取 [繼續]。
填寫 [新的連結服務] 值:
選擇 [驗證類型:SAS URI]。 只有此驗證類型可用來將資料從 Snowflake 匯入 Azure Blob 儲存體中。
針對您將用於暫存的儲存體帳戶產生 SAS URL。 將 [Blob SAS URL] 貼到 [SAS URL] 欄位中。
選取 [建立] 。
步驟 8:設定儲存體資料集
從左側功能表中,選取 [作者] 圖示。
選取 [資料集],然後選取 [資料集動作] 省略號功能表 (
...
)。選取 [新增資料集]。
在右側窗格的 [資料存放區搜尋] 中,輸入「storage」。 選取 [Azure Blob 儲存體] 圖格,然後選取 [繼續]。
選取 DelimitedText 格式,然後選取 [繼續]。
在 [設定屬性] 中:
在 [連結服務] 底下,選取在步驟 7 中建立的連結服務。
在 [檔案路徑] 下,選擇將當做暫存處理序接收的容器,然後選取 [確定]。
在 [資料列分隔符號] 中,選取 [換行字元] (\n)。
核取 [第一個資料列當做標頭] 方塊。
選取 [儲存]。
步驟 9:設定管線
從左側功能表中,選取 [作者] 圖示。
選取 [管線],然後選取 [管線動作] 省略號功能表 (
...
)。選取 [建立新管線]。
建立並設定從 Snowflake 複製到 Azure 儲存體容器的 Data Factory 活動:
展開 [移動 & 轉換 ] 區段,然後將 [複製數據 ] 活動拖放到空白管線編輯器畫布。
開啟 [一般] 索引標籤。除非您需要自訂執行,否則請接受預設值。
在 [來源] 索引標籤中,選取您的 Snowflake 資料表。 保留其餘選項中的預設值。
在 [接收] 索引標籤中:
選取在步驟 8 中建立的儲存體 DelimitedText 資料集。
在 [副檔名] 中,新增 .csv。
保留其餘選項中的預設值。
選取 [儲存]。
設定從 Azure 儲存體 Blob 複製到搜尋索引的活動:
展開 [移動 & 轉換 ] 區段,然後將 [複製數據 ] 活動拖放到空白管線編輯器畫布。
除非您需要自訂執行,否則請接受 [一般] 索引標籤中的預設值。
在 [來源] 索引標籤中:
- 選取在步驟 8 中建立的儲存體 DelimitedText 資料集。
- 在 [檔案路徑類型] 中,選取 [萬用字元檔案路徑]。
- 保留所有剩餘欄位中的預設值。
在 [接收] 索引標籤中,選取您的 Azure 認知搜尋索引。 保留其餘選項中的預設值。
選取 [儲存]。
步驟 10:設定活動順序
在 [管線] 畫布編輯器中,選取管線活動圖格邊緣的綠色小方塊。 將其拖曳至 [從儲存體帳戶編製 Azure 認知搜尋索引] 活動,以設定執行順序。
選取 [儲存]。
步驟 11:新增管線觸發程序
選取 [新增觸發程序] 以排程管線執行,然後選取 [新增/編輯]。
從 [選擇觸發程序] 下拉式清單中,選取 [新增]。
檢閱觸發程序選項以執行管線,然後選取 [確定]。
選取 [儲存]。
選取 [發佈] 。
移轉 PostgreSQL 資料管線
本節說明如何將資料從 PostgreSQL 資料庫複製到 Azure 認知搜尋索引。 從 PostgreSQL 直接編製索引到 Azure 認知搜尋並沒有任何程序,因此本節包含將資料庫內容複寫到 Azure 儲存體 Blob 容器的暫存階段。 接著,您將使用 Data Factory 管線從該暫存容器編製索引。
步驟 1:設定 PostgreSQL 連結服務
使用您的 Azure 帳戶登入 Azure Data Factory Studio。
選擇 Data Factory,然後選取 [繼續]。
從左側功能表中,選取 [管理] 圖示。
在 [連結服務] 底下選取 [新增]。
在右側窗格的 [資料存放區搜尋] 中,輸入「postgresql」。 選取 [PostgreSQL] 圖格,其代表 PostgreSQL 資料庫所在的位置 (Azure 或其他),然後選取 [繼續]。 在此範例中,PostgreSQL 資料庫是位於 Azure 中。
填寫 [新的連結服務] 值:
在 [帳戶選取方法] 中,選取 [手動輸入]。
從 Azure 入口網站中的 [適用於 PostgreSQL 的 Azure 資料庫] 概觀頁面中,將下列值貼到其各自的欄位中:
- 將 [伺服器名稱] 新增至 [完整網域名稱]。
- 將 [管理使用者名稱] 新增至 [使用者名稱]。
- 將 [資料庫] 新增至 [資料庫名稱]。
- 將管理使用者名稱密碼輸入至 [使用者名稱密碼]。
- 選取 [建立] 。
步驟 2:設定 PostgreSQL 資料集
從左側功能表中,選取 [作者] 圖示。
選取 [資料集],然後選取 [資料集動作] 省略號功能表 (
...
)。選取 [新增資料集]。
在右側窗格的 [資料存放區搜尋] 中,輸入「postgresql」。 選取 [Azure PostgreSQL] 圖格。 選取 [繼續] 。
填寫 [設定屬性] 值:
選擇在步驟 1 中建立的 PostgreSQL 連結服務。
選取您要匯入/編製索引的資料表。
選取 [確定]。
選取 [儲存]。
步驟 3:在 Azure 認知搜尋中建立新的索引
使用與您用於 PostgreSQL 資料相同的結構描述,在 Azure 認知搜尋服務中建立新的索引。
您可以重新規劃您目前用於 PostgreSQL Power 連接器的索引。 在 Azure 入口網站中尋找索引,然後選取 [索引定義 (JSON)]。 選取定義,並將其複製到新索引要求的主體。
步驟 4:設定 Azure 認知搜尋連結服務
從左側功能表中,選取 [管理] 圖示。
在 [連結服務] 底下選取 [新增]。
在右側窗格的 [資料存放區搜尋] 中,輸入「search」。 選取 [Azure 搜尋服務] 圖格,然後選取 [繼續]。
填寫 [新的連結服務] 值:
- 選擇 Azure 認知搜尋服務所在的 Azure 訂用帳戶。
- 選擇具有您 Power Query 連接器索引子的 Azure 認知搜尋服務。
- 選取 [建立] 。
步驟 5:設定 Azure 認知搜尋資料集
從左側功能表中,選取 [作者] 圖示。
選取 [資料集],然後選取 [資料集動作] 省略號功能表 (
...
)。選取 [新增資料集]。
在右側窗格的 [資料存放區搜尋] 中,輸入「search」。 選取 [Azure 搜尋服務] 圖格,然後選取 [繼續]。
在 [設定屬性] 中:
選取 [儲存]。
步驟 6:設定 Azure Blob 儲存體連結服務
從左側功能表中,選取 [管理] 圖示。
在 [連結服務] 底下選取 [新增]。
在右側窗格的 [資料存放區搜尋] 中,輸入「storage」。 選取 [Azure Blob 儲存體] 圖格,然後選取 [繼續]。
填寫 [新的連結服務] 值:
選擇 [驗證類型:SAS URI]。 只能使用這個方法將資料從 PostgreSQL 匯入 Azure Blob 儲存體。
為您將用於暫存的儲存體帳戶產生 SAS URL,並將 [Blob SAS URL] 複製到 [SAS URL] 欄位。
選取 [建立] 。
步驟 7:設定儲存體資料集
從左側功能表中,選取 [作者] 圖示。
選取 [資料集],然後選取 [資料集動作] 省略號功能表 (
...
)。選取 [新增資料集]。
在右側窗格的 [資料存放區搜尋] 中,輸入「storage」。 選取 [Azure Blob 儲存體] 圖格,然後選取 [繼續]。
選取 DelimitedText 格式,然後選取 [繼續]。
在 [資料列分隔符號] 中,選取 [換行字元] (\n)。
核取 [第一個資料列當做標頭] 方塊。
選取 [儲存]。
步驟 8:設定管線
從左側功能表中,選取 [作者] 圖示。
選取 [管線],然後選取 [管線動作] 省略號功能表 (
...
)。選取 [建立新管線]。
建立並設定從 PostgreSQL 複製到 Azure 儲存體容器的 Data Factory 活動。
展開 [移動 & 轉換] 區 段,然後將 [ 複製數據] 活動拖放至空白管線編輯器畫布。
開啟 [一般] 索引標籤,除非您需要自訂執行,否則請接受預設值。
在 [來源] 索引標籤中,選取您的 PostgreSQL 資料表。 保留其餘選項中的預設值。
在 [接收] 索引標籤中:
選取步驟 7 中設定的儲存體 DelimitedText PostgreSQL 資料集。
在 [副檔名] 中,新增 .csv
保留其餘選項中的預設值。
選取 [儲存]。
設定從 Azure 儲存體複製到搜尋索引的活動:
展開 [移動 & 轉換] 區 段,然後將 [ 複製數據] 活動拖放至空白管線編輯器畫布。
除非您需要自訂執行,否則請保留 [一般] 索引標籤中的預設值。
在 [來源] 索引標籤中:
- 選取步驟 7 中設定的儲存體來源資料集。
- 在 [檔案路徑類型] 欄位中,選取 [萬用字元檔案路徑]。
- 保留所有剩餘欄位中的預設值。
在 [接收] 索引標籤中,選取您的 Azure 認知搜尋索引。 保留其餘選項中的預設值。
選取 [儲存]。
步驟 9:設定活動順序
在 [管線] 畫布編輯器中,選取管線活動邊緣的綠色小方塊。 將其拖曳至 [從儲存體帳戶編製 Azure 認知搜尋索引] 活動,以設定執行順序。
選取 [儲存]。
步驟 10:新增管線觸發程序
選取 [新增觸發程序] 以排程管線執行,然後選取 [新增/編輯]。
從 [選擇觸發程序] 下拉式清單中,選取 [新增]。
檢閱觸發程序選項以執行管線,然後選取 [確定]。
選取 [儲存]。
選取 [發佈] 。
Power Query 連接器預覽的舊版內容
Power Query 連接器會與搜尋索引子搭配使用,以從各種資料來源 (包括其他雲端提供者上的來源) 自動擷取資料。 其會使用 Power Query 來擷取資料。
預覽中支援的資料來源包括:
- Amazon Redshift
- Elasticsearch
- PostgreSQL
- Salesforce 物件
- Salesforce 報表
- Smartsheet
- Snowflake
支援的功能
會在索引子中使用 Power Query 連接器。 Azure 搜尋服務中的索引子是一種編目程式,其可從外部資料來源擷取可搜尋的資料和中繼資料,並根據索引和資料來源之間的欄位對欄位對應填入索引。 這種方法有時稱為「提取模型」,因為您不需要撰寫任何程式碼來將資料新增至索引,服務就會自行提取資料。 索引子提供方便的方式,讓使用者不必撰寫自己的編目程式或推送模型,即可從其資料來源編制內容的索引。
參考 Power Query 資料來源的索引子對於技能集、排程、高水位線變更偵測邏輯,以及其他索引子支援的大部分參數的支援層級相同。
必要條件
雖然您無法再使用這項功能,但預覽版時有下列需求:
支援區域中的 Azure 認知搜尋服務。
預覽註冊。 此功能必須在後端啟用。
Azure Blob 儲存體帳戶,用來做為資料的媒介。 資料會從您的資料來源流向 Blob 儲存體,然後再流向索引。 這項需求只存在於初始閘道預覽中。
區域可用性
預覽僅適用於下列區域中的搜尋服務:
- 美國中部
- 美國東部
- 美國東部 2
- 美國中北部
- 歐洲北部
- 美國中南部
- 美國中西部
- 西歐
- 美國西部
- 美國西部 2
預覽限制
本節說明目前預覽版本特定的限制。
不支援從資料來源提取二進位資料。
不支援偵錯工作階段。
使用 Azure 入口網站快速入門
Azure 入口網站提供 Power Query 連接器的支援。 藉由在容器上取樣資料及讀取中繼資料,Azure 認知搜尋中的匯入資料精靈可以建立預設索引、將來源欄位對應至目標索引欄位,並在單一作業中載入索引。 根據來源資料的大小和複雜度,只需要幾分鐘的時間,您就可以擁有正常運作的全文檢索搜尋索引。
下列影片示範如何在 Azure 認知搜尋中設定 Power Query 連接器。
步驟 1 – 準備來源資料
請確定您的資料來源包含資料。 匯入資料精靈會讀取中繼資料並執行資料取樣來推斷索引結構描述,但也會從資料來源載入資料。 如果資料遺失,精靈將會停止並傳回錯誤。
步驟 2 - 啟動匯入資料精靈
核准預覽之後,Azure 認知搜尋小組會提供使用功能旗標的 Azure 入口網站連結,讓您可以存取 Power Query 連接器。 開啟此頁面,然後選取 [匯入資料],即可從 [Azure 認知搜尋服務] 頁面中的命令列啟動精靈。
步驟 3 – 選取資料來源
有幾個資料來源可供您使用此預覽從中提取資料。 使用 Power Query 的所有資料來源都會在其圖格上包含「由 Power Query 提供」。 選取資料來源。
選取資料來源之後,請選取 [下一步:設定您的資料],以移至下一節。
步驟 4 – 設定您的資料
在此步驟中,您將會設定連線。 每個資料來源都需要不同的資訊。 針對幾個資料來源,Power Query 文件提供如何連線到資料的詳細資料。
提供連線認證之後,請選取 [下一步]。
步驟 5 – 選取資料
匯入精靈將會預覽您資料來源中所提供的各種資料表。 在此步驟中,您將檢查一個資料表,其中包含您要匯入索引的資料。
選取資料表之後,請選取 [下一步]。
步驟 6 – 轉換您的資料 (選擇性)
Power Query 連接器提供豐富的 UI 體驗,可讓您操作資料,以便將正確的資料傳送至索引。 您可以移除資料行、篩選資料列等等。
您不必先轉換資料,再將資料匯入 Azure 認知搜尋。
如需使用 Power Query 轉換資料的詳細資訊,請參閱在 Power BI Desktop 中使用 Power Query。
轉換資料之後,選取 [下一步]。
步驟 7 – 新增 Azure Blob 儲存體
Power Query 連接器預覽目前要求您提供 Blob 儲存體帳戶。 這個步驟只存在於初始閘道預覽中。 此 Blob 儲存體帳戶將做為暫存儲存體,可供從資料來源移至 Azure 認知搜尋索引的資料使用。
建議您提供完整的存取儲存體帳戶連接字串:
{ "connectionString" : "DefaultEndpointsProtocol=https;AccountName=<your storage account>;AccountKey=<your account key>;" }
您可以從 Azure 入口網站取得連接字串︰瀏覽至儲存體帳戶刀鋒視窗 > [設定] > [金鑰] (傳統儲存體帳戶),或 [設定] > [存取金鑰] (Azure Resource Manager 儲存體帳戶)。
提供資料來源名稱和連接字串之後,請選取 [下一步:新增認知技能 (選擇性)]。
步驟 8 – 新增認知技能 (選擇性)
AI 擴充是索引子的擴充功能,可用來讓您的內容更易於搜尋。
您可以新增任何擴充,讓您的案例獲得更多好處。 完成時,選取 [下一步:自訂目標索引]。
步驟 9 – 自訂目標索引
在 [索引] 頁面上,您應該會看到欄位清單,其中有資料類型以及一系列用於設定索引屬性的核取方塊。 精靈可以根據中繼資料以及藉由對來源資料取樣來產生欄位清單。
您可以選取屬性資料行頂端的核取方塊來大量選取屬性。 針對應該傳回給用戶端應用程式且受限於全文檢索搜尋處理的每個欄位,請選擇 [可擷取] 和 [可搜尋]。 您會發現整數不是全文檢索或模糊可搜尋的 (數位會逐字評估,而且在篩選中通常很有用)。
如需詳細資訊,請檢閱索引屬性和語言分析器的描述。
請花一點時間檢閱您的選擇。 一旦執行精靈後,就會建立實體的資料結構,而且除非您捨棄並重新建立所有物件,否則將無法編輯這些欄位的大部分屬性。
完成時,選取 [下一步:建立索引子]。
步驟 10 – 建立索引子
最後一個步驟會建立索引子。 為索引子命名可讓索引子以獨立資源的形式存在,索引子可以獨立地排程及管理,而不會受制於索引和資料來源物件 (這兩個物件會在相同的精靈序列中建立)。
匯入資料精靈的輸出是一個索引子,其會編目資料來源,並將您所選取的資料匯入 Azure 認知搜尋上的索引中。
建立索引子時,您可以選擇依排程執行索引子,並新增變更偵測。 若要新增變更偵測,請指定「高水位線」資料行。
填寫此頁面之後,請選取 [提交]。
上限標準變更偵測原則
這個變更偵測原則依賴在上次更新資料列時擷取版本或時間的「上限標準」資料行。
需求
- 所有插入都有指定資料行的值。
- 所有項目更新變更資料行的值。
- 每次插入或更新都會增加此資料行的值。
不支援的資料行名稱
Azure 認知搜尋索引中的欄位名稱必須符合特定需求。 其中一個需求是不允許某些字元,例如「/」。 如果資料庫中的資料行名稱不符合這些需求,則索引結構描述偵測不會將您的資料行辨識為有效的欄位名稱,而且您不會看到該資料行列為索引的建議欄位。 一般而言,使用欄位對應可解決此問題,但入口網站中不支援欄位對應。
若要從資料表 (包含不支援的欄位名稱) 中的資料行編製內容索引,請在匯入資料處理的「轉換您的資料」階段期間,將資料行重新命名。 例如,您可以將名為「Billing code/Zip code」的資料行重新命名為「zipcode」。 索引結構描述偵測會將資料行重新命名,藉此將資料行辨識為有效的欄位名稱,並將其新增為索引定義的建議。
下一步
本文說明如何使用 Power Query 連接器來提取資料。 由於此預覽功能已中止,因此也會說明如何將現有的解決方案遷移至支援的案例。
若要深入了解索引子,請參閱 Azure 認知搜尋中的索引子。