無伺服器日誌傳遞會將應用程式日誌從無伺服器工作寫入 Unity Catalog 磁碟區。 工作區管理員會設定工作區的目的端,讓團隊能保留日誌並使用可觀測性工具處理。 日誌在工作完成後以非同步方式傳送。 傳送可能需要數分鐘,且會依處理與上傳時間而有所不同。
Important
這項功能位於 測試版 (Beta) 中。 要使用它,工作區管理員必須從預覽頁面開啟 Unity Catalog 磁碟區的無伺服器日誌傳遞功能。 請參閱 管理 Azure Databricks 預覽。
Requirements
- 一個具備無伺服器運算且啟用 Unity 目錄的工作空間。
- 無伺服器 環境版本 5 或以上版本。
- 用來設定日誌傳遞的工作區管理員角色 請參見 「將工作區管理員角色指派給使用者」。
- 工作空間已啟用 將無伺服器日誌傳遞至 Unity Catalog 磁碟區 預覽功能。 它可能已經啟用。 如果已停用該功能,工作區管理員可以在 預覽 頁面啟用。 啟用預覽後,設定會變得可用;但不會開始交付。
- 一個目標磁碟區。 設定交付的管理員需要在其目錄上具有
USE SCHEMA、在其結構描述上具有READ VOLUME,以及在磁碟區上具有WRITE VOLUME和USE CATALOG。 請參閱 Unity 目錄磁碟區的許可權。
Note
只設定傳遞到受信任且存取受限的磁碟區。 已交付的日誌可能包含敏感資訊,包括使用者電子郵件、儲存路徑、堆疊追蹤、內部識別碼及臨時簽署網址。 日誌不保證不含機密資訊。
對目的端有存取權的使用者可以閱讀已傳送的日誌,包括其他使用者作業的日誌。 相應地限制對該磁碟區的存取權限。
Limitations
無伺服器日誌傳遞僅支援無伺服器作業。 它不支援 Lakeflow 管線或互動式筆記本。
啟用日誌傳遞
工作區管理員必須啟用工作區的日誌傳遞功能。
- 從使用者選單開啟 設定 。
- 在 工作區管理員中,點選 「計算」。
- 在 日誌傳遞 區塊中,開啟 無伺服器日誌傳遞。
- 在 「設定日誌傳遞」中,輸入 磁碟區路徑,例如
/Volumes/observability/production/serverless_logs,或點擊資料夾圖示以瀏覽磁碟區。 - 選取儲存。 儲存目的地後,才能順利傳送。
這個設定適用於工作區層級。 你不需要分別設定每個工作。
讀取已送達的記錄
應用程式輸出包含使用者程式碼的標準輸出與標準錯誤,包括使用者定義函式(UDFs)。 使用 Catalog Explorer 瀏覽目的地磁碟區並檢查已交付的檔案。 請參閱 在 Unity Catalog 磁碟區中處理檔案。
日誌傳遞不提供叢集指標或查詢設定檔資訊。 使用工作執行頁面來調查執行狀態和效能,並參考應用程式日誌來調查。 請參見「監測湖流工作」。
使用 SQL 查詢已傳送的日誌
使用 read_files 查詢已傳送的文字檔。 在這個範例中,將磁碟區路徑替換成你的目標位置。 若要讀取日誌,你需要在目錄上具有 USE CATALOG、在結構描述上具有 USE SCHEMA,以及在磁碟區上具有 READ VOLUME。
建立一個暫存視圖,從檔案路徑中擷取工作與執行識別碼,並保留每一行日誌輸出:
CREATE OR REPLACE TEMPORARY VIEW serverless_job_logs AS
SELECT
regexp_extract(_metadata.file_path, '/job_id=([^/]+)/', 1) AS job_id,
regexp_extract(_metadata.file_path, '/job_run_id=([^/]+)/', 1) AS job_run_id,
regexp_extract(_metadata.file_path, '/task_run_id=([^/]+)/', 1) AS task_run_id,
_metadata.file_name AS file_name,
value AS log_line
FROM read_files(
'/Volumes/observability/production/serverless_logs/',
format => 'text'
);
尋找在各次工作執行中包含錯誤的行:
SELECT job_id, job_run_id, task_run_id, file_name, log_line
FROM serverless_job_logs
WHERE log_line LIKE '%ERROR%';
辨識錯誤行數最多的作業:
SELECT
job_id,
count(*) AS error_lines,
count(DISTINCT job_run_id) AS affected_runs
FROM serverless_job_logs
WHERE log_line LIKE '%ERROR%'
GROUP BY job_id
ORDER BY error_lines DESC;
這些查詢搜尋的是字面文字 ERROR。 調整過濾器以符合你應用程式的日誌格式。 請參閱 read_files 資料表值函式。
更改目的地或停用配送
要更改目的地,打開設定>>運算>日誌傳送,按一下卷名旁的鉛筆圖示,輸入或瀏覽至新路徑,然後按一下儲存。 儲存目的地會啟用配送,包括在配送被停用時。
若要停用傳送,請開啟 設定 > 運算 > 日誌傳送,並關閉 無伺服器日誌傳送。 設定會保留目的地,讓你可以再次啟用傳遞,而不必選擇其他磁碟區。 停用傳遞並不會移除已寫入該磁碟區的檔案。 另外要分別管理這些檔案的存取權和保留。
疑難排解遺失的記錄
如果工作完成後日誌未顯示:
- 請檢查是否已在 設定 > 運算 日誌傳遞 下啟用 >。 僅啟用預覽並不會開始傳送。
- 檢查已設定的磁碟區是否存在,且設定 Delivery 的管理員是否保留所需的權限。
- 確認該工作使用無伺服器運算並產生應用程式輸出。 在作業完成後,請再等候數分鐘,以完成非同步交付。 處理與上傳可能需要一些時間,因而延遲交付。
如需 classic compute log delivery,請參閱 Compute log delivery。