Bagikan melalui

Instal agen penyerapan Azure Operator Insights dan konfigurasikan untuk mengunggah data

  • Artikel

Saat Anda mengikuti artikel ini, Anda menyiapkan agen penyerapan Azure Operator Insights pada komputer virtual (VM) di jaringan Anda dan mengonfigurasinya untuk mengunggah data ke Produk Data. Agen penyerapan ini mendukung pengunggahan:

  • File yang disimpan di server SFTP.
  • Aliran data Catatan Data Peristiwa (EDR) Mobile Content Cloud (MCC) yang dikonfirmasi.

Untuk gambaran umum agen penyerapan, lihat Gambaran umum agen penyerapan.

Prasyarat

Dari dokumentasi untuk Produk Data Anda, dapatkan:

  • Spesifikasi untuk VM tempat Anda berencana untuk menginstal agen VM.
  • Konfigurasi sampel untuk agen penyerapan.

Rekomendasi keamanan VM

VM yang digunakan untuk agen penyerapan harus disiapkan mengikuti praktik terbaik untuk keamanan. Kami merekomendasikan tindakan-tindakan berikut:

Jaringan

Saat menggunakan Azure VM:

  • Berikan alamat IP privat pada VM.
  • Konfigurasikan Network Security Group (NSG) untuk hanya mengizinkan lalu lintas jaringan pada port yang diperlukan untuk menjalankan agen dan memelihara VM.
  • Di luar ini, konfigurasi jaringan bergantung pada apakah akses terbatas disiapkan pada Produk Data (baik Anda menggunakan titik akhir layanan untuk mengakses akun penyimpanan input produk data). Beberapa konfigurasi jaringan mungkin dikenakan biaya tambahan, seperti jaringan virtual Azure antara VM dan akun penyimpanan input Produk Data.

Saat menggunakan VM lokal:

  • Konfigurasikan firewall untuk hanya mengizinkan lalu lintas jaringan pada port yang diperlukan untuk menjalankan agen dan memelihara VM.

Enkripsi disk

Pastikan enkripsi disk Azure diaktifkan (ini adalah default saat Anda membuat VM).

Versi OS

  • Selalu perbarui versi OS untuk menghindari kerentanan yang diketahui.
  • Konfigurasikan VM untuk memeriksa pembaruan sistem yang hilang secara berkala.

Access

Batasi akses ke VM ke sekumpulan pengguna minimal. Konfigurasikan pengelogan audit pada VM - misalnya, menggunakan paket audit Linux - untuk merekam upaya masuk dan tindakan yang diambil oleh pengguna yang masuk.

Kami menyarankan agar Anda membatasi jenis akses berikut.

  • Akses admin ke VM (misalnya, untuk menghentikan/memulai/menginstal agen penyerapan).
  • Akses ke direktori tempat log disimpan: /var/log/az-aoi-ingestion/.
  • Akses ke identitas atau sertifikat terkelola dan kunci privat untuk perwakilan layanan yang Anda buat selama prosedur ini.
  • Akses ke direktori untuk rahasia yang Anda buat di VM selama prosedur ini.

Microsoft Defender for Cloud

Saat menggunakan Azure VM, ikuti juga semua rekomendasi dari Microsoft Defender untuk Cloud. Anda dapat menemukan rekomendasi ini di portal dengan menavigasi ke VM, lalu memilih Keamanan.

Menyiapkan autentikasi ke Azure

Agen penyerapan harus dapat mengautentikasi dengan Azure Key Vault yang dibuat oleh Produk Data untuk mengambil kredensial penyimpanan. Metode autentikasi dapat berupa:

  • Perwakilan layanan dengan kredensial sertifikat. Jika agen penyerapan berjalan di luar Azure, seperti di jaringan lokal, Anda harus menggunakan metode ini.
  • Identitas terkelola. Jika agen penyerapan berjalan di Azure VM, kami merekomendasikan metode ini. Ini tidak memerlukan penanganan kredensial apa pun (tidak seperti perwakilan layanan).

Penting

Anda mungkin memerlukan administrator penyewa Microsoft Entra di organisasi Anda untuk melakukan penyiapan ini untuk Anda.

Menggunakan identitas terkelola untuk autentikasi

Jika agen penyerapan berjalan di Azure, kami merekomendasikan identitas terkelola. Untuk informasi selengkapnya, lihat gambaran umum identitas terkelola.

Catatan

Agen penyerapan di Azure VM mendukung identitas terkelola yang ditetapkan sistem dan ditetapkan pengguna. Untuk beberapa agen, identitas terkelola yang ditetapkan pengguna lebih sederhana karena Anda dapat mengotorisasi identitas ke Data Product Key Vault untuk semua VM yang menjalankan agen.

  1. Buat atau dapatkan identitas terkelola yang ditetapkan pengguna, dengan mengikuti instruksi dalam Mengelola identitas terkelola yang ditetapkan pengguna. Jika Anda berencana menggunakan identitas terkelola yang ditetapkan sistem, jangan membuat identitas terkelola yang ditetapkan pengguna.
  2. Ikuti instruksi dalam Mengonfigurasi identitas terkelola untuk sumber daya Azure pada VM menggunakan portal Azure sesuai dengan jenis identitas terkelola yang digunakan.
  3. Perhatikan ID Objek identitas terkelola. ID Objek adalah UUID dari bentuk xxxxxxxx-xxxx-xxxx-xxxx-xxxx-xxx, di mana setiap karakter adalah digit heksadesimal.

Anda sekarang dapat memberikan izin untuk Data Product Key Vault.

Menggunakan perwakilan layanan untuk autentikasi

Jika agen penyerapan berjalan di luar Azure, seperti jaringan lokal maka Anda tidak dapat menggunakan identitas terkelola dan sebaliknya harus mengautentikasi ke Data Product Key Vault menggunakan perwakilan layanan dengan kredensial sertifikat. Setiap agen juga harus memiliki salinan sertifikat yang disimpan di komputer virtual.

Membuat perwakilan layanan

  1. Membuat atau mendapatkan perwakilan layanan ID Microsoft Entra. Ikuti instruksi yang dirinci dalam Membuat aplikasi Microsoft Entra dan perwakilan layanan di portal. Biarkan bidang URI Pengalihan kosong.
  2. Perhatikan ID Aplikasi (klien), dan ID Microsoft Entra Directory (penyewa) Anda (ID ini adalah UUID dari formulir xxxxxxxx-xxxx-xxxx-xxxx-xxx, di mana setiap karakter adalah digit heksadesimal).

Menyiapkan sertifikat untuk perwakilan layanan

Agen penyerapan hanya mendukung kredensial sertifikat untuk perwakilan layanan. Terserah Anda apakah Anda menggunakan sertifikat dan kunci yang sama untuk setiap VM, atau menggunakan sertifikat dan kunci unik untuk masing-masing. Menggunakan sertifikat per VM memberikan keamanan yang lebih baik dan memiliki dampak yang lebih kecil jika kunci bocor atau sertifikat kedaluwarsa. Namun, metode ini menambahkan kompleksitas pemeliharaan dan operasional yang lebih tinggi.

  1. Dapatkan satu atau beberapa sertifikat. Sebaiknya gunakan sertifikat tepercaya dari otoritas sertifikat. Sertifikat dapat dibuat dari Azure Key Vault: lihat Mengatur dan mengambil sertifikat dari Key Vault menggunakan portal Azure. Melakukannya memungkinkan Anda mengonfigurasi pemberitahuan kedaluwarsa dan memberi Anda waktu untuk meregenerasi sertifikat baru dan menerapkannya ke agen penyerapan Anda sebelum kedaluwarsa. Setelah sertifikat kedaluwarsa, agen tidak dapat mengautentikasi ke Azure dan tidak lagi mengunggah data. Untuk detail pendekatan ini, lihat Memperbarui sertifikat Azure Key Vault Anda. Jika Anda memilih untuk menggunakan Azure Key Vault, maka:
    • Azure Key Vault ini harus merupakan instans yang berbeda dengan Data Product Key Vault, baik yang sudah Anda kontrol, atau yang baru.
    • Anda memerlukan peran 'Petugas Sertifikat Key Vault' pada Azure Key Vault ini untuk menambahkan sertifikat ke Key Vault. Lihat Menetapkan peran Azure menggunakan portal Azure untuk detail cara menetapkan peran di Azure.
  2. Tambahkan sertifikat atau sertifikat sebagai kredensial ke perwakilan layanan Anda, setelah Membuat aplikasi Microsoft Entra dan perwakilan layanan di portal.
  3. Pastikan sertifikat tersedia dalam format PKCS#12 (P12), tanpa frasa sandi yang melindunginya.
    • Jika sertifikat disimpan di Azure Key Vault, unduh sertifikat dalam format PFX. PFX identik dengan P12.
    • Di Linux, Anda dapat mengonversi sertifikat dan kunci privat menggunakan OpenSSL. Saat dimintai kata sandi ekspor, tekan Enter untuk menyediakan frasa sandi kosong. Ini kemudian dapat disimpan di Azure Key Vault seperti yang diuraikan di langkah 1.
    openssl pkcs12 -nodes -export -in <certificate.pem> -inkey <key.pem> -out <certificate.p12>

Penting

File P12 tidak boleh dilindungi dengan frasa sandi.

  1. Validasi file P12 Anda. Ini menampilkan informasi tentang file P12 termasuk sertifikat dan kunci privat.

    openssl pkcs12 -nodes -in <certificate.p12> -info

  2. Pastikan file P12 dikodekan base64. Di Linux, Anda dapat mengodekan sertifikat P12 base64 dengan menggunakan base64 perintah .

    base64 -w 0 <certificate.p12> > <base64-encoded-certificate.p12>

Memberikan izin untuk Data Product Key Vault

  1. Temukan Azure Key Vault yang menyimpan kredensial penyimpanan untuk akun penyimpanan input. Key Vault ini berada dalam grup sumber daya bernama <data-product-name>-HostedResources-<unique-id>.
  2. Berikan peran 'Pengguna Rahasia Key Vault' kepada perwakilan layanan Anda pada Key Vault ini. Anda memerlukan izin tingkat Pemilik pada langganan Azure Anda. Lihat Menetapkan peran Azure menggunakan portal Azure untuk detail cara menetapkan peran di Azure.
  3. Perhatikan nama Key Vault.

Menyiapkan server SFTP

Bagian ini hanya diperlukan untuk sumber penarikan SFTP.

Pada server SFTP:

  1. Pastikan port 22/TCP ke VM terbuka.
  2. Buat pengguna baru, atau tentukan pengguna yang sudah ada di server SFTP yang harus digunakan agen penyerapan untuk menyambungkan ke server SFTP.
    • Secara default agen penyerapan mencari setiap direktori di bawah jalur dasar, sehingga pengguna ini harus dapat membaca semuanya. Direktori apa pun yang tidak memiliki izin untuk diakses pengguna harus dikecualikan menggunakan exclude_pattern konfigurasi.

    Catatan

    Secara implisit mengecualikan direktori dengan tidak menentukannya dalam pola yang disertakan tidak cukup untuk menghentikan agen yang mencari direktori tersebut. Lihat referensi konfigurasi untuk detail selengkapnya tentang mengecualikan direktori.

  3. Tentukan metode autentikasi yang harus digunakan agen penyerapan untuk menyambungkan ke server SFTP. Agen mendukung:
    • Autentikasi kata sandi
    • Autentikasi kunci SSH
  4. Konfigurasikan server SFTP untuk menghapus file setelah jangka waktu tertentu ( periode retensi). Pastikan periode retensi cukup lama sehingga agen harus memproses file sebelum server SFTP menghapusnya. Contoh file konfigurasi berisi konfigurasi untuk memeriksa file baru setiap lima menit.

Penting

Server SFTP Anda harus menghapus file setelah periode retensi yang sesuai sehingga tidak kehabisan ruang disk. Agen penyerapan tidak menghapus file secara otomatis.

Waktu retensi yang lebih singkat mengurangi penggunaan disk, meningkatkan kecepatan agen dan mengurangi risiko unggahan duplikat. Namun, periode retensi yang lebih pendek meningkatkan risiko data hilang jika data tidak dapat diambil oleh agen atau diunggah ke Azure Operator Insights.

Menyiapkan VM

Ulangi langkah-langkah ini untuk setiap VM tempat Anda ingin menginstal agen.

  1. Pastikan Anda memiliki sesi SSH yang terbuka untuk VM, dan Anda memiliki sudo izin.

  2. Instal systemd, logrotate, dan zip pada VM, jika belum ada. Contohnya:

    sudo dnf install systemd logrotate zip

  3. Jika Anda menggunakan perwakilan layanan, salin sertifikat P12 yang dikodekan base64 (dibuat dalam langkah Siapkan sertifikat ) ke VM, di lokasi yang dapat diakses oleh agen penyerapan.

  4. Konfigurasikan VM agen berdasarkan jenis sumber penyerapan.

    1. Verifikasi bahwa VM membuka port berikut. Port ini harus terbuka baik di grup keamanan jaringan cloud maupun di firewall apa pun yang berjalan di VM itu sendiri (seperti firewall atau iptable).
      • Port 443/TCP keluar ke Azure
      • Port 22/TCP keluar ke server SFTP
    2. Buat direktori yang akan digunakan untuk menyimpan rahasia untuk agen. Kami menyebut direktori ini sebagai direktori rahasia. Perhatikan jalurnya.
    3. Buat file di direktori rahasia yang berisi kata sandi atau kunci SSH privat untuk server SFTP.
      • File tidak boleh memiliki ekstensi file.
      • Pilih nama yang sesuai untuk file ini, dan catat untuk nanti. Nama ini dirujuk dalam konfigurasi agen.
      • File hanya boleh berisi nilai rahasia (kata sandi atau kunci SSH), tanpa spasi kosong tambahan.
    4. Jika Anda menggunakan kunci SSH yang memiliki frasa sandi untuk mengautentikasi, gunakan metode yang sama untuk membuat file terpisah yang berisi frasa sandi.
    5. Pastikan kunci SSH publik server SFTP tercantum pada file known_hosts global VM yang terletak di /etc/ssh/ssh_known_hosts.

    Tip

    Gunakan perintah ssh-keyscan Linux untuk menambahkan kunci publik SSH server ke file known_hosts VM secara manual. Contohnya,ssh-keyscan -H <server-ip> | sudo tee -a /etc/ssh/ssh_known_hosts.

Pastikan bahwa VM dapat mengatasi nama host Microsoft

Periksa apakah VM dapat mengatasi nama host publik ke alamat IP. Misalnya, buka sesi SSH dan gunakan dig login.microsoftonline.com untuk memeriksa apakah VM dapat diselesaikan login.microsoftonline.com ke alamat IP.

Jika VM tidak dapat menggunakan DNS untuk mengatasi nama host Microsoft publik ke alamat IP, petakan nama host yang diperlukan ke alamat IP. Kembali ke prosedur ini ketika Anda telah menyelesaikan konfigurasi.

Menginstal perangkat lunak agen

Paket perangkat lunak agen dihosting di "repositori perangkat lunak Linux untuk produk Microsoft" di https://packages.microsoft.com

Nama paket agen penyerapan adalah az-aoi-ingestion.

Untuk mengunduh dan menginstal paket dari repositori perangkat lunak, ikuti langkah-langkah yang relevan untuk distribusi Linux VM Anda di Cara menginstal paket perangkat lunak Microsoft menggunakan Repositori Linux.

Misalnya, jika Anda menginstal pada VM yang menjalankan Red Hat Enterprise Linux (RHEL) 8, ikuti instruksi di bawah judul distribusi Linux berbasis Red Hat, menggantikan parameter berikut:

  • Distribusi: rhel
  • Versi: 8
  • nama paket: az-aoi-ingestion

Mengonfigurasi perangkat lunak agen

Konfigurasi yang Anda butuhkan khusus untuk jenis sumber dan Produk Data Anda. Pastikan Anda memiliki akses ke dokumentasi Produk Data Anda untuk melihat nilai yang diperlukan. Contohnya:

  1. Koneksi ke VM melalui SSH.

  2. Ubah ke direktori konfigurasi.

    cd /etc/az-aoi-ingestion

  3. Buat salinan file konfigurasi default.

    sudo cp example_config.yaml config.yaml

  4. Atur agent_id bidang ke pengidentifikasi unik untuk instans agen – misalnya london-sftp-1. Nama ini menjadi metadata yang dapat dicari di Wawasan Operator untuk semua data yang diserap oleh agen ini. Karakter URL yang dicadangkan harus dikodekan persen.

  5. Konfigurasikan bagian .secret_providers

    Sumber SFTP memerlukan dua jenis penyedia rahasia.

    • Penyedia rahasia jenis key_vault, yang berisi detail yang diperlukan untuk menyambungkan ke Azure Key Vault Produk Data dan memungkinkan koneksi ke akun penyimpanan input Produk Data.
    • Penyedia rahasia jenis file_system, yang menentukan direktori pada VM untuk menyimpan kredensial untuk menyambungkan ke server SFTP.
    1. Untuk penyedia rahasia dengan jenis key_vault dan nama data_product_keyvault, atur bidang berikut.
    2. Untuk penyedia rahasia dengan jenis file_system dan nama local_file_system, atur bidang berikut.
      • secrets_directory ke jalur absolut ke direktori rahasia pada agen VM, yang dibuat di langkah Siapkan VM .

    Anda dapat menambahkan lebih banyak penyedia rahasia (misalnya, jika Anda ingin mengunggah ke beberapa Produk Data) atau mengubah nama penyedia rahasia default.

  6. Konfigurasikan bagian pipelines menggunakan konfigurasi contoh dan dokumentasi Produk Data Anda. Masing-masing pipeline memiliki tiga bagian konfigurasi.

    • id. ID mengidentifikasi alur dan tidak boleh sama dengan ID alur lain untuk agen penyerapan ini. Setiap karakter yang dipesan URL harus dikodekan persen. Lihat dokumentasi Produk Data Anda untuk rekomendasi apa pun.

    • source. Konfigurasi sumber mengontrol file mana yang diserap. Anda dapat mengonfigurasi beberapa sumber.

      Hapus semua alur dalam contoh kecuali contoso-logs contoh, yang berisi sftp_pull konfigurasi sumber.

      Perbarui contoh untuk memenuhi kebutuhan Anda. Bidang berikut diperlukan untuk setiap sumber.

      • host: nama host atau alamat IP server SFTP.
      • filtering.base_path: jalur ke folder di server SFTP tempat file akan diunggah ke Azure Operator Insights.
      • known_hosts_file: jalur pada VM ke file known_hosts global, yang terletak di /etc/ssh/ssh_known_hosts. File ini harus berisi kunci SSH publik dari server host SFTP seperti yang diuraikan dalam Menyiapkan VM.
      • user: nama pengguna di server SFTP yang harus digunakan agen untuk menyambungkan.
      • Bergantung pada metode autentikasi yang Anda pilih di Siapkan VM, atur atau passwordprivate_key.
        • Untuk autentikasi kata sandi, atur secret_name ke nama file yang berisi kata sandi di secrets_directory folder.
        • Untuk autentikasi kunci SSH, atur key_secret_name ke nama file yang berisi kunci SSH di secrets_directory folder. Jika kunci privat dilindungi dengan frasa sandi, atur passphrase_secret_name ke nama file yang berisi frasa sandi di secrets_directory folder.
        • Semua file rahasia harus memiliki izin 600 (rw-------), dan pemilik az-aoi-ingestion sehingga hanya agen penyerapan dan pengguna istimewa yang dapat membacanya.
        sudo chmod 600 <secrets_directory>/*
sudo chown az-aoi-ingestion <secrets_directory>/*

      Untuk nilai yang diperlukan atau direkomendasikan untuk bidang lain, lihat dokumentasi untuk Produk Data Anda.

      Tip

      Agen mendukung konfigurasi opsional tambahan untuk hal berikut:

      • Menentukan pola file dalam base_path folder yang akan diunggah (secara default semua file dalam folder diunggah).
      • Menentukan pola file dalam base_path folder yang seharusnya tidak diunggah.
      • Waktu dan tanggal sebelum file dalam folder tidak base_path akan diunggah.
      • Seberapa sering agen penyerapan mengunggah file (nilai yang disediakan dalam contoh file konfigurasi sesuai dengan setiap jam).
      • Waktu penetapan, yang merupakan periode waktu setelah file terakhir dimodifikasi bahwa agen akan menunggu sebelum diunggah (nilai yang disediakan dalam contoh file konfigurasi adalah 5 menit).

      Untuk informasi selengkapnya tentang opsi konfigurasi ini, lihat Referensi konfigurasi untuk agen penyerapan Azure Operator Insights.

    • sink. Kontrol konfigurasi sink mengunggah data ke akun penyimpanan input Produk Data.

      • Di bagian , sas_token atur secret_provider ke penyedia rahasia yang sesuai key_vault untuk Produk Data, atau gunakan default data_product_keyvault jika Anda menggunakan nama default sebelumnya. Biarkan secret_name tidak berubah.
      • Lihat dokumentasi Produk Data Anda untuk informasi tentang nilai yang diperlukan untuk parameter lain.

        Penting

        Bidang container_name harus diatur persis seperti yang ditentukan oleh dokumentasi Produk Data Anda.

Memulai perangkat lunak agen

  1. Mulai agen. 
    sudo systemctl start az-aoi-ingestion
  2. Periksa apakah agen sedang berjalan. 
    sudo systemctl status az-aoi-ingestion
    1. Jika Anda melihat status selain active (running), lihat log seperti yang dijelaskan di Memantau dan memecahkan masalah agen penyerapan untuk Wawasan Operator Azure untuk memahami kesalahan. Kemungkinan beberapa konfigurasi salah.
    2. Setelah Anda menyelesaikan masalah, coba mulai agen lagi.
    3. Jika masalah berlanjut, ajukan tiket dukungan.
  3. Setelah agen berjalan, pastikan agen dimulai secara otomatis setelah reboot. 
    sudo systemctl enable az-aoi-ingestion.service

[Opsional] Mengonfigurasi pengumpulan log untuk akses melalui Azure Monitor

Jika Anda menjalankan agen penyerapan di Azure VM atau di VM lokal yang tersambung oleh Azure Arc, Anda dapat mengirim log agen penyerapan ke Azure Monitor menggunakan Agen Azure Monitor. Menggunakan Azure Monitor untuk mengakses log bisa lebih sederhana daripada mengakses log langsung di VM.

Untuk mengumpulkan log agen penyerapan, ikuti dokumentasi Azure Monitor untuk menginstal Agen Azure Monitor dan mengonfigurasi pengumpulan log.

  • Dokumen ini menggunakan modul Az PowerShell untuk membuat tabel log. Ikuti dokumentasi penginstalan modul Az PowerShell terlebih dahulu.
    • Bagian YourOptionalColumn dari sampel $tableParams JSON tidak perlu untuk agen penyerapan, dan dapat dihapus.
  • Saat menambahkan sumber data ke aturan pengumpulan data Anda, tambahkan Custom Text Logs jenis sumber, dengan pola /var/log/az-aoi-ingestion/stdout.logfile .
  • Sebaiknya ikuti dokumentasi untuk menambahkan Linux Syslog Sumber data ke aturan pengumpulan data Anda, untuk memungkinkan audit semua proses yang berjalan pada VM.
  • Setelah menambahkan aturan pengumpulan data, Anda dapat mengkueri log agen penyerapan melalui ruang kerja Analitik Log. Gunakan kueri berikut untuk membuatnya lebih mudah dikerjakan: 
    <CustomTableName>
| extend RawData = replace_regex(RawData, '\\x1b\\[\\d{1,4}m', '')  // Remove any color tags
| parse RawData with TimeGenerated: datetime '  ' Level ' ' Message  // Parse the log lines into the TimeGenerated, Level and Message columns for easy filtering
| order by TimeGenerated desc

    Catatan

    Kueri ini tidak dapat digunakan sebagai transformasi sumber data, karena replace_regex tidak tersedia dalam transformasi sumber data.

Contoh log

[2m2024-04-30T17:16:00.000544Z[0m [32m INFO[0m [1msftp_pull[0m[1m{[0m[3mpipeline_id[0m[2m=[0m"test-files"[1m}[0m[2m:[0m[1mexecute_run[0m[1m{[0m[3mstart_time[0m[2m=[0m"2024-04-30 17:16:00.000524 UTC"[1m}[0m[2m:[0m [2maz_ingestion_sftp_pull_source::sftp::source[0m[2m:[0m Starting run with 'last checkpoint' timestamp: None
[2m2024-04-30T17:16:00.000689Z[0m [32m INFO[0m [1msftp_pull[0m[1m{[0m[3mpipeline_id[0m[2m=[0m"test-files"[1m}[0m[2m:[0m[1mexecute_run[0m[1m{[0m[3mstart_time[0m[2m=[0m"2024-04-30 17:16:00.000524 UTC"[1m}[0m[2m:[0m [2maz_ingestion_sftp_pull_source::sftp::source[0m[2m:[0m Starting Completion Handler task
[2m2024-04-30T17:16:00.073495Z[0m [32m INFO[0m [1msftp_pull[0m[1m{[0m[3mpipeline_id[0m[2m=[0m"test-files"[1m}[0m[2m:[0m[1mexecute_run[0m[1m{[0m[3mstart_time[0m[2m=[0m"2024-04-30 17:16:00.000524 UTC"[1m}[0m[2m:[0m [2maz_ingestion_sftp_pull_source::sftp::sftp_file_tree_explorer[0m[2m:[0m Start traversing files with base path "/"
[2m2024-04-30T17:16:00.086427Z[0m [32m INFO[0m [1msftp_pull[0m[1m{[0m[3mpipeline_id[0m[2m=[0m"test-files"[1m}[0m[2m:[0m[1mexecute_run[0m[1m{[0m[3mstart_time[0m[2m=[0m"2024-04-30 17:16:00.000524 UTC"[1m}[0m[2m:[0m [2maz_ingestion_sftp_pull_source::sftp::sftp_file_tree_explorer[0m[2m:[0m Finished traversing files
[2m2024-04-30T17:16:00.086698Z[0m [32m INFO[0m [1msftp_pull[0m[1m{[0m[3mpipeline_id[0m[2m=[0m"test-files"[1m}[0m[2m:[0m[1mexecute_run[0m[1m{[0m[3mstart_time[0m[2m=[0m"2024-04-30 17:16:00.000524 UTC"[1m}[0m[2m:[0m [2maz_ingestion_sftp_pull_source::sftp::source[0m[2m:[0m File explorer task is complete, with result Ok(())
[2m2024-04-30T17:16:00.086874Z[0m [32m INFO[0m [1msftp_pull[0m[1m{[0m[3mpipeline_id[0m[2m=[0m"test-files"[1m}[0m[2m:[0m[1mexecute_run[0m[1m{[0m[3mstart_time[0m[2m=[0m"2024-04-30 17:16:00.000524 UTC"[1m}[0m[2m:[0m [2maz_ingestion_sftp_pull_source::sftp::source[0m[2m:[0m Send files to sink task is complete
[2m2024-04-30T17:16:00.087041Z[0m [32m INFO[0m [1msftp_pull[0m[1m{[0m[3mpipeline_id[0m[2m=[0m"test-files"[1m}[0m[2m:[0m[1mexecute_run[0m[1m{[0m[3mstart_time[0m[2m=[0m"2024-04-30 17:16:00.000524 UTC"[1m}[0m[2m:[0m [2maz_ingestion_sftp_pull_source::sftp::source[0m[2m:[0m Processed all completion notifications for run
[2m2024-04-30T17:16:00.087221Z[0m [32m INFO[0m [1msftp_pull[0m[1m{[0m[3mpipeline_id[0m[2m=[0m"test-files"[1m}[0m[2m:[0m[1mexecute_run[0m[1m{[0m[3mstart_time[0m[2m=[0m"2024-04-30 17:16:00.000524 UTC"[1m}[0m[2m:[0m [2maz_ingestion_sftp_pull_source::sftp::source[0m[2m:[0m Run complete with no retryable errors - updating last checkpoint timestamp
[2m2024-04-30T17:16:00.087351Z[0m [32m INFO[0m [1msftp_pull[0m[1m{[0m[3mpipeline_id[0m[2m=[0m"test-files"[1m}[0m[2m:[0m[1mexecute_run[0m[1m{[0m[3mstart_time[0m[2m=[0m"2024-04-30 17:16:00.000524 UTC"[1m}[0m[2m:[0m [2maz_ingestion_sftp_pull_source::sftp::source[0m[2m:[0m Run lasted 0 minutes and 0 seconds with result: RunStats { successful_uploads: 0, retryable_errors: 0, non_retryable_errors: 0, blob_already_exists: 0 }
[2m2024-04-30T17:16:00.087421Z[0m [32m INFO[0m [1msftp_pull[0m[1m{[0m[3mpipeline_id[0m[2m=[0m"test-files"[1m}[0m[2m:[0m[1mexecute_run[0m[1m{[0m[3mstart_time[0m[2m=[0m"2024-04-30 17:16:00.000524 UTC"[1m}[0m[2m:[0m [2maz_ingestion_sftp_pull_source::sftp::file[0m[2m:[0m Closing 1 active SFTP connections
[2m2024-04-30T17:16:00.087966Z[0m [32m INFO[0m [1msftp_pull[0m[1m{[0m[3mpipeline_id[0m[2m=[0m"test-files"[1m}[0m[2m:[0m[1mexecute_run[0m[1m{[0m[3mstart_time[0m[2m=[0m"2024-04-30 17:16:00.000524 UTC"[1m}[0m[2m:[0m [2maz_ingestion_common::scheduler[0m[2m:[0m Run completed successfully. Update the 'last checkpoint' time to 2024-04-30T17:15:30.000543200Z
[2m2024-04-30T17:16:00.088122Z[0m [32m INFO[0m [1msftp_pull[0m[1m{[0m[3mpipeline_id[0m[2m=[0m"test-files"[1m}[0m[2m:[0m [2maz_ingestion_common::scheduler[0m[2m:[0m Schedule next run at 2024-04-30T17:17:00Z

Konten terkait

Pelajari cara: