Migrasi dari Splunk ke Log Azure Monitor

Azure Monitor Logs adalah layanan pemantauan dan pengamatan terkelola berbasis cloud yang memberikan banyak keuntungan dalam hal manajemen biaya, skalabilitas, fleksibilitas, integrasi, dan overhead pemeliharaan rendah. Layanan ini dirancang untuk menangani data dalam jumlah besar dan menskalakan dengan mudah untuk memenuhi kebutuhan organisasi dari semua ukuran.

Log Azure Monitor mengumpulkan data dari berbagai sumber, termasuk log Peristiwa Windows, Syslog, dan log kustom, untuk memberikan tampilan terpadu dari semua sumber daya Azure dan non-Azure. Menggunakan bahasa kueri canggih dan visualisasi yang dikumpulkan, Anda dapat dengan cepat menganalisis jutaan rekaman untuk mengidentifikasi, memahami, dan merespons pola penting dalam data pemantauan Anda.

Artikel ini menjelaskan cara memigrasikan penyebaran Splunk Observability Anda ke Log Azure Monitor untuk pengelogan dan analisis data log.

Untuk informasi tentang memigrasikan penyebaran Security Information and Event Management (SIEM) Anda dari Splunk Enterprise Security ke Azure Sentinel, lihat Merencanakan migrasi Anda ke Microsoft Sentinel.

Mengapa bermigrasi ke Azure Monitor?

Manfaat migrasi ke Azure Monitor meliputi:

• Dikelola sepenuhnya, platform Software as a Service (SaaS) dengan:
  • Peningkatan dan penskalakan otomatis.
  • Harga prabayar per GB sederhana.
  • Fitur pengoptimalan dan pemantauan biaya dan log Dasar berhemat rendah.
• Pemantauan dan pengamatan cloud-native, termasuk:
  • Pemantauan end-to-end dalam skala besar.
  • Pemantauan asli sumber daya Azure.
  • Privasi dan kepatuhan.
• Integrasi asli dengan berbagai layanan Azure pelengkap, seperti Microsoft Sentinel untuk informasi keamanan dan manajemen peristiwa, Azure Logic Apps untuk otomatisasi, Azure Managed Grafana untuk dasbor, dan Azure Pembelajaran Mesin untuk kemampuan analisis dan respons tingkat lanjut.

Membandingkan penawaran

Penawaran Splunk	Produk	Penawaran Azure
Splunk Platform	Splunk Cloud Platform Splunk Enterprise	Azure Monitor Logs adalah platform perangkat lunak terpusat sebagai layanan (SaaS) untuk mengumpulkan, menganalisis, dan bertindak pada data telemetri yang dihasilkan oleh sumber daya dan aplikasi Azure dan non-Azure.
Pengamatan Splunk	Pemantauan Infrastruktur Splunk Pemantauan Performa Aplikasi Splunk Kecerdasan Layanan TI Splunk	Azure Monitor adalah solusi menyeluruh untuk mengumpulkan, menganalisis, dan bertindak berdasarkan telemetri dari lingkungan cloud, multicloud, dan lokal Anda, yang dibangun di atas alur penyerapan data canggih yang dibagikan dengan Microsoft Sentinel. Azure Monitor menawarkan solusi komprehensif bagi perusahaan untuk memantau lingkungan cloud, hibrid, dan lokal, dengan isolasi jaringan, fitur ketahanan, dan perlindungan dari kegagalan pusat data, pelaporan, serta peringatan dan kemampuan respons. Fitur bawaan Azure Monitor meliputi: Azure Monitor Insights - pengalaman pemantauan yang siap digunakan dan dikumpulkan dengan input data, pencarian, pemberitahuan, dan visualisasi yang telah dikonfigurasi sebelumnya. Application Insights - menyediakan Manajemen Performa Aplikasi (APM) untuk aplikasi web langsung. Azure Monitor AIOps dan kemampuan pembelajaran mesin bawaan - memberikan wawasan dan membantu Anda memecahkan masalah dan mengotomatiskan tugas berbasis data, seperti memprediksi penggunaan kapasitas dan penskalaan otomatis, mengidentifikasi dan menganalisis masalah performa aplikasi, dan mendeteksi perilaku anomali di komputer virtual, kontainer, dan sumber daya lainnya. Fitur-fitur ini bebas dari biaya instalasi.
Keamanan Splunk	Keamanan Perusahaan Splunk Kontrol Misi Splunk Splunk SOAR	Microsoft Sentinel adalah solusi cloud-native yang berjalan melalui platform Azure Monitor untuk menyediakan analitik keamanan cerdas dan inteligensi ancaman di seluruh perusahaan.

Pengantar konsep utama

Azure Monitor Logs	Konsep Splunk serupa	Deskripsi
Ruang kerja Log Analytics	Ruang nama	Ruang kerja Analitik Log adalah lingkungan tempat Anda dapat mengumpulkan data log dari semua sumber daya yang dipantau Azure dan non-Azure. Data di ruang kerja tersedia untuk kueri dan analisis, fitur Azure Monitor, dan layanan Azure lainnya. Mirip dengan namespace Splunk, Anda dapat mengelola akses ke data dan artefak, seperti pemberitahuan dan buku kerja, di ruang kerja Analitik Log Anda. Desain arsitektur ruang kerja Analitik Log Anda berdasarkan kebutuhan Anda - misalnya, penagihan terpisah, persyaratan penyimpanan data regional, dan pertimbangan ketahanan.
Manajemen tabel	Pengindeksan	Log Azure Monitor menyerap data log ke dalam tabel dalam database Azure Data Explorer terkelola. Selama penyerapan, layanan secara otomatis mengindeks dan menandai waktu data, yang berarti Anda dapat menyimpan berbagai jenis data dan mengakses data dengan cepat menggunakan kueri Bahasa Kueri Kusto (KQL). Gunakan properti tabel untuk mengelola skema tabel, retensi data, dan arsip, dan apakah akan menyimpan data untuk audit dan pemecahan masalah sesekali atau untuk analisis yang sedang berlangsung dan digunakan oleh fitur dan layanan. Untuk perbandingan konsep penanganan dan kueri data Splunk dan Azure Data Explorer, lihat Splunk ke peta Bahasa Kueri Kusto.
Paket data log Dasar dan Analitik		Azure Monitor Logs menawarkan dua paket data log yang memungkinkan Anda mengurangi biaya penyerapan dan retensi log dan memanfaatkan fitur dan kemampuan analitik tingkat lanjut Azure Monitor berdasarkan kebutuhan Anda. Paket Analitik membuat data log tersedia untuk kueri interaktif dan digunakan oleh fitur dan layanan. Paket data log Dasar menyediakan cara murah untuk menyerap dan menyimpan log untuk pemecahan masalah, penelusuran kesalahan, audit, dan kepatuhan.
Pengarsipan dan akses cepat ke data yang diarsipkan	Status wadah data (panas, hangat, dingin, dicukur), pengarsipan, Dynamic Data Active Archive (DDAA)	Opsi arsip hemat biaya menyimpan log Anda di ruang kerja Analitik Log dan memungkinkan Anda mengakses data log yang diarsipkan segera, saat Anda membutuhkannya. Perubahan konfigurasi arsip segera efektif karena data tidak ditransfer secara fisik ke penyimpanan eksternal. Anda dapat memulihkan data yang diarsipkan atau menjalankan pekerjaan pencarian untuk membuat rentang waktu tertentu dari data yang diarsipkan tersedia untuk analisis real time.
Kontrol akses	Akses pengguna berbasis peran, izin	Tentukan orang dan sumber daya mana yang dapat membaca, menulis, dan melakukan operasi pada sumber daya tertentu menggunakan kontrol akses berbasis peran (RBAC) Azure. Pengguna dengan akses ke sumber daya memiliki akses ke log sumber daya. Azure memfasilitasi keamanan data dan manajemen akses dengan fitur seperti peran bawaan, peran kustom, pewarisan izin peran, dan riwayat audit. Anda juga dapat mengonfigurasi akses tingkat ruang kerja dan akses tingkat tabel untuk kontrol akses terperinci ke jenis data tertentu.
Transformasi data	Transformasi, ekstraksi bidang	Transformasi memungkinkan Anda memfilter atau memodifikasi data masuk sebelum dikirim ke ruang kerja Analitik Log. Gunakan transformasi untuk menghapus data sensitif, memperkaya data di ruang kerja Analitik Log, melakukan penghitungan, dan memfilter data yang tidak perlu Anda kurangi biaya data.
Aturan pengumpulan data	Input data, alur data	Tentukan data mana yang akan dikumpulkan, cara mengubah data tersebut, dan tempat mengirim data.
Bahasa Kueri Kusto (KQL)	Splunk Search Processing Language (SPL)	Log Azure Monitor menggunakan subset besar KQL yang cocok untuk kueri log sederhana tetapi juga mencakup fungsionalitas tingkat lanjut seperti agregasi, gabungan, dan analitik pintar. Gunakan Splunk untuk Bahasa Kueri Kusto peta untuk menerjemahkan pengetahuan Splunk SPL Anda ke KQL. Anda juga dapat mempelajari KQL dengan tutorial dan modul pelatihan KQL.
Log Analytics	Splunk Web, Aplikasi pencarian, alat Pivot	Alat di portal Azure untuk mengedit dan menjalankan kueri log di Log Azure Monitor. Log Analytics juga menyediakan serangkaian alat yang kaya untuk menjelajahi dan memvisualisasikan data tanpa menggunakan KQL.
Pengoptimalan biaya		Azure Monitor menyediakan alat dan praktik terbaik untuk membantu Anda memahami, memantau, dan mengoptimalkan biaya berdasarkan kebutuhan Anda.

1. Pahami penggunaan Anda saat ini

Penggunaan Anda saat ini di Splunk akan membantu Anda memutuskan tingkat harga mana yang akan dipilih di Azure Monitor dan memperkirakan biaya Anda di masa mendatang:

• Ikuti panduan Splunk untuk melihat laporan penggunaan Anda.
• Perkiraan biaya Azure Monitor menggunakan Kalkulator Harga.

2. Menyiapkan ruang kerja Analitik Log

Ruang kerja Analitik Log adalah tempat Anda mengumpulkan data log dari semua sumber daya yang dipantau. Anda dapat menyimpan data di ruang kerja Analitik Log hingga tujuh tahun. Pengarsipan data berbiaya rendah dalam ruang kerja memungkinkan Anda mengakses data yang diarsipkan dengan cepat dan mudah saat Anda membutuhkannya, tanpa overhead mengelola penyimpanan data eksternal.

Sebaiknya kumpulkan semua data log Anda dalam satu ruang kerja Analitik Log untuk kemudahan manajemen. Jika Anda mempertimbangkan untuk menggunakan beberapa ruang kerja, lihat Mendesain arsitektur ruang kerja Analitik Log.

Untuk menyiapkan ruang kerja Analitik Log untuk pengumpulan data:

1. Membuat ruang kerja Analitik Log.

   Log Azure Monitor membuat tabel Azure di ruang kerja Anda secara otomatis berdasarkan layanan Azure yang Anda gunakan dan pengaturan pengumpulan data yang Anda tentukan untuk sumber daya Azure.

2. Konfigurasikan ruang kerja Analitik Log Anda, termasuk:

   1. Tingkat harga.
   2. Tautkan ruang kerja Analitik Log Anda ke kluster khusus untuk memanfaatkan kemampuan tingkat lanjut, jika Anda memenuhi syarat, berdasarkan tingkat harga.
   3. Batas harian.
   4. Retensi data.
   5. Isolasi jaringan.
   6. Kontrol akses.

3. Gunakan pengaturan konfigurasi tingkat tabel untuk:

   1. Tentukan paket data log setiap tabel.

      Paket data log default adalah Analytics, yang memungkinkan Anda memanfaatkan kemampuan pemantauan dan analitik Azure Monitor yang kaya.

   2. Atur kebijakan penyimpanan dan pengarsipan data untuk tabel tertentu, jika Anda memerlukannya agar berbeda dari retensi data tingkat ruang kerja dan kebijakan pengarsipan.

   3. Ubah skema tabel berdasarkan model data Anda.

3. Memigrasikan artefak Splunk ke Azure Monitor

Untuk memigrasikan sebagian besar artefak Splunk, Anda perlu menerjemahkan Splunk Processing Language (SPL) ke Bahasa Kueri Kusto (KQL). Untuk informasi selengkapnya, lihat Splunk untuk Bahasa Kueri Kusto peta dan Mulai menggunakan kueri log di Azure Monitor.

Tabel ini mencantumkan artefak splunk dan tautan ke panduan untuk menyiapkan artefak yang setara di Azure Monitor:

Artefak splunk	Artefak Azure Monitor
Peringatan	Aturan pemberitahuan
Tindakan pemberitahuan	Grup tindakan
Pemantauan Infrastruktur	Azure Monitor Insights adalah serangkaian pengalaman pemantauan yang siap digunakan dan dikumpulkan dengan input data, pencarian, pemberitahuan, dan visualisasi yang telah dikonfigurasi sebelumnya untuk membantu Anda mulai menganalisis data dengan cepat dan efektif.
Dashboard	Buku Kerja
Pencarian	Azure Monitor menyediakan berbagai cara untuk memperkaya data, termasuk: - Aturan pengumpulan data, yang memungkinkan Anda mengirim data dari beberapa sumber ke ruang kerja Analitik Log, dan melakukan perhitungan dan transformasi sebelum menyerap data. - Operator KQL, seperti operator gabungan, yang menggabungkan data dari tabel yang berbeda, dan operator data eksternal, yang mengembalikan data dari penyimpanan eksternal. - Integrasi dengan layanan, seperti Azure Pembelajaran Mesin atau Azure Event Hubs, untuk menerapkan pembelajaran mesin tingkat lanjut dan streaming dalam data tambahan.
Namaspace	Anda dapat memberikan atau membatasi izin ke artefak di Azure Monitor berdasarkan kontrol akses yang Anda tentukan di ruang kerja Log Analytics atau grup sumber daya Azure Anda.
Izin	Manajemen akses
Laporan	Azure Monitor menawarkan berbagai opsi untuk menganalisis, memvisualisasikan, dan berbagi data, termasuk: - Integrasi dengan Grafana - Insights - Buku Kerja - Dashboard - Integrasi dengan Power BI - Integrasi dengan Excel
Pencarian	Kueri
Jenis sumber	Tentukan model data Anda di ruang kerja Analitik Log Anda. Gunakan transformasi waktu penyerapan untuk memfilter, memformat, atau memodifikasi data masuk.
Metode pengumpulan data	Lihat Mengumpulkan data untuk alat Azure Monitor yang dirancang untuk sumber daya tertentu.

Untuk informasi tentang memigrasikan artefak Splunk SIEM, termasuk aturan deteksi dan otomatisasi SOAR, lihat Merencanakan migrasi Anda ke Microsoft Azure Sentinel.

4. Kumpulkan data

Azure Monitor menyediakan alat untuk mengumpulkan data dari sumber data log di sumber daya Azure dan non-Azure di lingkungan Anda.

Untuk mengumpulkan data dari sumber daya:

1. Siapkan alat pengumpulan data yang relevan berdasarkan tabel di bawah ini.
2. Tentukan data mana yang perlu Anda kumpulkan dari sumber daya.
3. Gunakan transformasi untuk menghapus data sensitif, memperkaya data atau melakukan perhitungan, dan memfilter data yang tidak Anda butuhkan, untuk mengurangi biaya.

Tabel ini mencantumkan alat yang disediakan Azure Monitor untuk mengumpulkan data dari berbagai jenis sumber daya.

Jenis Sumber Daya	Alat pengumpulan data	Alat Splunk serupa	Data yang dikumpulkan
Azure	Pengaturan diagnostik		Penyewa Azure - Log audit Microsoft Entra menyediakan riwayat aktivitas masuk dan jejak audit perubahan yang dilakukan dalam penyewa. Sumber daya Azure - Log dan penghitung kinerja. Langganan Azure - Kondisi layanan rekaman bersama dengan rekaman pada setiap perubahan konfigurasi yang dibuat pada sumber daya di langganan Azure Anda.
Aplikasi	Application Insights	Pemantauan Performa Aplikasi Splunk	Data pemantauan performa aplikasi.
Kontainer	Wawasan Kontainer	Pemantauan Kontainer	Data performa kontainer.
Sistem operasi	Agen Azure Monitor	Universal Forwarder, Heavy Forwarder	Memantau data dari sistem operasi tamu komputer virtual Azure dan non-Azure.
Sumber non-Azure	API Penyerapan Log	Pengumpul Peristiwa HTTP (HEC)	Log berbasis file dan data apa pun yang Anda kirim ke titik akhir pengumpulan data pada sumber daya yang dipantau.

5. Transisi ke Log Azure Monitor

Pendekatan umum adalah transisi ke Log Azure Monitor secara bertahap, sambil mempertahankan data historis di Splunk. Selama periode ini, Anda dapat:

• Gunakan API Penyerapan log untuk menyerap data dari Splunk.
• Gunakan ekspor data ruang kerja Analitik Log untuk mengekspor data dari Azure Monitor.

Untuk mengekspor data historis Anda dari Splunk:

1. Gunakan salah satu metode ekspor Splunk untuk mengekspor data dalam format CSV.
2. Untuk mengumpulkan data yang diekspor:

   1. Gunakan Agen Azure Monitor untuk mengumpulkan data yang Anda ekspor dari Splunk, seperti yang dijelaskan dalam Mengumpulkan log teks dengan Agen Azure Monitor.

      or

   2. Kumpulkan data yang diekspor langsung dengan API Penyerapan Log, seperti yang dijelaskan dalam Mengirim data ke Log Azure Monitor dengan menggunakan REST API.

Langkah berikutnya

• Pelajari selengkapnya tentang menggunakan Analitik Log dan API Kueri Analitik Log.
• Aktifkan Microsoft Azure Sentinel di ruang kerja Analitik Log Anda.
• Ambil modul Analisis log di Azure Monitor dengan pelatihan KQL.