Teknologi Azure untuk proses pembelajaran

  • 8 menit

Dalam unit ini, Anda mempelajari cara menerapkan hasil langkah pengukuran dalam siklus hidup inovasi. Anda juga belajar tentang pentingnya demokratisasi data.

Demokratisasi data

Seperti yang telah dipelajari di unit sebelumnya, Anda dapat mengumpulkan data dari pelanggan dengan menggunakan beberapa sumber. Sumber ini mencakup survei mikro, data penggunaan yang diturunkan oleh Azure Application Insights, dan bendara fitur yang dapat diaktifkan atau dinonaktifkan oleh pelanggan. Semakin banyak data yang Anda miliki, semakin baik keputusan Anda, tetapi Anda memerlukan cara untuk menangani aliran data yang terus meningkat ini.

Pada tahun 2014, Satya Nadella berbicara tentang pentingnya budaya data dalam sebuah organisasi. Dia mengatakan bahwa keputusan tidak boleh dibuat berdasarkan perasaan atau pendapat subjektif, tetapi dengan menggunakan data untuk memvalidasinya. Dia juga berkata bahwa data harus tersedia untuk setiap individu yang membutuhkannya, dan harus mudah dikonversi menjadi wawasan yang dapat ditindaklanjuti untuk memudahkan pengambilan keputusan berbasis data.

Organisasi dapat membuat keputusan data yang meresap hanya jika keputusan didasarkan pada platform data yang solid dan dapat diakses. Upaya ini meliputi empat area:

  • Mengumpulkan data: Langkah pertama untuk pengambilan keputusan berdasarkan data adalah memiliki data. Pengumpulan data dapat memiliki berbagai bentuk: migrasi dari repositori data yang ada, pembuatan data menggunakan sumber baru seperti Azure Application Insights atau penyerapan data dari sumber lain.
  • Berbagi data: Data yang dikumpulkan harus tersedia bagi semua orang yang membutuhkannya, bukan hanya bagi pakar data. Semua individu di dalam organisasi harus dapat menggunakan data untuk mengambil keputusan.
  • Memusatkan data: Platform data terpusat dapat membantu memudahkan berbagi dan tata kelola data.
  • Mengatur data: Berbagi data tidak berarti bahwa semua data perlu tersedia untuk semua orang. Pastikan bahwa semua data sensitif aman, dilacak, dan diatur sebelum membagikannya.

Plaftorm data Azure

Platform Azure mencakup seluruh siklus hidup data, yang merupakan dasar untuk pengambilan keputusan berdasarkan data dan demokratisasi data. Mulai database ringan sesuai permintaan hingga gudang data besar atau sistem NoSQL yang fleksibel, platform data Azure memungkinkan Anda mencakup empat area aktivitas data.

Kumpulan data

Ekosistem data Azure mencakup layanan dan alat untuk memigrasikan, menyerap, menyimpan, dan menganalisis data. Daftar berikut ini hanya memperlihatkan beberapa mekanisme yang dapat Anda gunakan untuk memproses data dan membuatnya tersedia untuk dibagikan nanti untuk memfasilitasi pengambilan keputusan berbasis data:

  • Analitik data: Azure Synapse Analytics adalah layanan analitik perusahaan yang mempercepat waktu-ke-wawasan di seluruh gudang data dan sistem data. Azure Synapse Analytics menyatukan yang terbaik dari:
    • Teknologi SQL yang digunakan dalam pergudangan data perusahaan.
    • Teknologi Spark digunakan untuk big data.
    • Alur untuk integrasi data dan ETL (ekstrak, transformasi, muat) dan ELT (ekstrak, muat, transformasi).
    • Integrasi mendalam dengan layanan Microsoft lain seperti Power BI, Azure Cosmos DB, dan Azure Pembelajaran Mesin.
  • Migrasi data: Data mungkin sudah disimpan di sumber yang ada, tetapi perlu dimigrasikan ke platform modern sebelum dapat dikonversi menjadi wawasan yang dapat ditindaklanjuti. Azure Database Migration Service berisi alat yang membantu migrasi data dari sistem seperti SQL Server, PostgreSQL, Oracle, atau MongoDB.
  • Pemrosesan data: Azure menyertakan layanan untuk menganalisis dan mengubah aliran dengan Azure Stream Analytics, dan untuk menjalankan proses ETL dalam skala besar dengan Azure Data Factory.

Berbagi data

Microsoft Power BI adalah sekumpulan alat yang menggabungkan data dari berbagai sumber menjadi visualisasi interaktif yang terintegrasi. Pengguna dapat mendalami data hanya dengan mengoperasikan kontrol intuitif. Kekuatan wawasan tersedia untuk semua orang dalam organisasi, tidak hanya untuk profesional data.

Pemilik area dapat membuat laporan dan dasbor yang berisi informasi yang relevan seputar aspek spesifik aplikasi. Setelah fungsionalitas baru diperkenalkan untuk memvalidasi hipotesis, data sudah tersedia untuk memvalidasi atau menolak hipotesis berdasarkan penggunaan pelanggan nyata.

Microsoft Power BI dapat membantu berbagi data dari berbagai perspektif. Berikut adalah beberapa contoh:

  • Berbagi data dengan rekan kerja dan mitra: Dasbor Power BI menyederhanakan penggunaan data. Visualisasi memungkinkan orang yang bukan ahli data untuk mendalami data tanpa harus terbiasa dengan struktur yang mendasarinya.
  • Menghasilkan wawasan data dengan cepat: Power BI dapat secara otomatis menghasilkan visualisasi himpunan data dengan fungsionalitas Quick Insights. Anda dapat membuat dasbor dengan cepat dan menemukan korelasi data yang mungkin awalnya tidak jelas.
  • Menyematkan laporan di situs web atau portal: Dengan Power BI, Anda tidak hanya dapat mengakses visualisasi di portal Power BI asli, tetapi Anda juga dapat menyematkan laporan dan dasbor di aplikasi web lainnya. Dengan cara ini, pengguna tidak perlu keluar dari situs web perusahaan yang mereka kenal untuk menemukan data yang dibutuhkan guna proses pengambilan keputusan.

Pemusatan data

Masalah utama pemusatan data adalah skala pada tingkat yang berbeda. Dengan risiko penyederhanaan berlebihan, kita dapat menguranginya ke big data 3 V:

  • Volume: Azure Data Lake Storage Gen2 adalah platform Azure hemat biaya dan terukur untuk penyimpanan data. Berdasarkan skalabilitas masif yang disediakan oleh Azure Storage, Azure Data Lake Storage telah dirancang untuk melayani beberapa petabyte informasi sekaligus mempertahankan ratusan gigabit throughput.
  • Variasi: Istilah ini sering mengacu pada fakta bahwa data tidak selalu terstruktur. Anda mungkin memiliki data semi-terstruktur dan bahkan tidak terstruktur juga. Azure Synapse melengkapi area ini, karena menggabungkan teknologi SQL terbaik yang digunakan dalam pergudangan data perusahaan dengan Spark, yang sering digunakan untuk data besar.
  • Velositas: Masalah yang sering ditemukan dalam arsitektur data lama adalah interdependensi antara kapasitas penyimpanan, kecepatan analisis, dan tingkat penyerapan. Dalam solusi data Azure, organisasi dapat menskalakan berbagai dimensi platform secara independen dengan memisahkannya. Data dapat diserap, diproses, dan dibagikan menggunakan alur data yang menggunakan layanan data Azure yang diperlukan, seperti yang ditunjukkan oleh arsitektur kecerdasan bisnis perusahaan.

Tata kelola data

Di dunia saat ini, data mewakili aset penting dan tanggung jawab signifikan. Data yang disimpan sering kali mencakup informasi rahasia yang dapat mengakibatkan kerusakan finansial atau pribadi jika bocor atau dibagikan secara tidak tepat sasaran. Menyimpan dan memproses data secara implisit berarti bahwa organisasi menerima tanggung jawab tersebut. Peraturan hukum dapat mengakibatkan hukuman bagi organisasi yang salah menangani data pribadi atau rahasia.

Akibatnya, tata kelola data sangat penting untuk semua organisasi yang memiliki tujuan demokratisasi data. Langkah pertama untuk tata kelola data adalah mengklasifikasikan data yang memerlukan perlakuan khusus. Contoh, Microsoft menggunakan kategori data berikut secara internal untuk klasifikasi data:

  • Non-bisnis: Data yang berasal dari kehidupan pribadi Anda yang bukan milik Microsoft.
  • Publik: Data bisnis yang tersedia secara bebas dan disetujui sebagai konsumsi publik.
  • Umum: Data bisnis yang tidak dimaksudkan untuk audiens publik.
  • Rahasia: Data bisnis yang dapat merugikan Microsoft jika dibagikan secara sembarangan.
  • Sangat Rahasia: Data bisnis yang dapat menyebabkan kerugian besar bagi Microsoft jika dibagikan secara sembarangan.

Langkah selanjutnya setelah klasifikasi data adalah memastikan bahwa setiap kategori data telah terlindungi dari akses yang tidak sah. Azure mendukung berbagai teknologi yang menjunjung tinggi kerahasiaan:

  • Enkripsi data tidak aktif: Semua data Azure dienkripsi saat disimpan di pusat data Microsoft. Beberapa layanan Azure menawarkan fitur enkripsi tertentu, seperti enkripsi data transparan di Azure Synapse dan Azure SQL Database.
  • Enkripsi data dalam penerbangan: Semua layanan data Azure mengenkripsi data dengan TLS/SSL sebelum mengirimkannya melalui jaringan. Beberapa layanan, seperti Azure Storage, secara opsional juga dapat mengizinkan lalu lintas yang tidak terenkripsi. Organisasi harus menonaktifkan komunikasi yang tidak terenkripsi untuk semua jenis data sensitif.
  • Kontrol akses data: Azure menawarkan mekanisme autentikasi dan otorisasi yang canggih untuk akses ke platform Azure dan akses ke data itu sendiri. Kontrol akses berbasis peran Azure, Akses Bersyarat, dan Privileged Identity Management merupakan tiga contoh layanan penting yang dapat membantu memastikan bahwa hanya orang yang berwenang yang memiliki akses ke informasi sensitif.
  • Pengauditan data: Banyak standar kepatuhan peraturan menuntut bukti mekanisme perlindungan data dengan mendokumentasikan siapa yang telah melakukan operasi tertentu dan mengakses data tertentu. Seperti yang dijelaskan dalam Audit untuk Azure SQL Database dan Azure Synapse Analytics, audit data di Azure merenungkan tiga aspek audit:
    • Mempertahankan jejak audit dari peristiwa terpilih, yaitu Anda dapat menentukan kategori tindakan data yang akan diaudit.
    • Melaporkan aktivitas database, secara opsional dengan laporan dan dasbor yang telah dikonfigurasi sebelumnya untuk memulai dengan cepat.
    • Analisis laporan untuk mengungkap peristiwa yang mencurigakan, aktivitas yang tidak biasa, dan tren

Pola pikir berkembang

Fase belajar terkadang memberikan kabar buruk. Hipotesis yang Anda anggap benar mungkin berubah menjadi salah. Terbuka dengan ide alternatif adalah kunci agar proses inovasi berjalan lancar. Mungkin seluruh hipotesis salah, atau mungkin permasalahannya hanya pada cara prototipe dikembangkan.

Bagaimanapun, kesimpulan harus selalu didukung dengan data. Tim harus beralih ke perumusan hipotesis berikutnya, mungkin semacam revisi atau perulangan hipotesis awal.

Data yang ada tidak memungkinkan Anda untuk secara tegas menyimpulkan apakah hipotesis itu benar atau salah. Dalam hal ini, himpunan data yang membantu proses keputusan harus ditingkatkan. Perkenalkan titik telemetri baru dalam aplikasi atau cari tahu cara baru untuk mendapatkan informasi tentang pengalaman pelanggan.

Pola pikir berkembang sangat mendasar pada tahap ini. Pikirkan hipotesis yang terbukti salah atau sebagian salah sebagai peluang belajar. Organisasi tidak boleh membuang waktu pada inovasi yang tidak menghasilkan hasil bisnis yang diharapkan.

Di mana berikutnya

Kami lebih lanjut membahas banyak konsep dalam unit ini dalam dokumentasi Cloud Adoption Framework tentang demokratisasi data.