Mulai menggunakan data DICOM dalam beban kerja analitik

Artikel ini menjelaskan cara memulai dengan menggunakan data DICOM® dalam beban kerja analitik dengan Azure Data Factory dan Microsoft Fabric.

Prasyarat

Sebelum Memulai, selesaikan langkah-langkah berikut:

• Buat akun penyimpanan dengan kemampuan Azure Data Lake Storage Gen2 dengan mengaktifkan namespace hierarkis:
  • Buat kontainer untuk menyimpan metadata DICOM, misalnya, bernama dicom.
• Sebarkan instans layanan DICOM.
  • (Opsional) Sebarkan layanan DICOM dengan Data Lake Storage untuk mengaktifkan akses langsung ke file DICOM.
• Membuat instans Data Factory :
  • Aktifkan identitas terkelola yang ditetapkan sistem.
• Buat lakehouse di Fabric.
• Tambahkan penetapan peran ke identitas terkelola yang ditetapkan sistem Data Factory untuk layanan DICOM dan akun penyimpanan Data Lake Storage Gen2:
  • Tambahkan peran Pembaca Data DICOM untuk memberikan izin ke layanan DICOM.
  • Tambahkan peran Kontributor Data Blob Penyimpanan untuk memberikan izin ke akun Data Lake Storage Gen2.

Mengonfigurasi alur Data Factory untuk layanan DICOM

Dalam contoh ini, alur Data Factory digunakan untuk menulis atribut DICOM untuk instans, seri, dan studi ke akun penyimpanan dalam format tabel Delta.

Dari portal Azure, buka instans Data Factory dan pilih Luncurkan studio untuk memulai.

Membuat layanan tertaut

Alur Data Factory dibaca dari sumber data dan menulis ke sink data, yang biasanya merupakan layanan Azure lainnya. Koneksi ke layanan lain ini dikelola sebagai layanan tertaut.

Alur dalam contoh ini membaca data dari layanan DICOM dan menulis outputnya ke akun penyimpanan, sehingga layanan tertaut harus dibuat untuk keduanya.

Membuat layanan tertaut untuk layanan DICOM

1. Di Azure Data Factory Studio, pilih Kelola dari menu di sebelah kiri. Di bawah Koneksi, pilih Layanan tertaut lalu pilih Baru.

   

2. Pada panel Layanan tertaut baru, cari REST. Pilih petak PETA REST lalu pilih Lanjutkan.

   

3. Masukkan Nama dan Deskripsi untuk layanan tertaut.

   

4. Di bidang URL Dasar, masukkan URL layanan untuk layanan DICOM Anda. Misalnya, layanan DICOM bernama contosoclinic di contosohealth ruang kerja memiliki URL https://contosohealth-contosoclinic.dicom.azurehealthcareapis.comlayanan .

5. Untuk Jenis autentikasi, pilih Identitas Terkelola yang Ditetapkan Sistem.

6. Untuk sumber daya AAD, masukkan https://dicom.healthcareapis.azure.com. URL ini sama untuk semua instans layanan DICOM.

7. Setelah Anda mengisi bidang yang diperlukan, pilih Uji koneksi untuk memastikan peran identitas dikonfigurasi dengan benar.

8. Saat pengujian koneksi berhasil, pilih Buat.

Membuat layanan tertaut untuk Azure Data Lake Storage Gen2

1. Di Data Factory Studio, pilih Kelola dari menu di sebelah kiri. Di bawah Koneksi, pilih Layanan tertaut lalu pilih Baru.

2. Pada panel Layanan tertaut baru, cari Azure Data Lake Storage Gen2. Pilih petak peta Azure Data Lake Storage Gen2 lalu pilih Lanjutkan.

   

3. Masukkan Nama dan Deskripsi untuk layanan tertaut.

   

4. Untuk Jenis autentikasi, pilih Identitas Terkelola yang Ditetapkan Sistem.

5. Masukkan detail akun penyimpanan dengan memasukkan URL ke akun penyimpanan secara manual. Atau Anda dapat memilih langganan Azure dan akun penyimpanan dari menu dropdown.

6. Setelah Anda mengisi bidang yang diperlukan, pilih Uji koneksi untuk memastikan peran identitas dikonfigurasi dengan benar.

7. Saat pengujian koneksi berhasil, pilih Buat.

Membuat alur untuk data DICOM

Alur Data Factory adalah kumpulan aktivitas yang melakukan tugas, seperti menyalin metadata DICOM ke tabel Delta. Bagian ini merinci pembuatan alur yang secara teratur menyinkronkan data DICOM ke tabel Delta saat data ditambahkan ke, diperbarui, dan dihapus dari layanan DICOM.

1. Pilih Penulis dari menu di sebelah kiri. Di panel Sumber Daya Pabrik, pilih tanda plus (+) untuk menambahkan sumber daya baru. Pilih Alur lalu pilih Galeri templat dari menu.

   

2. Di galeri Templat, cari DICOM. Pilih petak Salin Perubahan Metadata DICOM ke ADLS Gen2 dalam Format Delta lalu pilih Lanjutkan.

   

3. Di bagian Input , pilih layanan tertaut yang sebelumnya dibuat untuk layanan DICOM dan akun Data Lake Storage Gen2.

   

4. Pilih Gunakan templat ini untuk membuat alur baru.

Membuat alur untuk data DICOM

Jika Anda membuat layanan DICOM dengan Azure Data Lake Storage, Anda perlu menggunakan templat kustom untuk menyertakan parameter baru fileName dalam alur metadata. Alih-alih menggunakan templat dari galeri templat, ikuti langkah-langkah ini untuk mengonfigurasi alur.

1. Unduh templat dari GitHub. File templat adalah folder terkompresi (zip). Anda tidak perlu mengekstrak file karena file sudah diunggah dalam bentuk terkompresi.

2. Di Azure Data Factory, pilih Penulis dari menu sebelah kiri. Pada panel Sumber Daya Pabrik, pilih tanda plus (+) untuk menambahkan sumber daya baru. Pilih Alur lalu pilih Impor dari templat alur.

3. Di jendela Buka , pilih templat yang Anda unduh. Pilih Buka.

4. Di bagian Input , pilih layanan tertaut yang dibuat untuk layanan DICOM dan akun Azure Data Lake Storage Gen2.

   

5. Pilih Gunakan templat ini untuk membuat alur baru.

Menjadwalkan alur

Alur dijadwalkan oleh pemicu. Ada berbagai jenis pemicu. Pemicu jadwal memungkinkan alur dipicu pada jadwal jam dinding, yang berarti mereka berjalan pada waktu tertentu dalam sehari, seperti setiap jam atau setiap hari pada tengah malam. Pemicu manual memicu alur sesuai permintaan, yang berarti alur berjalan kapan pun Anda inginkan.

Dalam contoh ini, pemicu jendela tumbling digunakan untuk menjalankan alur secara berkala mengingat titik awal dan interval waktu reguler. Untuk informasi selengkapnya tentang pemicu, lihat Eksekusi dan pemicu alur di Azure Data Factory atau Azure Synapse Analytics.

Membuat pemicu jendela tumbling baru

1. Pilih Penulis dari menu di sebelah kiri. Pilih alur untuk layanan DICOM dan pilih Tambahkan pemicu dan Baru/Edit dari bilah menu.

   

2. Pada panel Tambahkan pemicu , pilih menu dropdown Pilih pemicu lalu pilih Baru.

3. Masukkan Nama dan Deskripsi untuk pemicu.

   

4. Pilih jendela Tumbling sebagai Jenis.

5. Untuk mengonfigurasi alur yang berjalan per jam, atur Pengulangan ke 1 Jam.

6. Perluas bagian Tingkat Lanjut dan masukkan Penundaan 15 menit. Pengaturan ini memungkinkan operasi yang tertunda pada akhir jam selesai sebelum diproses.

7. Atur Konkurensi maksimum ke 1 untuk memastikan konsistensi di seluruh tabel.

8. Pilih OK untuk terus mengonfigurasi parameter eksekusi pemicu.

Mengonfigurasi parameter eksekusi pemicu

Pemicu menentukan kapan harus menjalankan alur. Mereka juga menyertakan parameter yang diteruskan ke eksekusi alur. Templat Salin Perubahan Metadata DICOM ke Delta menentukan beberapa parameter yang dijelaskan dalam tabel berikut ini. Jika tidak ada nilai yang disediakan selama konfigurasi, nilai default yang tercantum digunakan untuk setiap parameter.

Nama Parameter	Deskripsi	Nilai default
BatchSize	Jumlah maksimum perubahan yang diambil pada satu waktu dari umpan perubahan (maksimum 200)	200
ApiVersion	Versi API untuk layanan Azure DICOM (minimum 2)	2
StartTime	Waktu mulai inklusif untuk perubahan DICOM	0001-01-01T00:00:00Z
EndTime	Waktu akhir eksklusif untuk perubahan DICOM	9999-12-31T23:59:59Z
ContainerName	Nama kontainer untuk tabel Delta yang dihasilkan	dicom
InstanceTablePath	Jalur yang berisi tabel Delta untuk instans SOP DICOM dalam kontainer	instance
SeriesTablePath	Jalur yang berisi tabel Delta untuk seri DICOM dalam kontainer	series
StudyTablePath	Jalur yang berisi tabel Delta untuk studi DICOM dalam kontainer	study
RetentionHours	Retensi maksimum dalam jam untuk data dalam tabel Delta	720

1. Pada panel Parameter Eksekusi Pemicu, masukkan nilai ContainerName yang cocok dengan nama kontainer penyimpanan yang dibuat dalam prasyarat.

   

2. Untuk StartTime, gunakan variabel @formatDateTime(trigger().outputs.windowStartTime)sistem .

3. Untuk EndTime, gunakan variabel @formatDateTime(trigger().outputs.windowEndTime)sistem .

   Catatan

   Hanya pemicu jendela tumbling yang mendukung variabel sistem:

   • @trigger().outputs.windowStartTime dan
   • @trigger().outputs.windowEndTime

   Pemicu jadwal menggunakan variabel sistem yang berbeda:

   • @trigger().scheduledTime dan
   • @trigger().startTime

   Pelajari selengkapnya tentang jenis pemicu.

4. Pilih Simpan untuk membuat pemicu baru. Pilih Terbitkan untuk memulai pemicu Anda yang berjalan pada jadwal yang ditentukan.

   

Setelah pemicu diterbitkan, pemicu dapat dipicu secara manual dengan menggunakan opsi Picu sekarang . Jika waktu mulai ditetapkan untuk nilai di masa lalu, alur akan segera dimulai.

Memantau eksekusi alur

Anda dapat memantau eksekusi pemicu dan eksekusi alur terkait pada tab Monitor . Di sini, Anda dapat menelusuri kapan setiap alur berjalan dan berapa lama waktu yang dibutuhkan untuk berjalan. Anda juga dapat berpotensi men-debug masalah apa pun yang muncul.

Microsoft Fabric

Fabric adalah solusi analitik all-in-one yang berada di atas Microsoft OneLake. Dengan penggunaan Fabric lakehouse, Anda dapat mengelola, menyusun, dan menganalisis data di OneLake dalam satu lokasi. Setiap data di luar OneLake, yang ditulis ke Data Lake Storage Gen2, dapat dihubungkan ke OneLake sebagai pintasan untuk memanfaatkan rangkaian alat Fabric.

Membuat pintasan ke tabel metadata

1. Pergi ke lakehouse yang dibuat dalam prasyarat. Di tampilan Explorer, pilih menu elipsis (...) di samping folder Tabel.

2. Pilih Pintasan baru untuk membuat pintasan baru ke akun penyimpanan yang berisi data analitik DICOM.

   

3. Pilih Azure Data Lake Storage Gen2 sebagai sumber untuk pintasan.

   

4. Di bawah pengaturan Koneksi ion, masukkan URL yang Anda gunakan di bagian Layanan tertaut.

   

5. Pilih koneksi yang sudah ada atau buat koneksi baru dengan memilih jenis Autentikasi yang ingin Anda gunakan.

   Catatan

   Ada beberapa opsi untuk mengautentikasi antara Data Lake Storage Gen2 dan Fabric. Anda dapat menggunakan akun organisasi atau perwakilan layanan. Kami tidak merekomendasikan penggunaan kunci akun atau token tanda tangan akses bersama.

6. Pilih Selanjutnya.

7. Masukkan Nama Pintasan yang mewakili data yang dibuat oleh alur Data Factory. Misalnya, untuk instance tabel Delta, nama pintasan mungkin harus berupa instans.

8. Masukkan Sub Path yang cocok dengan ContainerName parameter dari konfigurasi parameter eksekusi dan nama tabel untuk pintasan. Misalnya, gunakan /dicom/instance untuk tabel Delta dengan jalur instance dalam dicom kontainer.

9. Pilih Buat untuk membuat pintasan.

10. Ulangi langkah 2 hingga 9 untuk menambahkan pintasan yang tersisa ke tabel Delta lainnya di akun penyimpanan (misalnya, series dan study).

Setelah Anda membuat pintasan, perluas tabel untuk memperlihatkan nama dan jenis kolom.

Membuat pintasan ke file

Jika Anda menggunakan layanan DICOM dengan Data Lake Storage, Anda juga dapat membuat pintasan ke data file DICOM yang disimpan di data lake.

1. Pergi ke lakehouse yang dibuat dalam prasyarat. Di tampilan Explorer, pilih menu elipsis (...) di samping folder File.

2. Pilih Pintasan baru untuk membuat pintasan baru ke akun penyimpanan yang berisi data DICOM.

   

3. Pilih Azure Data Lake Storage Gen2 sebagai sumber untuk pintasan.

   

4. Di bawah pengaturan Koneksi ion, masukkan URL yang Anda gunakan di bagian Layanan tertaut.

   

5. Pilih koneksi yang sudah ada atau buat koneksi baru dengan memilih jenis Autentikasi yang ingin Anda gunakan.

6. Pilih Selanjutnya.

7. Masukkan Nama Pintasan yang menjelaskan data DICOM. Misalnya, contoso-dicom-files.

8. Masukkan Sub Path yang cocok dengan nama kontainer penyimpanan dan folder yang digunakan oleh layanan DICOM. Misalnya, jika Anda ingin menautkan ke folder akar, Sub Path adalah /dicom/AHDS. Perhatikan bahwa folder akar selalu AHDS, tetapi Anda dapat secara opsional menautkan ke folder anak untuk ruang kerja tertentu atau instans layanan DICOM.

9. Pilih Buat untuk membuat pintasan.

Menjalankan notebook

Setelah tabel dibuat di lakehouse, Anda dapat mengkuerinya dari notebook Fabric. Anda dapat membuat buku catatan langsung dari lakehouse dengan memilih Buka Notebook dari bilah menu.

Pada halaman buku catatan, konten lakehouse masih dapat dilihat di sisi kiri, termasuk tabel yang baru ditambahkan. Di bagian atas halaman, pilih bahasa untuk buku catatan. Bahasa ini juga dapat dikonfigurasi untuk masing-masing sel. Contoh berikut menggunakan Spark SQL.

Mengkueri tabel dengan menggunakan Spark SQL

Di editor sel, masukkan kueri Spark SQL seperti SELECT pernyataan.

SELECT * from instance

Kueri ini memilih semua konten dari instance tabel. Saat Anda siap, pilih Jalankan sel untuk menjalankan kueri.

Setelah beberapa detik, hasil kueri muncul dalam tabel di bawah sel seperti contoh yang diperlihatkan di sini. Jumlah waktu mungkin lebih lama jika kueri Spark ini adalah yang pertama dalam sesi karena konteks Spark perlu diinisialisasi.

Mengakses data file DICOM di buku catatan

Jika Anda menggunakan templat untuk membuat alur dan membuat pintasan ke data file DICOM, Anda dapat menggunakan filePath kolom dalam instance tabel untuk menghubungkan metadata instans ke data file.

SELECT sopInstanceUid, filePath from instance

Ringkasan

Di artikel ini, Anda telah mempelajari cara:

• Gunakan templat Data Factory untuk membuat alur dari layanan DICOM ke akun Data Lake Storage Gen2.
• Konfigurasikan pemicu untuk mengekstrak metadata DICOM pada jadwal per jam.
• Gunakan pintasan untuk menyambungkan data DICOM di akun penyimpanan ke Fabric lakehouse.
• Gunakan buku catatan untuk mengkueri data DICOM di lakehouse.

Langkah berikutnya

• Alur dan aktivitas di Data Factory
• Menggunakan notebook Microsoft Fabric

Catatan

DICOM® adalah merek dagang terdaftar dari Asosiasi Produsen Listrik Nasional untuk publikasi Standar yang berkaitan dengan komunikasi digital informasi medis.