مشاركة عبر

Stack CLI (قديم)

هام

تم إيقاف هذه الوثائق وقد لا يتم تحديثها.

تنطبق هذه المعلومات على إصدارات Databricks CLI القديمة 0.18 والإصدارات أدناه. توصي Databricks باستخدام الإصدار 0.205 أو أحدث من Databricks CLI بدلا من ذلك. راجع ما هو Databricks CLI؟. للعثور على إصدار Databricks CLI الخاص بك، قم بتشغيل databricks -v.

للترحيل من Databricks CLI الإصدار 0.18 أو أقل إلى Databricks CLI الإصدار 0.205 أو أعلى، راجع ترحيل Databricks CLI.

لا تدعم إصدارات Databricks CLI 0.205 والإصدارات الأحدث CLI المكدس. توصي Databricks باستخدام موفر Databricks Terraform بدلا من ذلك.

إشعار

يتطلب CLI المكدس Databricks CLI 0.8.3 أو أعلى.

يوفر CLI المكدس طريقة لإدارة مكدس موارد Azure Databricks، مثل الوظائف ودفاتر الملاحظات وملفات DBFS. يمكنك تخزين دفاتر الملاحظات وملفات DBFS محليا وإنشاء قالب JSON لتكوين المكدس الذي يحدد التعيينات من ملفاتك المحلية إلى المسارات في مساحة عمل Azure Databricks، إلى جانب تكوينات الوظائف التي تقوم بتشغيل دفاتر الملاحظات.

استخدم CLI المكدس مع قالب JSON لتكوين المكدس لنشر المكدس وإدارته.

يمكنك تشغيل أوامر CLI الفرعية لمكدس Databricks عن طريق إلحاقها ب databricks stack.

databricks stack --help

Usage: databricks stack [OPTIONS] COMMAND [ARGS]...

  [Beta] Utility to deploy and download Databricks resource stacks.

Options:
  -v, --version   [VERSION]
  --debug         Debug Mode. Shows full stack trace on error.
  --profile TEXT  CLI connection profile to use. The default profile is
                  "DEFAULT".
  -h, --help      Show this message and exit.

Commands:
  deploy    Deploy a stack of resources given a JSON configuration of the stack
    Usage: databricks stack deploy [OPTIONS] CONFIG_PATH
    Options:
       -o, --overwrite  Include to overwrite existing workspace notebooks and DBFS
                        files  [default: False]
  download  Download workspace notebooks of a stack to the local filesystem
            given a JSON stack configuration template.
    Usage: databricks stack download [OPTIONS] CONFIG_PATH
    Options:
       -o, --overwrite  Include to overwrite existing workspace notebooks in the
                        local filesystem   [default: False]

نشر مكدس إلى مساحة عمل

ينشر هذا الأمر الفرعي مكدسا. راجع إعداد المكدس لمعرفة كيفية إعداد مكدس.

databricks stack deploy ./config.json

يقدم قالب JSON لتكوين المكدس مثالا على config.json.

تنزيل تغييرات دفتر ملاحظات المكدس

يقوم هذا الأمر الفرعي بتنزيل دفاتر ملاحظات المكدس.

databricks stack download ./config.json

الأمثلة

إعداد المكدس

بنية ملف لمكدس مثال

tree

.
├── notebooks
|   ├── common
|   |   └── notebook.scala
|   └── config
|       ├── environment.scala
|       └── setup.sql
├── lib
|   └── library.jar
└── config.json

يحتوي هذا المكدس المثال على دفتر ملاحظات notebooks/common/notebook.scala رئيسي مع دفاتر ملاحظات التكوين في notebooks/config المجلد. هناك تبعية مكتبة JAR للمكدس في lib/library.jar. config.json هو قالب JSON لتكوين المكدس للمكدس. هذا هو ما يتم تمريره إلى CLI المكدس لنشر المكدس.

قالب JSON لتكوين المكدس

يصف قالب تكوين المكدس تكوين المكدس.

cat config.json

{
  "name": "example-stack",
  "resources": [
  {
    "id": "example-workspace-notebook",
    "service": "workspace",
    "properties": {
      "source_path": "notebooks/common/notebook.scala",
      "path": "/Users/example@example.com/dev/notebook",
      "object_type": "NOTEBOOK"
    }
  },
  {
    "id": "example-workspace-config-dir",
    "service": "workspace",
    "properties": {
      "source_path": "notebooks/config",
      "path": "/Users/example@example.com/dev/config",
      "object_type": "DIRECTORY"
    }
  },
  {
    "id": "example-dbfs-library",
    "service": "dbfs",
    "properties": {
      "source_path": "lib/library.jar",
      "path": "dbfs:/tmp/lib/library.jar",
      "is_dir": false
    }
  },
    {
      "id": "example-job",
      "service": "jobs",
      "properties": {
        "name": "Example Stack CLI Job",
        "new_cluster": {
          "spark_version": "7.3.x-scala2.12",
          "node_type_id": "Standard_DS3_v2",
          "num_workers": 3
        },
        "timeout_seconds": 7200,
        "max_retries": 1,
        "notebook_task": {
          "notebook_path": "/Users/example@example.com/dev/notebook"
        },
        "libraries": [
          {
            "jar": "dbfs:/tmp/lib/library.jar"
          }
        ]
      }
    }
  ]
}

يتم تعريف كل مهمة أو دفتر ملاحظات مساحة العمل أو دليل مساحة العمل أو ملف DBFS أو دليل DBFS على أنه ResourceConfig. يحتوي كل ResourceConfig من يمثل مساحة عمل أو أصل DBFS على تعيين من الملف أو الدليل حيث يوجد محليا (source_path) إلى المكان الذي سيكون موجودا فيه في مساحة العمل أو DBFS (path).

مخطط قالب تكوين المكدس يحدد مخطط قالب تكوين المكدس.

نشر مكدس

يمكنك نشر مكدس باستخدام databricks stack deploy <configuration-file> الأمر .

databricks stack deploy ./config.json

أثناء نشر المكدس، يتم تحميل أصول DBFS ومساحة العمل إلى مساحة عمل Azure Databricks ويتم إنشاء المهام.

في وقت نشر المكدس، يتم حفظ ملف StackStatus JSON للنشر في نفس الدليل مثل قالب تكوين المكدس بالاسم، مع إضافة deployed مباشرة قبل الملحق .json : (على سبيل المثال، ./config.deployed.json). يتم استخدام هذا الملف من قبل Stack CLI لتتبع الموارد المنشورة السابقة على مساحة العمل الخاصة بك.

مخطط حالة المكدس يوضح مخطط تكوين المكدس.

هام

لا تحاول تحرير ملف حالة المكدس أو نقله. إذا تلقيت أي أخطاء تتعلق ملف حالة المكدس، فاحذف الملف وحاول النشر مرة أخرى.

./config.deployed.json

{
  "cli_version": "0.8.3",
  "deployed_output": [
    {
      "id": "example-workspace-notebook",
      "databricks_id": {
        "path": "/Users/example@example.com/dev/notebook"
      },
      "service": "workspace"
    },
    {
      "id": "example-workspace-config-dir",
      "databricks_id": {
        "path": "/Users/example@example.com/dev/config"
      },
      "service": "workspace"
    },
    {
      "id": "example-dbfs-library",
      "databricks_id": {
        "path": "dbfs:/tmp/lib/library.jar"
      },
      "service": "dbfs"
    },
    {
      "id": "example-job",
      "databricks_id": {
        "job_id": 123456
      },
      "service": "jobs"
    }
  ],
  "name": "example-stack"
}

بنيات البيانات

في هذا القسم:

مخطط قالب تكوين المكدس

StackConfig

هذه هي الحقول الخارجية لقالب تكوين المكدس. كافة الحقول مطلوبة.

اسم الحقل النوع ‏‏الوصف
الاسم STRING اسم المكدس.
موارد قائمة تكوين الموارد أصل في Azure Databricks. ترتبط الموارد بثلاث خدمات (مساحات أسماء REST API): مساحة العمل والمهام وdbfs.

تكوين الموارد

الحقول لكل ResourceConfig. كافة الحقول مطلوبة.

اسم الحقل النوع الوصف
المعرف STRING معرف فريد للمورد. يتم فرض تفرد ResourceConfig.
service خدمة الموارد خدمة REST API التي يعمل عليها المورد. واحد من: jobs،
workspace، أو dbfs.
الخصائص خصائص الموارد تختلف الحقول في هذا استنادا إلى ResourceConfig الخدمة.

خصائص الموارد

خصائص مورد بواسطة ResourceService. يتم تصنيف الحقول على أنها تلك المستخدمة أو غير المستخدمة في Azure Databricks REST API. جميع الحقول المدرجة مطلوبة.

service الحقول من واجهة برمجة تطبيقات REST المستخدمة في Stack CLI الحقول المستخدمة فقط في Stack CLI
workspace path: STRING- مسارات مساحة العمل البعيدة لدفاتر الملاحظات أو الدلائل. (على سبيل المثال /Users/example@example.com/notebook)

object_type: واجهة برمجة تطبيقات مساحة العمل - نوع كائن دفتر الملاحظات. يمكن أن يكون NOTEBOOK فقط أو DIRECTORY.		 source_path: STRING- مسار المصدر المحلي لدفاتر ملاحظات مساحة العمل أو الدلائل. مسار نسبي لملف قالب تكوين المكدس أو مسار مطلق في نظام الملفات.
الوظائف أي حقل في الإعدادات أو بنية new_settings. الحقل الوحيد غير المطلوب في الإعدادات أو بنية new_settings ولكنه مطلوب لواجهة سطر الأوامر المكدسة هو:

الاسم: STRING- اسم المهمة التي سيتم نشرها. لأغراض عدم إنشاء عدد كبير جدا من المهام المكررة، يفرض Stack CLI أسماء فريدة في المهام الموزعة للمكدس.		 لا يوجد.
dbfs المسار: STRING- مطابقة مسار DBFS البعيد. يجب أن تبدأ ب dbfs:/. (على سبيل المثال) dbfs:/this/is/a/sample/path

is_dir: BOOL- ما إذا كان مسار DBFS هو دليل أو ملف.		 source_path: STRING- مسار المصدر المحلي لملفات أو أدلة DBFS. مسار نسبي إلى ملف قالب تكوين المكدس أو مسار مطلق في نظام الملفات.

خدمة الموارد

ينتمي كل مورد إلى خدمة معينة تتوافق مع Databricks REST API. هذه هي الخدمات التي يدعمها Stack CLI.

الخدمة ‏‏الوصف
workspace دفتر ملاحظات أو دليل مساحة عمل.
الوظائف وظيفة Azure Databricks.
dbfs ملف أو دليل DBFS.

مخطط حالة المكدس

StackStatus

يتم إنشاء ملف حالة المكدس بعد نشر مكدس باستخدام CLI. حقول المستوى الأعلى هي:

اسم الحقل النوع ‏‏الوصف
الاسم STRING اسم المكدس. هذا الحقل هو نفس الحقل الموجود في StackConfig.
cli_version STRING إصدار Databricks CLI المستخدم لنشر المكدس.
deployed_resources قائمة ResourceStatus حالة كل مورد تم نشره. لكل مورد محدد في StackConfig، يتم إنشاء ResourceStatus مطابق هنا.

ResourceStatus

اسم الحقل النوع الوصف
المعرف STRING معرف فريد للمكدس للمورد.
service خدمة الموارد خدمة REST API التي يعمل عليها المورد. واحد من: jobs،
workspace، أو dbfs.
databricks_id معرف Databricks المعرف الفعلي للمورد المنشور. يعتمد المخطط الفعلي على نوع (خدمة) المورد.

معرف Databricks

كائن JSON الذي يعتمد حقله على الخدمة.

الخدمة الحقل في JSON النوع ‏‏الوصف
workspace path سلسلة المسار المطلق لدفتر الملاحظات أو الدليل في مساحة عمل Azure Databricks. التسمية متناسقة مع واجهة برمجة تطبيقات مساحة العمل.
الوظائف job_id سلسلة معرف الوظيفة كما هو موضح في مساحة عمل Azure Databricks. يمكن استخدام هذا لتحديث المهام التي تم نشرها بالفعل.
dbfs path سلسلة المسار المطلق لدفتر الملاحظات أو الدليل في مساحة عمل Azure Databricks. التسمية متناسقة مع واجهة برمجة تطبيقات DBFS.
  • Last updated on