Condividi tramite

Uso di file esterni

  • Articolo

Nota

Azure HDInsight su AKS verrà ritirato il 31 gennaio 2025. Prima del 31 gennaio 2025, sarà necessario eseguire la migrazione dei carichi di lavoro a Microsoft Fabric o a un prodotto Azure equivalente per evitare interruzioni improvvise dei carichi di lavoro. I cluster rimanenti nella sottoscrizione verranno arrestati e rimossi dall’host.

Solo il supporto di base sarà disponibile fino alla data di ritiro.

Importante

Questa funzionalità è attualmente disponibile solo in anteprima. Le Condizioni per l'utilizzo supplementari per le anteprime di Microsoft Azure includono termini legali aggiuntivi che si applicano a funzionalità di Azure in versione beta, in anteprima o in altro modo non ancora disponibili a livello generale. Per informazioni su questa anteprima specifica, vedere Informazioni sull'anteprima di Azure HDInsight nel servizio Azure Kubernetes. Per domande o suggerimenti sulle funzionalità, inviare una richiesta in AskHDInsight con i dettagli e seguire Microsoft per altri aggiornamenti nella Community di Azure HDInsight.

Questo articolo fornisce informazioni dettagliate su come specificare e usare la configurazione di file esterni.

È possibile aggiungere le configurazioni per l’uso di file esterni nel cluster usando il modello di ARM. Per esempi più ampi, vedere Configurazione del servizio.

Prerequisiti

Aggiungere file esterni

Ogni specifica di file nel componente miscfiles in clusterProfile.serviceConfigsProfiles nel modello di ARM richiede:

  • fileName: nome simbolico del file da usare come riferimento in altre configurazioni. Questo nome non è un nome file fisico. Per usare un file esterno specificato in altre configurazioni, specificare ${MISC:\<fileName\>} e HDInsight su AKS sostituirà questo tag con il percorso di file effettivo in fase di esecuzione. Il valore fornito deve soddisfare le condizioni seguenti:

    • Non contenere più di 253 caratteri
    • Contenere solo caratteri alfanumerici minuscoli, - o .
    • Iniziare e terminare con un carattere alfanumerico

  • path: percorso del file relativo, inclusi il nome file e l’estensione, se applicabile. Trino con HDInsight su AKS garantisce solo la posizione di ogni file esterno specifico rispetto ad altri file esterni, il che significa che la directory di base può cambiare. Non è possibile presupporre nulla sul percorso assoluto dei file esterni, ad eccezione del fatto che termina con il valore specificato nella proprietà “path”.

  • content: stringa di escape JSON con contenuto di file. Il formato del contenuto è specifico per determinate funzionalità di Trino e può variare, ad esempio JSON per gruppi di risorse.

Nota

La configurazione errata potrebbe impedire l’avvio del cluster Trino. Prestare attenzione all’aggiunta delle configurazioni.

Nell’esempio seguente viene illustrato

  • Aggiungere JSON dei gruppi di risorse di esempio e configurare il coordinatore per usarlo.
"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "common",
                "files": [
                    {
                        "fileName": "resource-groups.properties",
                        "values": {
                            "resource-groups.configuration-manager": "file",
                            "resource-groups.config-file": "${MISC:resource-groups}"
                        }                                            
                    }
                ]
            },
            {
                "component": "miscfiles",
                "files": [
                    {
                        "fileName": "resource-groups",
                        "path": "/customDir/resource-groups.json",
                        "content": "{\"rootGroups\":[{\"name\":\"global\",\"softMemoryLimit\":\"80%\",\"hardConcurrencyLimit\":100,\"maxQueued\":1000,\"schedulingPolicy\":\"weighted\",\"jmxExport\":true,\"subGroups\":[{\"name\":\"data_definition\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":5,\"maxQueued\":100,\"schedulingWeight\":1},{\"name\":\"adhoc\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":50,\"maxQueued\":1,\"schedulingWeight\":10,\"subGroups\":[{\"name\":\"other\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":2,\"maxQueued\":1,\"schedulingWeight\":10,\"schedulingPolicy\":\"weighted_fair\",\"subGroups\":[{\"name\":\"${USER}\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":1,\"maxQueued\":100}]}]}]},{\"name\":\"admin\",\"softMemoryLimit\":\"100%\",\"hardConcurrencyLimit\":50,\"maxQueued\":100,\"schedulingPolicy\":\"query_priority\",\"jmxExport\":true}],\"selectors\":[{\"group\":\"global.adhoc.other.${USER}\"}],\"cpuQuotaPeriod\":\"1h\"}"
                    }
                ]
            }
        ]
    }

Distribuire il modello di Resource Manager aggiornato per riflettere le modifiche nel cluster. Informazioni su come distribuire un modello di Resource Manager.