Partager via

Nouveautés du système de plateforme Analytics, un entrepôt de données MPP avec montée en puissance parallèle

  • Article

Découvrez les nouveautés des dernières mises à jour de l’appliance pour microsoft Analytics Platform System (APS). APS est une appliance locale avec montée en puissance parallèle qui héberge MPP SQL Server Parallel Data Warehouse.

APS CU7.8

Date de publication - Novembre 2021

SCVMM2016

Le logiciel APS CU 7.8 ajoute la prise en charge de l’installation hors connexion de SCVMM2016.

Correctif de VMM avec la dernière version de SQL.

La version inclut également des mises à jour de sécurité et des correctifs de bogues supplémentaires.

APS CU7.7

Date de publication - Novembre 2020

SCVMM2016

APS CU7.7 met à niveau la machine virtuelle VMM vers Windows Server 2016 et installe SCVMM2016. SCVMM 2012 R2 actuellement en cours d’utilisation a une date de fin de vie de juillet 2022. La version plus récente de SCVMM doit être prise en charge pour rendre CU7.7 une mise à niveau obligatoire. Les clients sont invités à effectuer une mise à niveau vers CU7.7 dès que possible.

Adaptateur de destination SSIS pour SQL Server 2019 en tant que cible

Une nouvelle carte de destination APS SSIS qui prend en charge SQL Server 2019 en tant que cible de déploiement peut être téléchargée à partir du site de téléchargement.

APS CU7.6

Date de publication - Avril 2020

Renommer une colonne

Après la mise à niveau vers CU7.6, les clients pourront renommer une colonne d’une table créée par l’utilisateur. Pour plus d’informations, consultez RENAME (Transact-SQL) pour connaître la syntaxe, les exemples, les limitations et plus d’informations.

Modifier la vue

Les clients pourront désormais modifier les vues. Pour plus d’informations, consultez ALTER VIEW (Transact-SQL).

APS CU7.5

Date de publication - Septembre 2019

Modifier la source de données externe

Les clients pourront modifier la définition de source de données externe avec la mise à jour CU7.5. Les clients disposant d’une haute disponibilité du nœud de nom Hadoop peuvent désormais modifier la source de données pour modifier les arguments lorsqu’un basculement se produit. Pour APS, seul l’EMPLACEMENT, RESOURCE_MANAGER_LOCATION et CREDENTIAL peuvent être modifiés. Pour plus d’informations, consultez modifier la source de données externe.

Prise en charge de CDH 5.15 et 5.16 avec PolyBase

PolyBase sur APS avec la mise à jour CU7.5 prend désormais en charge les versions CDH 5.15 et 5.16 de la distribution Hadoop à partir de Cloudera. Utilisez l’option 6 pour les versions CDH 5.x.

support Try_Convert et Try_Cast

CU7.5 APS prend désormais en charge les fonctions tsql TRY_CAST et TRY_CONVERT . Ces deux fonctions retournent une valeur convertie en type de données spécifié si la conversion réussit ; sinon, retourne null.

APS CU7.4

Date de publication - Mai 2019

Chargement de lignes volumineuses avec dwloader

À partir d’APS CU7.4, les clients pourront utiliser un nouveau dwloader pour charger des lignes dans des tables supérieures à 32 Ko (32 768 octets). Le nouveau dwloader prend en charge le commutateur -l qui prend une valeur entière comprise entre 32768 et 33554432 (en octets) pour charger des lignes supérieures à 32 Ko. Utilisez cette option uniquement lors du chargement de lignes volumineuses (supérieures à 32 Ko), car ce commutateur alloue plus de mémoire sur le client et le serveur et peut ralentir les charges. Vous pouvez télécharger le nouveau dwloader à partir du site de téléchargement.

Prise en charge de HDP 3.0 et 3.1 avec PolyBase

PolyBase sur APS prend désormais en charge HDP 3.0 et 3.1 avec cette mise à jour. Utilisez l’option 7 pour les versions HDP 3.x. Pour plus d’informations, consultez la page de connectivité PolyBase.

Prise en charge des fichiers UTF16 avec PolyBase

PolyBase prend désormais en charge la lecture de fichiers texte délimités qui se trouvent dans l’encodage UTF16 (LE). Pour plus d’informations sur la configuration, consultez créer un format de fichier externe.

APS CU7.3

Date de publication - Décembre 2018

Élimination des sous-expressions communes

APS CU7.3 améliore les performances des requêtes avec l’élimination courante des sous-expressions dans l’optimiseur de requête SQL. L’amélioration améliore les requêtes de deux façons. Le premier avantage est la possibilité d’identifier et d’éliminer ces expressions pour réduire le temps de compilation SQL. Le deuxième avantage et plus important est les opérations de déplacement des données pour ces sous-expressions redondantes, ce qui permet d’éliminer le temps d’exécution des requêtes plus rapidement. Vous trouverez ici une explication détaillée de cette fonctionnalité.

Connecteur APS Informatica pour Informatica 10.2.0 publié

Nous avons publié une nouvelle version des connecteurs Informatica pour APS qui fonctionnent avec Informatica version 10.2.0 et 10.2.0 Correctif logiciel 1. Les nouveaux connecteurs peuvent être téléchargés à partir du site de téléchargement.

Note

Le connecteur APS Informatica pour Informatica 10.2.0 ou 10.2.0 Correctif logiciel 1 ne fonctionne pas sur TLS1.2 strict et nécessite que TLS1.0 et 1.1 soient entièrement fonctionnels.

Versions prises en charge

APS Version Informatica PowerCenter Pilote
APS 2016 9.6.1 SQL Server Native Client 11.x
APS 2016 et versions ultérieures 10.2.0, 10.2.0 Correctif logiciel 1 SQL Server Native Client 11.x

APS CU7.2

Date de publication - Octobre 2018

Prise en charge de TLS 1.2

APS CU7.2 prend en charge TLS 1.2. L’ordinateur client vers la communication entre APS et APS intra-nœud peut désormais être défini pour communiquer uniquement via TLS1.2. Les outils tels que SSDT, SSIS et Dwloader installés sur les ordinateurs clients qui sont définis pour communiquer uniquement via TLS 1.2 peuvent désormais se connecter à APS à l’aide de TLS 1.2. Par défaut, APS prend en charge toutes les versions TLS (1.0, 1.1 et 1.2) pour la compatibilité descendante. Si vous souhaitez définir votre appliance APS pour qu’elle utilise strictement TLS 1.2, vous pouvez le faire en modifiant les paramètres du Registre.

Pour plus d’informations, consultez la configuration de TLS1.2 sur APS.

Prise en charge de la zone de chiffrement Hadoop pour PolyBase

PolyBase peut désormais communiquer avec les zones de chiffrement Hadoop. Consultez les modifications de configuration APS nécessaires pour configurer la sécurité Hadoop.

Options d’insertion-sélection de maxdop

Nous avons ajouté un commutateur de fonctionnalité qui vous permet de choisir des paramètres maxdop supérieurs à 1 pour les opérations insert-select. Vous pouvez maintenant définir le paramètre maxdop sur 0, 1, 2 ou 4. La valeur par défaut est 1.

Important

L’augmentation de maxdop peut parfois entraîner des opérations plus lentes ou des erreurs d’interblocage. Si cela se produit, revenez au paramètre maxdop 1 et réessayez l’opération.

DMV d’intégrité de l’index ColumnStore

Vous pouvez afficher les informations d’intégrité de l’index columnstore à l’aide de dm_pdw_nodes_db_column_store_row_group_physical_stats dmv. Utilisez la vue suivante pour déterminer la fragmentation et décider quand reconstruire ou réorganiser un index columnstore.

create view dbo.vCS_rg_physical_stats
as 
with cte
as
(
select   tb.[name]                    AS [logical_table_name]
,        rg.[row_group_id]            AS [row_group_id]
,        rg.[state]                   AS [state]
,        rg.[state_desc]              AS [state_desc]
,        rg.[total_rows]              AS [total_rows]
,        rg.[trim_reason_desc]        AS trim_reason_desc
,        mp.[physical_name]           AS physical_name
FROM    sys.[schemas] sm
JOIN    sys.[tables] tb               ON  sm.[schema_id]          = tb.[schema_id]                             
JOIN    sys.[pdw_table_mappings] mp   ON  tb.[object_id]          = mp.[object_id]
JOIN    sys.[pdw_nodes_tables] nt     ON  nt.[name]               = mp.[physical_name]
JOIN    sys.[dm_pdw_nodes_db_column_store_row_group_physical_stats] rg      ON  rg.[object_id]     = nt.[object_id]
                                                                            AND rg.[pdw_node_id]   = nt.[pdw_node_id]
                                        AND rg.[pdw_node_id]    = nt.[pdw_node_id]                                          
)
select *
from cte;

Augmentation de la plage de dates PolyBase pour les fichiers ORC et Parquet

La lecture, l’importation et l’exportation de types de données de date à l’aide de PolyBase prennent désormais en charge les dates antérieures à 1970-01-01 et après 2038-01-20 pour les types de fichiers ORC et Parquet.

Adaptateur de destination SSIS pour SQL Server 2017 en tant que cible

Une nouvelle carte de destination SSIS APS qui prend en charge SQL Server 2017 en tant que cible de déploiement peut être téléchargée à partir du site de téléchargement.

APS CU7.1

Date de publication - Juillet 2018

Les commandes DBCC ne consomment pas d’emplacements d’accès concurrentiel (changement de comportement)

APS prend en charge un sous-ensemble des commandes T-SQL DBCC telles que DBCC DROPCLEANBUFFERS. Auparavant, ces commandes consommaient un emplacement d’accès concurrentiel, réduisant ainsi le nombre de chargements/requêtes utilisateur qui pouvaient être exécutés. Les DBCC commandes sont désormais exécutées dans une file d’attente locale qui n’utilise pas d’emplacement d’accès concurrentiel utilisateur, ce qui améliore les performances globales de l’exécution des requêtes.

Remplace certains appels de métadonnées par des objets catalogue

L’utilisation d’objets catalogue pour les appels de métadonnées au lieu d’utiliser SMO a montré une amélioration des performances dans APS. À partir de CU7.1, certains de ces appels de métadonnées utilisent désormais des objets catalogue par défaut. Ce comportement peut être désactivé par commutateur de fonctionnalité si les clients qui utilisent des requêtes de métadonnées rencontrent des problèmes.

Correctifs de bogues

Nous avons effectué la mise à niveau vers SQL Server 2016 SP2 CU2 avec APS CU7.1. La mise à niveau résout certains problèmes décrits ci-dessous.

Civilité Description
Blocage potentiel du mover tuple La mise à niveau résout une possibilité longue d’interblocage dans une transaction distribuée et un thread d’arrière-plan du mover tuple. Après avoir installé CU7.1, les clients qui ont utilisé TF634 pour arrêter le déplacement de tuple en tant que paramètre de démarrage SQL Server ou indicateur de trace global peuvent le supprimer en toute sécurité.
Échec de la requête de décalage/de prospect Certaines requêtes sur les tables CCI avec des fonctions de décalage/prospect imbriquées qui feraient l’objet d’une erreur sont maintenant corrigées avec cette mise à niveau.

APS AU7

Date de publication - Mai 2018

APS 2016 est une condition préalable à la mise à niveau vers AU7. Voici les nouvelles fonctionnalités d’APS AU7 :

Créer et mettre à jour automatiquement des statistiques

APS AU7 crée et met à jour les statistiques automatiquement, par défaut. Pour mettre à jour les paramètres des statistiques, les administrateurs peuvent utiliser un nouvel élément de menu de commutateur de fonctionnalités dans Configuration Manager. Le commutateur de fonctionnalité contrôle le comportement de création automatique, de mise à jour automatique et de mise à jour asynchrone des statistiques. Vous pouvez également mettre à jour les paramètres de statistiques avec l’instruction ALTER DATABASE (Parallel Data Warehouse).

T-SQL

La sélection @var est désormais prise en charge. Pour plus d’informations, consultez sélectionner une variable locale

Les indicateurs de requête HASH et ORDER GROUP sont désormais pris en charge. Pour plus d’informations, consultez Hints(Transact-SQL) - Requête

Commutateur de fonctionnalité

APS AU7 introduit le commutateur de fonctionnalités dans Configuration Manager. AutoStatsEnabled et DmsProcessStopMessageTimeoutInSeconds sont désormais des options configurables qui peuvent être modifiées par les administrateurs.

Problèmes connus

Avec le logiciel APS AU7, une mise à jour intel BIOS est fournie qui résout un problème décrit comme des attaques côté canal spéculative. Les attaques visent à exploiter ce qu’on appelle spectre et les vulnérabilités meltdown. Bien qu’empaquetée avec APS, la mise à jour du BIOS est installée manuellement et non dans le cadre de l’installation logicielle APS AU7.

Microsoft conseille à tous les clients d’installer le BIOS mis à jour. Microsoft a mesuré l’effet de l’ombre d’adresses virtuelles du noyau (KVAS), de la table de pages de noyau (KPTI) et de l’atténuation de prédiction de branche indirecte (IBP) sur différentes charges de travail SQL dans différents environnements. Les mesures ont détecté une dégradation significative de certaines charges de travail. En fonction des résultats, la recommandation est que vous testez l’effet de performances de l’activation de la mise à jour du BIOS avant de les déployer dans un environnement de production. Consultez les conseils de SQL Server ici.

APS 2016

Cette section a décrit les nouvelles fonctionnalités d’APS 2016-AU6.

SQL Server 2016

APS AU6 s’exécute sur la dernière version de SQL Server 2016 et utilise le niveau de compatibilité de base de données par défaut 130. SQL Server 2016 prend en charge les nouvelles fonctionnalités telles que :

  • Index secondaires pour les index columnstore cluster.
  • Kerberos pour PolyBase.

T-SQL

APS AU6 prend en charge ces améliorations de compatibilité T-SQL. Ces éléments de langage supplémentaires facilitent la migration à partir de SQL Server et d’autres sources de données.

Types de données

Fonctions Windows

Fonctions de sécurité

Fonctions supplémentaires

Améliorations de PolyBase/Hadoop

  • Compatibilité avec Hortonworks HDP 2.4 et HDP 2.5
  • Prise en charge kerberos par le biais d’informations d’identification délimitées à la base de données
  • Prise en charge des informations d’identification avec les objets blob stockage Azure

Améliorations apportées à l’installation et à la mise à niveau

L’architecture d’entreprise met à jour la mise à niveau de votre appliance existante vers APS AU6 installe les dernières mises à jour du microprogramme et des pilotes, notamment les correctifs de sécurité.

Une nouvelle appliance de HPE ou DELL inclut toutes les dernières mises à jour plus :

  • Prise en charge du processeur de dernière génération (Broadwell)
  • Mise à jour des DIMMS DDR4
  • Débit DIMM amélioré

Intégration

  • La prise en charge du nom de domaine complet (FQDN) permet de configurer une approbation de domaine sur l’appliance.
  • Pour utiliser le nom de domaine complet, vous devez effectuer une mise à niveau complète et vous inscrire pendant la mise à niveau.

L’installation ou la mise à niveau d’un temps d’arrêt réduit vers APS AU6 est plus rapide et nécessite moins de temps d’arrêt que les versions précédentes. Pour réduire les temps d’arrêt, installez ou mettez à niveau :

  • Simplifie l’application des mises à jour WSUS à l’aide d’une image qui contient toutes les mises à jour jusqu’en juin 2016
  • Applique les mises à jour de sécurité avec les mises à jour du pilote et du microprogramme
  • Place les derniers correctifs logiciels et l’utilitaire de vérification de l’appliance (PAV) sur votre appliance afin qu’ils soient prêts à être installés sans avoir à les télécharger.