SQL Server Integration Services (SSIS)
Le service SSIS, de l'abréviation de l'anglicisme SQL Server Integration Services, permet de créer des solutions d'intégration et de transformation de données au niveau de l'entreprise. Ainsi, le SSIS (SQL Server Integration Services) est le point d'ancrage d'une suite croissante de produits composant la plate-forme Microsoft SQL Server Business Intelligence (BI). Ce qui rend SSIS si important, c'est que sans les fonctionnalités de déplacement et de nettoyage des données que SSIS apporte à la table, les autres produits SQL Server BI ne peuvent pas fonctionner. Quel est l'intérêt d'un cube, par exemple, avec des données erronées ou incohérentes ? Dans sa forme la plus simple, le SSIS est un outil ETL en mémoire au niveau de l'entreprise. Cependant, le SSIS n'est pas simplement un enveloppe sophistiqué autour d'un assistant d'importation. Dans un environnement de développement par glisser-déposer, les développeurs ETL peuvent assembler des flux de travail complexes et des flux de nettoyage de données prêts à l'emploi rivalisant avec le codage personnalisé et les outils tiers coûteux d'un million de dollars.
Ainsi, on utilisera le SSIS pour les raisons suivantes : l'outil SSIS vous aide à fusionner les données de divers magasins de données, automatisation des fonctions administratives et le chargement des données, remplit les magasins de données et les entrepôts de données, vous aide à nettoyer et à normaliser les données, intégration de la BI dans un processus de transformation des données, automatisation des fonctions administratives et du chargement des données, SSIS contient une interface graphique aidant les utilisateurs à transformer facilement les données plutôt que d'écrire de gros programmes, il peut charger des millions de lignes d'une source de données à une autre en très peu de minutes, identification, capture et traitement des modifications de données, coordonner la maintenance, le traitement ou l'analyse des données, SSIS élimine le besoin de programmeurs inconditionnels, SSIS offre une gestion robuste des erreurs et des événements.
Caractéristiques principales de SSIS
Voici quelques fonctionnalités de base importantes de SSIS :
- Environnements de studio
- Fonctions d'intégration de données pertinentes
- Vitesse de mise en oeuvre efficace
- Intégration étroite avec d'autres familles Microsoft SQL
- Transformation de requête d'exploration de données
- Recherche floue et transformations de regroupement
- Transformations d'extraction de termes et de recherche de termes
- Composantes de connectivité de données plus rapides tels que la connectivité à SAP ou Oracle.
Liste des versions
Avant le SSIS, le SQL Server 7 et SQL Server 2000 proposaient le Data Transformation Services (DTS). Finalement, ils ont fait place au SSIS dans SQL Server 2005 :
| Version | Description |
|---|---|
| SQL Server 2005 | L'équipe Microsoft a décidé de réorganiser DTS. Cependant, au lieu de mettre à jour DTS, ils ont décidé de nommer le produit Integration Services (SSIS). |
| SQL Server 2008 | De nombreuses améliorations de performances ont été apportées à SSIS. De nouvelles sources ont également été introduites. |
| SQL Server 2012 | C'était la plus grosse sortie de SSIS. Avec cette version, le concept du modèle de déploiement de projet a été introduit. Il autorise des projets entiers et leurs paquets sont déployés sur un serveur, à la place de paquets spécifiques. |
| SQL Server 2014 | Dans cette version, peu de modifications sont apportées à SSIS. Mais de nouvelles sources ou transformations ont été ajoutées, ce qui a été fait par des téléchargements séparés via CodePlex ou SQL Server Feature Pack. |
| SQL Server 2016 | La version SQL Server 2016 permet de déployer des projets entiers, au lieu de paquets individuels. Il existe des sources supplémentaires, en particulier l'infonuagique et les sources de données volumineuses et peu de modifications ont été apportées au catalogue. Mais de nombreuses incompatabilité existe avec les versions précédente. |
Architecture de SSIS
Toute solution d'intégration/transformation de données que vous créez à l'aide de SSIS comprend généralement un ou plusieurs projets. Un projet est un bassin de paquets. Un paquet contient les tâches nécessaires pour effectuer les opérations réelles d'extraction, de transformation et de chargement (ETL). Chaque paquet est enregistré sous forme de fichier .DTSX et fait partie d'un projet. Vous pouvez inclure un ou plusieurs paquets dans un projet.
Voici la signification de chacune des composantes :
| Composante | Description |
|---|---|
| Flux de contrôle | Le flux de contrôle est un cerveau du paquet SSIS. Il vous aide à organiser l'ordre d'exécution pour tous ses composantes. Les composantes contiennent des conteneurs et des tâches étant gérés par des contraintes de précédence. |
| Contraintes de préséance | Les contraintes de priorité sont des composantes de paquet dirigeant les tâches à exécuter dans un ordre prédéfini. Il définit également le flux de travail de l'ensemble du paquet SSIS. Il contrôle l'exécution des deux tâches liées en exécutant les tâches de destination sur la base du résultat de la tâche précédente, c'est-à-dire des règles métier définies à l'aide d'expressions spéciales. |
| Tâche | Une «tâche» est une unité de travail individuelle. C'est la même chose qu'une méthode/fonction utilisée dans un langage de programmation. Cependant, dans SSIS, vous n'utilisez pas de méthodes de codage. Au lieu de cela, vous utiliserez la technique du glisser-déposer pour concevoir la surface et les configurer. |
| Conteneurs | Le conteneur est constitué d'unités permettant de regrouper les tâches en unités de travail. En plus d'offrir une cohérence visuelle, il vous permet également de déclarer des variables et des gestionnaires d'événements devant être dans la portée de ce conteneur spécifique. Les quatre types de conteneurs dans SSIS sont : un conteneur de séquence, un conteneur de boucle For, conteneur de boucle Foreach, un conteneur de séquence : permet d'organiser des tâches subsidiaires en les regroupant, et vous permet d'appliquer des transactions ou d'affecter une journalisation au conteneur. Conteneur de boucle For : fournit les mêmes fonctionnalités que le conteneur de séquence, sauf qu'il vous permet également d'exécuter les tâches plusieurs fois. Cependant, il est basé sur une condition d'évaluation, comme un bouclage de 1 à 100. Pour chaque Loop Container : Il permet également le bouclage. Mais la différence qu'au lieu d'utiliser une expression de condition, la boucle est effectuée sur un ensemble d'objets, aime les fichiers dans un dossier. |
| Flux de données | L'utilisation principale de l'outil SSIS est d'extraire des données dans la mémoire du serveur, de les transformer et de les écrire vers une autre destination. Si Control Flow est le cerveau, Data Flow est le coeur de SSIS. |
| Paquets SSIS | Un autre élément central de SSIS est la notion de paquet. C'est un ensemble de tâches s'exécutant de manière ordonnée. Ici, les contraintes de président aident à gérer l'ordre dans lequel la tâche s'exécutera. Un paquet peut vous aider à enregistrer des fichiers sur un serveur SQL, dans la base de données MSDB ou catalogue de paquets. Il peut être enregistré en tant que fichier .dtsx, étant un fichier structuré très similaire aux fichiers .rdl de Reporting Services. |
| Paramètres | Les paramètres se comportent un peu comme une variable, à quelques exceptions près. Il peut être placé en dehors de l'emballage facilement. Il peut être désigné comme des valeurs devant être transmises pour que le paquet démarre. |
Types de tâches SSIS
Dans la boite à outils SSIS (SSIS Toolbox), vous pouvez ajouter une tâche pour le flux de contrôle. Il existe différents types de tâches effectuant différents types de travaux. Certaines tâches SSIS importantes sont mentionnées ci-dessous :
| Nom de la tâche (Anglais) | Nom de la tâche (français) | Description |
|---|---|---|
| Analysis Services Processing Task | Tâche de traitement de SQL Server Analysis Services | Cette tâche permet de traiter les objets d'un modèle tabulaire ou en tant que cube SSAS. |
| Bulk Insert Task | Tâche d'insertion en bloc | Cette tâche permet de charger des données dans une table à l'aide de la commande d'insertion en bloc. |
| CDC Control Task | CDC Control Task | Cette tâche permet de contrôler le cycle de vie des paquets de traitements des données modifiés. |
| Data Flow Task | Tâche de flux de données | Cette tâche permet de lire des données à partir d'une ou plusieurs sources. Transformez les données lorsqu'elles sont dans la mémoire et écrivez-les sur une ou plusieurs destinations. |
| Data Profiling Task | Tâche de profilage des données | Cette tâche permet d'indiquer le profile de source de données et identifie les problèmes de qualité des données. |
| Execute Package Task | Execute Package Task | Cette tâche SSIS permet d'exécuter d'autres paquets à partir du même projet. |
| Execute Process Task | Tâche d'exécution de processus | À l'aide de cette tâche, vous pouvez spécifier des paramètres de ligne de commande. |
| Execute SQL Task | Tâche d'exécution de requête SQL | Comme son nom l'indique, il exécutera une instruction SQL sur une base de données relationnelle. |
| Expression Task | Tâche d'expression | Cette tâche permet de générer et d'évaluer les expressions SSIS définissant les valeurs de variable au moment de l'exécution. |
| File System Task | Tâche de système de fichiers | Il effectue des manipulations dans le système de fichiers. Comme déplacer, renommer, supprimer des fichiers et créer des répertoires. |
| FTP Tasks | Tâche FTP | Il vous permet d'effectuer des fonctionnalités FTP de base. |
| Script Task | Tâche de script | C'est une tâche vide. Vous pouvez écrire du code NET exécutant n'importe quelle tâche que vous voulez effectuer. |
| Script Task | Tâche de script | Exécute un ensemble de codage VB.NET ou C# dans un environnement Visual Studio. |
| Send Mail Task | Tâche Envoyer un message | Vous pouvez envoyer un courriel pour informer les utilisateurs que votre colis est terminé ou qu'une erreur se produit. |
| Web Service Task | Tâche de service Web | Il exécute une méthode sur un service Web. |
| WMI Event Watcher Task | Tâche Lecteur de données WMI | Cette tâche permet au paquet SSIS d'attendre et de répondre à certains événements WMI. |
| XML Task | Tâche XML | Cette tâche vous aide à fusionner, diviser ou reformater n'importe quel fichier XML. |
Remarques
- Surveiller les SSIS : Le SSIS est une plate-forme pour les applications d'intégration de données et de flux de travail. Il dispose d'un outil d'entreposage de données utilisé pour l'extraction, la transformation et le chargement de données (ETL). En tant qu'entrepôt de données, le SSIS prend en charge l'analyse des données et agit comme un intermédiaire entre les outils d'analyse et les magasins de données opérationnelles. De nombreuses organisations s'appuient sur les capacités d'exploration et de portage de données de SSIS pour agréger, manipuler et exporter de gros volumes de données commerciales vers des outils de BI, afin que des analyses commerciales utiles puissent être dérivées et que des décisions commerciales prudentes puissent être prises. Dans de telles organisations, si, par exemple, l'exécution des paquets échoue/ralentit/rencontre des erreurs, des décisions commerciales opportunes ne peuvent pas être prises. Cela peut parfois faire subir à l'organisation des pertes énormes ! C'est pourquoi, il est important que les administrateurs surveillent les fonctions clefs de SSIS - c'est-à-dire l'exécution des paquets et le traitement des tâches de flux de données - à la recherche d'erreurs et d'incohérences, capturent rapidement les anomalies et éliminent ces problèmes avant qu'ils n'affectent la continuité de l'activité.
- Comment exécuter un paquet SSIS à l'aide de l'agent SQL Server : L'exécution d'un paquet SQL Server Integration Services à l'aide de SQL Server Agent consiste à créer et planifier un travail SQL Server Agent de type «SSIS». Une fois créé, vous pouvez soit l'exécuter lorsque vous le souhaitez, soit le laisser s'exécuter automatiquement (en fonction des horaires que vous avez définis).
Voir également
Lexique de fichiers - Format de fichier .DTSX
Logiciel - Visual Studio 2017 - Déploiement de SSIS sur un serveur SQL Server
Système d'exploitation - Windows - Référence des services Windows - SQL Server Integration Services 10.0