Formation Cloud & DevOps au Maroc

1. Présentation des machines Azure

• Les machines virtuelles (VM) : Vue d’ensemble et fonctionnalités.
• Considérations de planification : Critères à prendre en compte pour une gestion optimale des VMs.

2. Création de machines virtuelles

• Présentation du processus de création : Étapes clés pour créer une VM.
• Création via différents outils :
  • Portail Azure.
  • Scripts PowerShell.
  • Modèles ARM (Azure Resource Manager).

3. Déploiement d’images de machines virtuelles

• Images personnalisées : Déploiement et gestion.
• VMs Linux : Configuration et déploiement spécifique.

4. Configuration des machines virtuelles

• Configuration du réseau : Connexions réseau et gestion des IP.
• Configuration du stockage : Optimisation des ressources pour des performances maximales.

5. Mise en œuvre de la haute disponibilité

• Disponibilité et scalabilité : Mise en place de solutions robustes et évolutives.
• Extensions pour VMs : Intégration et gestion des extensions Azure.

6. Gestion et surveillance des machines virtuelles

• Introduction aux réseaux virtuels (VNet) : Concepts de base.
• Création et configuration de réseaux virtuels Azure :
  • Adressage IP.
  • Routage.
• Azure DNS :
  • Présentation des services DNS.
  • Implémentation :
    • Domaines.
    • Zones DNS.
    • Types d’enregistrements.
    • Méthodes de résolution des noms.

7. Connexion de réseaux virtuels

• Connectivité inter-sites (VNet-to-VNet) : Configuration et cas d’usage.
• Virtual Network Peering : Création de liens entre réseaux pour une connectivité transparente.

8. Gestion de l’Active Directory Azure (Azure AD)

• Présentation des services Active Directory : Concepts et fonctionnalités.
• Self-Service Password Reset : Configuration et utilisation.
• Azure AD Identity Protection : Mise en œuvre des politiques de sécurité.
• Intégration des applications SaaS : Connexion sécurisée avec Azure AD.

9. Gestion des objets Active Directory

• Domaines : Création et gestion des domaines Azure.
• Utilisateurs et groupes Azure : Organisation et gestion des permissions.
• Rôles Azure : Assignation et personnalisation des rôles.
• Gestion des périphériques : Ajout et suivi des appareils connectés.

10. Implémentation et gestion des identités hybrides

• Options d’intégration : Scénarios pour connecter des environnements locaux et cloud.
• Proxy d’applications : Configuration pour permettre un accès sécurisé aux applications locales.

Cette deuxième journée approfondit la gestion des machines virtuelles, des réseaux, et des identités dans Azure, tout en explorant des concepts avancés pour garantir une infrastructure performante et sécurisée.

Introduction à Spark

1. Introduction à Spark : Présentation de Spark et son impact dans le Big Data.
2. Pourquoi avons-nous besoin de Spark ? : Les limites des technologies existantes et les avantages apportés par Spark.
3. Qu’est-ce que Spark ? : Vue d’ensemble des fonctionnalités et des concepts clés.

Les composants Spark

1. Composants Spark : Exploration des principaux modules de Spark (Core, SQL, Streaming, MLlib, GraphX).
2. Catégories de composants Spark : Différenciation entre les composants essentiels et avancés.

Architecture Spark

1. Architecture de Spark : Comprendre le fonctionnement interne, y compris le cluster manager, le driver, et les exécuteurs.

RDD (Resilient Distributed Dataset)

1. Qu’est-ce qu’un RDD ? : Concept fondamental de Spark pour la gestion des données distribuées.
2. Caractéristiques des RDD : Immutabilité, tolérance aux pannes, partitionnement, etc.
3. Sources des RDD : Origines des données pour créer des RDD.
4. Workflow et DAG (Directed Acyclic Graph) : Explication du processus d’exécution dans Spark.
5. Comment créer un RDD ? : Techniques de création de RDD à partir de diverses sources de données.

Transformations et actions dans Spark

1. Transformations : Opérations différées sur les RDD (map, filter, join, etc.).
2. Actions : Opérations déclenchant l’exécution (count, collect, save, etc.).

Gestion de la persistance

1. Persistance : Mécanismes pour optimiser les performances grâce au stockage en mémoire ou disque.

Limites et perspectives de Spark

1. Limitations des RDD : Introduction aux améliorations avec les DataFrames et Datasets.
2. Spark remplacera-t-il MapReduce ? : Comparaison entre Spark et l’ancien paradigme MapReduce.

Atelier pratique : Création d’une application Spark avec Python (PySpark)

1. LAB Spark :

• Configuration de l’environnement PySpark sur AWS.
• Développement d’une application Spark en Python.
• Exécution d’opérations de transformation et d’action sur des données réelles.

Cette troisième journée est dédiée à une immersion dans l’univers Spark, avec un focus particulier sur les bases, les RDD, et une mise en pratique concrète via PySpark pour comprendre et exploiter pleinement les capacités de Spark dans un environnement AWS.

1. Introduction à Spark SQL

• Qu’est-ce que Spark SQL ? : Présentation de Spark SQL comme interface pour le traitement structuré des données dans Spark.
• Architecture de Spark SQL : Exploration de son fonctionnement, y compris Catalyst Optimizer et Tungsten Execution Engine.

2. Évolution des données dans Spark

• Histoire des RDDs, DataFrames et Datasets : Comprendre la transition et les améliorations successives dans Spark pour le traitement de données.
• Nouvelle API Spark 2.0 : Mise en lumière des avancées introduites avec Spark 2.0.

3. Concepts clés

• RDD (rappel) : Retour sur les fondamentaux des RDD.
• DataFrames :
  • Structure des données tabulaires en Spark.
  • Fonctionnalités et avantages pour la manipulation des données.
• Datasets :
  • Combinaison des avantages des RDDs et des DataFrames.
  • Rigidité des types pour une meilleure optimisation et débogage.

4. Laboratoires pratiques Spark SQL

LAB 1 : Création de DataFrames et Datasets avec Spark 3.0 en Python

• Création de DataFrames à partir de diverses sources.
• Transformation des DataFrames en Datasets.

LAB 2 : Sources de données Spark (Spark DataSources) en Python

• Connexion à des sources de données courantes : JSON, CSV, Parquet, etc.
• Lecture, écriture et manipulation des données.

LAB 3 : Analyse des retards de vol avec Spark SQL en Python

• Chargement de jeux de données sur les retards de vol.
• Exploration, nettoyage et analyse des données avec des requêtes SQL.

LAB 4 : Analyse des matchs de football (1872-2019) en Python

• Chargement d’un fichier historique des matchs de football.
• Utilisation de Spark SQL pour analyser les tendances et statistiques des données.

Cette quatrième journée met un accent particulier sur Spark SQL et l’analyse de données structurées. Les participants acquerront une maîtrise des concepts avancés de Spark SQL à travers une série de laboratoires pratiques qui utilisent des exemples concrets pour renforcer leur compréhension.

1. Création et Configuration d’un Projet d’Équipe

• Création d’un projet d’équipe : Introduction aux concepts de projet dans Azure DevOps et la configuration d’un projet d’équipe.
• Itérations et sécurité : Paramétrage des itérations et gestion des aspects de sécurité dans le projet.
• Paramétrage des zones et des itérations : Configurer les zones de travail et définir les itérations.
• Paramétrage des utilisateurs et de la sécurité : Gérer les utilisateurs, leurs rôles et les accès dans le projet.

Travaux pratiques :

• Création et configuration d’un projet d’équipe dans Azure DevOps.
• Configuration des itérations et des zones de sécurité.

2. Contrôleur de Code Source

• Présentation des types de contrôleurs : Introduction aux deux principaux contrôleurs de code source dans Azure DevOps, TFVC (Team Foundation Version Control) et Git.
• Paramétrage du contrôleur de code source : Configuration des contrôleurs de version pour gérer le code source dans le projet.
• Concepts de branches et de fusion : Comprendre la gestion des branches et la fusion (branch/merging) dans les projets de développement.
• Gestion des pull requests : Présentation et utilisation des pull requests pour la révision du code.
• Gestion de la mise sur étagère (Shelving) : Comment utiliser la fonctionnalité de mise sur étagère pour sauvegarder temporairement les modifications sans les valider.

Travaux pratiques :

• Paramétrage du contrôleur de code source pour une gestion optimale du code.
• Création et gestion de branches, pull requests et mise sur étagère.

3. Work Items et Test Plan

• Tests exploratoires et planifiés : Introduction aux tests exploratoires et planifiés avec une méthodologie adaptée pour une couverture de tests complète.
• Work Items : Présentation des différents types de work items, y compris Epic, Feature, User Story, Task et Bug.
• Backlog et rapports : Visualisation du backlog via des rapports (Excel, MS Project, Power BI) et gestion des work items associés.
• Système de notifications : Configuration des notifications pour suivre les évolutions du projet.

Travaux pratiques :

• Planification de tests et gestion des work items dans Azure DevOps.

4. Visual Management avec les Dashboards

• Paramétrer un Dashboard : Comment créer un dashboard dans Azure DevOps pour un suivi visuel efficace du projet.
• Présentation des widgets : Exploration des différents widgets disponibles pour personnaliser les dashboards.
• Visual Studio Marketplace : Introduction au Visual Studio Marketplace et son utilisation pour intégrer des outils supplémentaires.

Travaux pratiques :

• Paramétrage et utilisation d’un Dashboard pour un suivi visuel des projets.
• Installation et gestion de widgets depuis le Visual Studio Marketplace.

Cette journée est dédiée à l’apprentissage pratique des outils essentiels d’Azure DevOps, en particulier autour de la gestion des projets, du code source, des tests et de la visualisation des données avec les dashboards. Les participants acquerront une compréhension complète des fonctionnalités d’Azure DevOps pour optimiser leur processus de développement et de gestion de projet.

1. Appréhender les Tests dans Azure DevOps

• Concepts de tests : Comprendre les bases des tests dans le contexte DevOps.
• Plan de test (Test et Feedback) : Apprendre à définir un plan de test adapté au flux DevOps.
• Test Driven Development (TDD) : Introduction au développement piloté par les tests et son impact sur la qualité du code.
• Tests unitaires, tests d’intégration, tests fonctionnels : Distinction entre les différents types de tests et leur rôle dans le cycle de développement.

2. Intégration Continue (CI)

• Concepts d’intégration continue : Présentation des principes fondamentaux de l’intégration continue pour assurer une livraison continue de qualité.
• Services de build : Utilisation des services de build d’Azure DevOps pour automatiser le processus de compilation et de validation du code.
• Visual Studio Team Services (VSTS) : Introduction à VSTS pour la gestion des builds et des pipelines CI/CD.
• Types de tâches de build : Exploration des différentes tâches dans un pipeline de build.
• Cas d’utilisation de l’intégration continue : Présentation de scénarios concrets pour appliquer l’intégration continue dans différents environnements de développement.

Travaux pratiques :

• Utilisation de VSTS Build pour automatiser et personnaliser les processus de build.

3. Utilisation du Release Management

• Mise en œuvre du déploiement automatisé : Apprendre à configurer des pipelines de déploiement automatisés dans Azure DevOps.
• Le catalogue de tâches : Introduction au catalogue de tâches dans Azure DevOps pour personnaliser les étapes du pipeline de déploiement.
• Problématiques d’environnement : Gérer les environnements de déploiement (développement, tests, production) et leurs configurations spécifiques.
• Exemples concrets de déploiement automatisé : Étude de cas pratiques de déploiement automatisé sur différents environnements.

Travaux pratiques :

• Mise en œuvre d’un déploiement automatisé à travers des pipelines dans Azure DevOps.

4. Personnalisation du Team Project

• Modification du processus : Introduction à la modification des processus dans Azure DevOps pour répondre aux besoins spécifiques de l’équipe.
• Customisation du processus : Utilisation des templates de processus pour personnaliser le cycle de vie du projet.
• Ajout de champs personnalisés : Apprendre à ajouter des champs personnalisés dans les work items et autres éléments de suivi.

Travaux pratiques :

• Personnalisation d’un projet dans Azure DevOps pour répondre à des exigences spécifiques.
• Modification du processus et ajout de champs personnalisés dans les work items.

Cette journée vise à approfondir l’utilisation d’Azure DevOps avec une attention particulière à l’intégration continue, la gestion des tests et le déploiement automatisé. Les participants apprendront à configurer des pipelines CI/CD, à personnaliser leurs projets et à automatiser des processus pour améliorer l’efficacité du développement et du déploiement.

1. Introduction au Cloud AWS

• Définition du cloud : Comprendre ce qu’est le cloud et ses avantages par rapport aux solutions traditionnelles sur site.
• Comparaison avec les solutions sur site : Explorer les différences entre les infrastructures locales et les services cloud, ainsi que les avantages du cloud computing pour la flexibilité, la scalabilité et l’efficacité.
• Avantages du cloud AWS : Analyser les bénéfices clés d’AWS, tels que la réduction des coûts, la gestion simplifiée et l’élasticité des ressources.
• Catégories de services AWS : Introduction aux principaux services AWS : calcul, stockage, bases de données, réseau, sécurité, etc.
• Architecture physique d’AWS : Comprendre l’architecture sous-jacente d’AWS, incluant les data centers, les régions, les zones de disponibilité et les points de présence (PoPs).

2. Mise en route avec AWS

• Premiers pas avec le cloud AWS : Découvrir la console de gestion AWS et apprendre à naviguer dans l’interface utilisateur pour créer et gérer des ressources.
• Services AWS de base : Introduction aux services de base : Amazon EC2 (calcul), Amazon S3 (stockage), Amazon RDS (bases de données), etc.
• Création de votre infrastructure : Apprendre à déployer et à configurer des ressources dans AWS pour créer une infrastructure complète dans le cloud.
• Stockage des données : Comprendre les différentes options de stockage AWS, y compris les volumes EBS, S3, Glacier, et les systèmes de fichiers distribués.
• Sécurisation des données : Apprendre à sécuriser les données dans le cloud en utilisant les services de sécurité AWS tels qu’AWS IAM (Identity and Access Management), KMS (Key Management Service), et les contrôles d’accès.

3. Création dans le Cloud

• Au-delà des serveurs et du stockage : Explorer d’autres services AWS tels qu’AWS Lambda (calcul sans serveur), AWS Elastic Beanstalk (platform as a service), et AWS Fargate (gestion des containers).
• Surveillance des ressources AWS : Apprendre à surveiller et à gérer les ressources AWS en utilisant Amazon CloudWatch pour collecter des métriques, des logs et des alarmes.
• Gestion efficace de la demande : Découvrir des outils comme AWS Auto Scaling pour ajuster automatiquement les ressources selon la demande.
• Déploiement de services de bases de données : Apprendre à déployer et à gérer des bases de données dans AWS, avec Amazon RDS et DynamoDB, selon les besoins de performance et de scalabilité.
• Automatisation du déploiement : Introduction à AWS CloudFormation pour automatiser la gestion et le déploiement d’infrastructures cloud.
• Connexion et partage de données : Apprendre à utiliser des services comme Amazon VPC (Virtual Private Cloud) et AWS Direct Connect pour sécuriser et partager des données entre les ressources.
• Diffusion de contenu plus rapide : Utiliser Amazon CloudFront, un service de réseau de diffusion de contenu (CDN), pour améliorer la distribution de contenu aux utilisateurs finaux avec une faible latence.

Cette première journée d’introduction à AWS Solution Architect se concentre sur la mise en place d’une infrastructure cloud robuste et sécurisée, tout en abordant les concepts fondamentaux des services AWS. Les participants apprendront à gérer les ressources dans AWS, à automatiser le déploiement et à sécuriser l’infrastructure tout en garantissant une performance optimale et une scalabilité en fonction des besoins.

1. Sécurité dans AWS

• Sécurisation de votre infrastructure : Explorer les meilleures pratiques pour sécuriser une infrastructure AWS, y compris la gestion des ressources, des réseaux et des données sensibles.
• Gestion de l’authentification et de l’autorisation : Apprendre à utiliser AWS Identity and Access Management (IAM) pour gérer les identités, les permissions, et contrôler l’accès aux ressources.
• Évaluation de votre conformité et sécurité : Utiliser les outils AWS comme AWS Config et AWS Security Hub pour évaluer la conformité aux normes de sécurité et garantir la protection des données.
• Protection contre les attaques par déni de service (DDoS) : Introduction aux services AWS comme AWS Shield et AWS WAF pour protéger l’infrastructure contre les attaques par déni de service et autres menaces.
• Maintien de la conformité : Comprendre les outils et les processus pour maintenir la conformité des données et des infrastructures, en tenant compte des exigences réglementaires telles que GDPR et HIPAA.

2. Support et tarification

• Les bases de la tarification AWS : Apprendre à comprendre le modèle de tarification d’AWS et les différents types de coûts associés aux services AWS. Comprendre les coûts d’utilisation d’EC2, S3, RDS, et autres services.
• Obtenir de l’aide avec AWS : Découvrir les ressources de support proposées par AWS, y compris les plans de support AWS, les forums, et les programmes d’aide.
• Programmes et technologies AWS : S’informer sur les différents programmes d’AWS comme le programme AWS Activate pour les startups et les outils comme le calcul des coûts AWS Cost Explorer.

3. Architecture dans AWS

• Le cadre AWS Well-Architected : Apprendre à appliquer les cinq piliers du cadre AWS Well-Architected pour concevoir des architectures cloud sécurisées, fiables, performantes et rentables.
• Architectures de référence : Découvrir des architectures de référence AWS, y compris des exemples pour les déploiements de systèmes hautement disponibles et évolutifs.
• L’avenir du cloud : Une discussion sur l’évolution du cloud computing, avec un focus sur les tendances et les innovations futures dans AWS, notamment l’edge computing, l’intelligence artificielle et l’automatisation des infrastructures.

Résumé de la journée

Cette journée se concentrera sur les aspects de sécurité, de support et de tarification des services AWS, tout en approfondissant les bonnes pratiques architecturales avec le cadre AWS Well-Architected. Les participants apprendront à sécuriser leur infrastructure cloud, à gérer la conformité, et à comprendre les mécanismes de support et la tarification d’AWS. Le module se conclura sur un regard vers l’avenir du cloud, avec un focus sur les évolutions possibles dans les technologies AWS.