تكوين Cloud و DevOps في المغرب

1. تقديم أجهزة Azure

• الأجهزة الافتراضية (VM): نظرة عامة والوظائف.
• اعتبارات التخطيط: المعايير الواجب مراعاتها لإدارة مثلى للأجهزة الافتراضية (VMs).

2. إنشاء الأجهزة الافتراضية

• تقديم مسار الإنشاء: الخطوات الأساسية لإنشاء VM.
• الإنشاء عبر أدوات مختلفة:
  • بوابة Azure.
  • سكربتات PowerShell.
  • نماذج ARM (Azure Resource Manager).

3. نشر صور الأجهزة الافتراضية

• الصور المخصَّصة: النشر والإدارة.
• أجهزة VMs بنظام Linux: إعداد ونشر خاصّان.

4. إعداد الأجهزة الافتراضية

• إعداد الشبكة: الاتصالات الشبكية وإدارة عناوين IP.
• إعداد التخزين: تحسين الموارد لأقصى أداء.

5. تطبيق التوافر العالي

• التوافر وقابلية التوسع: وضع حلول متينة وقابلة للتطور.
• إضافات الأجهزة الافتراضية (VMs): دمج إضافات Azure وإدارتها.

6. إدارة الأجهزة الافتراضية ومراقبتها

• مدخل إلى الشبكات الافتراضية (VNet): المفاهيم الأساسية.
• إنشاء شبكات Azure الافتراضية وإعدادها:
  • عنونة IP.
  • التوجيه (routage).
• Azure DNS:
  • تقديم خدمات DNS.
  • التنفيذ:
    • النطاقات.
    • مناطق DNS.
    • أنواع السجلات.
    • طرق تحليل الأسماء.

7. ربط الشبكات الافتراضية

• الربط بين المواقع (VNet-to-VNet): الإعداد وحالات الاستعمال.
• Virtual Network Peering: إنشاء روابط بين الشبكات لاتصال سلس.

8. إدارة Active Directory في Azure (Azure AD)

• تقديم خدمات Active Directory: المفاهيم والوظائف.
• Self-Service Password Reset: الإعداد والاستعمال.
• Azure AD Identity Protection: تطبيق سياسات الأمن.
• دمج تطبيقات SaaS: اتصال آمن مع Azure AD.

9. إدارة كائنات Active Directory

• النطاقات: إنشاء نطاقات Azure وإدارتها.
• مستخدمو ومجموعات Azure: تنظيم الصلاحيات وإدارتها.
• أدوار Azure: إسناد الأدوار وتخصيصها.
• إدارة الأجهزة الطرفية: إضافة الأجهزة المتصلة وتتبعها.

10. تنفيذ الهويات الهجينة وإدارتها

• خيارات الدمج: سيناريوهات لربط البيئات المحلية والسحابية.
• وكيل التطبيقات (Proxy): إعداد يتيح وصولًا آمنًا إلى التطبيقات المحلية.

يتعمق هذا اليوم الثاني في إدارة الأجهزة الافتراضية والشبكات والهويات في Azure، مع استكشاف مفاهيم متقدمة لضمان بنية تحتية عالية الأداء وآمنة.

مدخل إلى Spark

1. مدخل إلى Spark: تقديم Spark وأثره في Big Data.
2. لماذا نحتاج إلى Spark؟: حدود التقنيات الحالية والمزايا التي يقدمها Spark.
3. ما هو Spark؟: نظرة عامة على الوظائف والمفاهيم الأساسية.

مكونات Spark

1. مكونات Spark: استكشاف أهم وحدات Spark (Core و SQL و Streaming و MLlib و GraphX).
2. فئات مكونات Spark: التمييز بين المكونات الأساسية والمتقدمة.

بنية Spark

1. بنية Spark: فهم طريقة العمل الداخلية، بما فيها cluster manager و driver والمنفِّذات (executors).

RDD (Resilient Distributed Dataset)

1. ما هو RDD؟: مفهوم أساسي في Spark لإدارة البيانات الموزعة.
2. خصائص RDD: عدم القابلية للتغيير، تحمّل الأعطال، التقسيم، إلخ.
3. مصادر RDD: مصادر البيانات المستعملة لإنشاء RDD.
4. Workflow و DAG (Directed Acyclic Graph): شرح مسار التنفيذ في Spark.
5. كيف يُنشأ RDD؟: تقنيات إنشاء RDD انطلاقًا من مصادر بيانات متنوعة.

التحويلات والإجراءات في Spark

1. التحويلات (Transformations): عمليات مؤجَّلة على RDD (map و filter و join، إلخ).
2. الإجراءات (Actions): عمليات تُطلق التنفيذ (count و collect و save، إلخ).

إدارة الاستمرارية (persistance)

1. الاستمرارية: آليات لتحسين الأداء بفضل التخزين في الذاكرة أو على القرص.

حدود Spark وآفاقه

1. حدود RDD: مدخل إلى التحسينات التي جاءت بها DataFrames و Datasets.
2. هل سيعوّض Spark تقنية MapReduce؟: مقارنة بين Spark ونموذج MapReduce القديم.

ورشة تطبيقية: إنشاء تطبيق Spark باستعمال Python (PySpark)

1. LAB Spark:

• إعداد بيئة PySpark على AWS.
• تطوير تطبيق Spark بلغة Python.
• تنفيذ عمليات تحويل وإجراء على بيانات حقيقية.

يُخصَّص هذا اليوم الثالث للانغماس في عالم Spark، مع تركيز خاص على الأسس و RDD، وتطبيق عملي عبر PySpark لفهم قدرات Spark واستثمارها كاملة في بيئة AWS.

1. مدخل إلى Spark SQL

• ما هو Spark SQL؟: تقديم Spark SQL بوصفه واجهة للمعالجة المنظَّمة للبيانات في Spark.
• بنية Spark SQL: استكشاف طريقة عمله، بما فيها Catalyst Optimizer و Tungsten Execution Engine.

2. تطور البيانات في Spark

• تاريخ RDDs و DataFrames و Datasets: فهم الانتقال والتحسينات المتتالية في Spark لمعالجة البيانات.
• واجهة API الجديدة في Spark 2.0: تسليط الضوء على المستجدات التي جاء بها Spark 2.0.

3. المفاهيم الأساسية

• RDD (تذكير): عودة إلى أساسيات RDD.
• DataFrames:
  • بنية البيانات الجدولية في Spark.
  • الوظائف والمزايا في التعامل مع البيانات.
• Datasets:
  • الجمع بين مزايا RDDs و DataFrames.
  • صرامة الأنواع لتحسين أفضل وتصحيح أيسر للأخطاء.

4. مختبرات تطبيقية في Spark SQL

LAB 1: إنشاء DataFrames و Datasets باستعمال Spark 3.0 بلغة Python

• إنشاء DataFrames انطلاقًا من مصادر متنوعة.
• تحويل DataFrames إلى Datasets.

LAB 2: مصادر بيانات Spark (Spark DataSources) بلغة Python

• الاتصال بمصادر بيانات شائعة: JSON و CSV و Parquet، إلخ.
• قراءة البيانات وكتابتها ومعالجتها.

LAB 3: تحليل تأخيرات الرحلات الجوية باستخدام Spark SQL في Python

• تحميل مجموعات بيانات حول تأخيرات الرحلات الجوية.
• استكشاف البيانات وتنظيفها وتحليلها باستعلامات SQL.

LAB 4: تحليل مباريات كرة القدم (1872-2019) في Python

• تحميل ملف تاريخي لمباريات كرة القدم.
• استخدام Spark SQL لتحليل اتجاهات البيانات وإحصاءاتها.

يركّز هذا اليوم الرابع بشكل خاص على Spark SQL وتحليل البيانات المهيكلة. سيتمكّن المشاركون من المفاهيم المتقدمة في Spark SQL عبر سلسلة من المختبرات التطبيقية التي تعتمد أمثلة واقعية لترسيخ فهمهم.

1. إنشاء مشروع الفريق وإعداده

• إنشاء مشروع فريق: مدخل إلى مفاهيم المشروع في Azure DevOps وإعداد مشروع الفريق.
• التكرارات والأمان: ضبط التكرارات وإدارة جوانب الأمان في المشروع.
• ضبط المناطق والتكرارات: إعداد مناطق العمل وتحديد التكرارات.
• ضبط المستخدمين والأمان: إدارة المستخدمين وأدوارهم وصلاحيات الوصول في المشروع.

أعمال تطبيقية:

• إنشاء مشروع فريق وإعداده في Azure DevOps.
• إعداد التكرارات ومناطق الأمان.

2. التحكم في الشيفرة المصدرية

• عرض أنواع أنظمة التحكم: مدخل إلى النظامين الرئيسيين للتحكم في الشيفرة المصدرية في Azure DevOps: TFVC (Team Foundation Version Control) و Git.
• ضبط نظام التحكم في الشيفرة المصدرية: إعداد أنظمة التحكم في الإصدارات لإدارة الشيفرة المصدرية في المشروع.
• مفاهيم الفروع والدمج: فهم إدارة الفروع والدمج (branch/merging) في مشاريع التطوير.
• إدارة pull requests: عرض pull requests واستخدامها لمراجعة الشيفرة.
• إدارة الحفظ المؤقت (Shelving): كيفية استخدام خاصية الحفظ المؤقت لحفظ التعديلات مؤقتًا دون اعتمادها.

أعمال تطبيقية:

• ضبط نظام التحكم في الشيفرة المصدرية لإدارة مثلى للشيفرة.
• إنشاء وإدارة الفروع و pull requests والحفظ المؤقت.

3. Work Items و Test Plan

• الاختبارات الاستكشافية والمخططة: مدخل إلى الاختبارات الاستكشافية والمخططة بمنهجية ملائمة لتغطية اختبارية كاملة.
• Work Items: عرض مختلف أنواع work items، ومنها Epic و Feature و User Story و Task و Bug.
• Backlog والتقارير: عرض backlog عبر التقارير (Excel، MS Project، Power BI) وإدارة work items المرتبطة به.
• نظام الإشعارات: إعداد الإشعارات لمتابعة تطورات المشروع.

أعمال تطبيقية:

• تخطيط الاختبارات وإدارة work items في Azure DevOps.

4. الإدارة المرئية بواسطة Dashboards

• إعداد Dashboard: كيفية إنشاء dashboard في Azure DevOps لمتابعة مرئية فعّالة للمشروع.
• عرض widgets: استكشاف مختلف widgets المتاحة لتخصيص dashboards.
• Visual Studio Marketplace: مدخل إلى Visual Studio Marketplace واستخدامه لإدماج أدوات إضافية.

أعمال تطبيقية:

• إعداد Dashboard واستخدامه للمتابعة المرئية للمشاريع.
• تثبيت widgets وإدارتها انطلاقًا من Visual Studio Marketplace.

يُخصَّص هذا اليوم للتعلّم التطبيقي للأدوات الأساسية في Azure DevOps، خصوصًا ما يتعلق بإدارة المشاريع والشيفرة المصدرية والاختبارات وعرض البيانات بواسطة dashboards. سيكتسب المشاركون فهمًا شاملًا لخصائص Azure DevOps من أجل تحسين مسار التطوير وإدارة المشاريع لديهم.

1. استيعاب الاختبارات في Azure DevOps

• مفاهيم الاختبارات: فهم أساسيات الاختبارات في سياق DevOps.
• خطة الاختبار (Test و Feedback): تعلّم تحديد خطة اختبار ملائمة لمسار DevOps.
• Test Driven Development (TDD): مدخل إلى التطوير الموجَّه بالاختبارات وأثره على جودة الشيفرة.
• اختبارات الوحدة، اختبارات التكامل، الاختبارات الوظيفية: التمييز بين مختلف أنواع الاختبارات ودورها في دورة التطوير.

2. التكامل المستمر (CI)

• مفاهيم التكامل المستمر: عرض المبادئ الأساسية للتكامل المستمر لضمان تسليم مستمر عالي الجودة.
• خدمات build: استخدام خدمات build في Azure DevOps لأتمتة عملية تجميع الشيفرة والتحقق منها.
• Visual Studio Team Services (VSTS): مدخل إلى VSTS لإدارة builds و pipelines CI/CD.
• أنواع مهام build: استكشاف مختلف المهام داخل pipeline خاص بـ build.
• حالات استخدام التكامل المستمر: عرض سيناريوهات واقعية لتطبيق التكامل المستمر في بيئات تطوير مختلفة.

أعمال تطبيقية:

• استخدام VSTS Build لأتمتة عمليات build وتخصيصها.

3. استخدام Release Management

• تنفيذ النشر المؤتمت: تعلّم إعداد pipelines للنشر المؤتمت في Azure DevOps.
• فهرس المهام: مدخل إلى فهرس المهام في Azure DevOps لتخصيص مراحل pipeline النشر.
• إشكاليات البيئات: إدارة بيئات النشر (التطوير، الاختبارات، الإنتاج) وإعداداتها الخاصة.
• أمثلة واقعية للنشر المؤتمت: دراسة حالات تطبيقية للنشر المؤتمت على بيئات مختلفة.

أعمال تطبيقية:

• تنفيذ نشر مؤتمت عبر pipelines في Azure DevOps.

4. تخصيص Team Project

• تعديل المسار: مدخل إلى تعديل المسارات في Azure DevOps للاستجابة للحاجات الخاصة بالفريق.
• تخصيص المسار: استخدام قوالب المسارات لتخصيص دورة حياة المشروع.
• إضافة حقول مخصصة: تعلّم إضافة حقول مخصصة في work items وباقي عناصر المتابعة.

أعمال تطبيقية:

• تخصيص مشروع في Azure DevOps للاستجابة لمتطلبات محددة.
• تعديل المسار وإضافة حقول مخصصة في work items.

يهدف هذا اليوم إلى تعميق استخدام Azure DevOps مع عناية خاصة بالتكامل المستمر وإدارة الاختبارات والنشر المؤتمت. سيتعلّم المشاركون إعداد pipelines CI/CD وتخصيص مشاريعهم وأتمتة العمليات لتحسين نجاعة التطوير والنشر.

1. مدخل إلى سحابة AWS

• تعريف السحابة: فهم ماهية السحابة ومزاياها مقارنةً بالحلول التقليدية المحلية.
• المقارنة مع الحلول المحلية: استكشاف الفروق بين البنيات التحتية المحلية والخدمات السحابية، ومزايا cloud computing من حيث المرونة وقابلية التوسع والنجاعة.
• مزايا سحابة AWS: تحليل أهم فوائد AWS، مثل خفض التكاليف وتبسيط الإدارة ومرونة الموارد.
• فئات خدمات AWS: مدخل إلى أهم خدمات AWS: الحوسبة، التخزين، قواعد البيانات، الشبكات، الأمان، إلخ.
• البنية المادية لـ AWS: فهم البنية التي تقوم عليها AWS، بما فيها مراكز البيانات والمناطق ومناطق التوافر ونقاط الحضور (PoPs).

2. الانطلاق مع AWS

• الخطوات الأولى مع سحابة AWS: اكتشاف لوحة إدارة AWS وتعلّم التنقل في واجهة المستخدم لإنشاء الموارد وإدارتها.
• خدمات AWS الأساسية: مدخل إلى الخدمات الأساسية: Amazon EC2 (الحوسبة)، Amazon S3 (التخزين)، Amazon RDS (قواعد البيانات)، إلخ.
• إنشاء بنيتك التحتية: تعلّم نشر الموارد وإعدادها في AWS لإنشاء بنية تحتية كاملة في السحابة.
• تخزين البيانات: فهم مختلف خيارات التخزين في AWS، ومنها وحدات تخزين EBS و S3 و Glacier وأنظمة الملفات الموزعة.
• تأمين البيانات: تعلّم تأمين البيانات في السحابة باستخدام خدمات الأمان في AWS مثل AWS IAM (Identity and Access Management) و KMS (Key Management Service) وضوابط الوصول.

3. الإنشاء في السحابة

• أبعد من الخوادم والتخزين: استكشاف خدمات AWS أخرى مثل AWS Lambda (حوسبة بلا خوادم) و AWS Elastic Beanstalk (platform as a service) و AWS Fargate (إدارة الحاويات).
• مراقبة موارد AWS: تعلّم مراقبة موارد AWS وإدارتها باستخدام Amazon CloudWatch لجمع المقاييس والسجلات والتنبيهات.
• إدارة فعّالة للطلب: اكتشاف أدوات مثل AWS Auto Scaling لضبط الموارد تلقائيًا حسب الطلب.
• نشر خدمات قواعد البيانات: تعلّم نشر قواعد البيانات وإدارتها في AWS بواسطة Amazon RDS و DynamoDB، حسب حاجات الأداء وقابلية التوسع.
• أتمتة النشر: مدخل إلى AWS CloudFormation لأتمتة إدارة البنيات التحتية السحابية ونشرها.
• الربط ومشاركة البيانات: تعلّم استخدام خدمات مثل Amazon VPC (Virtual Private Cloud) و AWS Direct Connect لتأمين البيانات ومشاركتها بين الموارد.
• توزيع أسرع للمحتوى: استخدام Amazon CloudFront، وهي خدمة شبكة توزيع المحتوى (CDN)، لتحسين إيصال المحتوى إلى المستخدمين النهائيين بزمن استجابة منخفض.

يركّز هذا اليوم الأول من التعريف بـ AWS Solution Architect على إقامة بنية تحتية سحابية متينة وآمنة، مع تناول المفاهيم الأساسية لخدمات AWS. سيتعلّم المشاركون إدارة الموارد في AWS وأتمتة النشر وتأمين البنية التحتية مع ضمان أداء أمثل وقابلية للتوسع حسب الحاجات.

1. الأمان في AWS

• تأمين بنيتك التحتية: استكشاف أفضل الممارسات لتأمين بنية تحتية على AWS، بما فيها إدارة الموارد والشبكات والبيانات الحساسة.
• إدارة المصادقة والتخويل: تعلّم استخدام AWS Identity and Access Management (IAM) لإدارة الهويات والصلاحيات والتحكم في الوصول إلى الموارد.
• تقييم مطابقتك وأمانك: استخدام أدوات AWS مثل AWS Config و AWS Security Hub لتقييم المطابقة لمعايير الأمان وضمان حماية البيانات.
• الحماية من هجمات حجب الخدمة (DDoS): مدخل إلى خدمات AWS مثل AWS Shield و AWS WAF لحماية البنية التحتية من هجمات حجب الخدمة وغيرها من التهديدات.
• الحفاظ على المطابقة: فهم الأدوات والمسارات اللازمة للحفاظ على مطابقة البيانات والبنيات التحتية، مع مراعاة المتطلبات التنظيمية مثل GDPR و HIPAA.

2. الدعم والتسعير

• أساسيات تسعير AWS: تعلّم فهم نموذج التسعير في AWS ومختلف أنواع التكاليف المرتبطة بخدماتها. فهم تكاليف استخدام EC2 و S3 و RDS وخدمات أخرى.
• الحصول على المساعدة مع AWS: اكتشاف موارد الدعم التي تقترحها AWS، ومنها خطط دعم AWS والمنتديات وبرامج المساعدة.
• برامج وتقنيات AWS: التعرّف على مختلف برامج AWS مثل برنامج AWS Activate للشركات الناشئة، وأدوات مثل AWS Cost Explorer لحساب التكاليف.

3. البنية المعمارية في AWS

• إطار AWS Well-Architected: تعلّم تطبيق الركائز الخمس لإطار AWS Well-Architected لتصميم بنيات سحابية آمنة وموثوقة وعالية الأداء ومجدية اقتصاديًا.
• البنيات المرجعية: اكتشاف بنيات مرجعية من AWS، ومنها أمثلة لنشر أنظمة عالية التوافر وقابلة للتوسع.
• مستقبل السحابة: نقاش حول تطور cloud computing، مع التركيز على الاتجاهات والابتكارات المقبلة في AWS، خصوصًا edge computing والذكاء الاصطناعي وأتمتة البنيات التحتية.

ملخص اليوم

يركّز هذا اليوم على جوانب الأمان والدعم والتسعير في خدمات AWS، مع تعميق الممارسات المعمارية الجيدة وفق إطار AWS Well-Architected. سيتعلّم المشاركون تأمين بنيتهم التحتية السحابية وإدارة المطابقة وفهم آليات الدعم والتسعير في AWS. ويُختتم المحور بنظرة إلى مستقبل السحابة، مع التركيز على التطورات الممكنة في تقنيات AWS.