دليل امتحان AWS Certified Data Engineer - Associate (DEA-C01)

الإصدار 1.0 DEA-C01

مقدمة

يؤكد امتحان AWS Certified Data Engineer - Associate (DEA-C01) على قدرة المرشح في تنفيذ أنابيب البيانات ومراقبتها وإصلاح أي مشاكل وتحسين التكلفة والأداء وفقًا للممارسات الجيدة.

يؤكد الامتحان أيضًا على قدرة المرشح على إكمال المهام التالية:

• إدخال البيانات وتحويلها، وترتيب أنابيب البيانات مع تطبيق مفاهيم البرمجة.
• اختيار متجر بيانات أمثل، وتصميم نماذج البيانات، وفهرسة مخططات البيانات، وإدارة دورات حياة البيانات.
• تشغيل أنابيب البيانات وصيانتها ومراقبتها. تحليل البيانات وضمان جودة البيانات.
• تنفيذ المصادقة والتفويض والتشفير والخصوصية والحوكمة المناسبة للبيانات. تمكين التسجيل.

وصف المرشح المستهدف

يجب أن يكون للمرشح المستهدف ما يعادل 2-3 سنوات من الخبرة في هندسة البيانات. يجب أن يفهم المرشح المستهدف آثار الحجم والتنوع والسرعة على إدخال البيانات وتحويلها والنمذجة والأمن والحوكمة والخصوصية وتصميم المخطط وتصميم متجر البيانات الأمثل. بالإضافة إلى ذلك، يجب أن يكون لدى المرشح المستهدف ما لا يقل عن سنة إلى سنتين من الخبرة العملية مع خدمات AWS.

المعرفة العامة بتقنية المعلومات الموصى بها

يجب أن يكون لدى المرشح المستهدف المعرفة العامة التالية بتقنية المعلومات:

• إعداد وصيانة أنابيب استخراج وتحويل وتحميل (ETL) من الإدخال إلى الوجهة
• تطبيق مفاهيم البرمجة عالية المستوى ولكن بلغة محايدة حسب ما تتطلبه الأنبوب
• كيفية استخدام أوامر Git للتحكم بالمصدر
• كيفية استخدام بحيرات البيانات لتخزين البيانات
• المفاهيم العامة للشبكات والتخزين والحوسبة

المعرفة المُوصى بها بخصوص AWS

يجب أن يكون لدى المرشح المستهدف المعرفة التالية بخصوص AWS:

• كيفية استخدام خدمات AWS لإنجاز المهام المدرجة في قسم المقدمة من هذا الدليل
• فهم خدمات AWS للتشفير والحوكمة والحماية وتسجيل جميع البيانات التي تشكل جزءًا من أنابيب البيانات
• القدرة على مقارنة خدمات AWS لفهم الاختلافات في التكلفة والأداء والوظائف بين الخدمات
• كيفية هيكلة استعلامات SQL وكيفية تنفيذها على خدمات AWS
• فهم كيفية تحليل البيانات والتحقق من جودة البيانات وضمان اتساق البيانات باستخدام خدمات AWS

مهام الوظيفة التي ليست ضمن نطاق المرشح المستهدف

يحتوي القائمة التالية على مهام وظيفية لا يُتوقع من المرشح المستهدف أن يكون قادرًا على أدائها. هذه القائمة ليست شاملة. هذه المهام خارج نطاق الامتحان:

• أداء مهام الذكاء الاصطناعي وتعلم الآلة (AI/ML).
• إظهار المعرفة بقواعد بناء لغة برمجة محددة.
• الخروج باستنتاجات تجارية بناءً على البيانات.

راجع الملحق لقائمة بخدمات AWS والميزات الداخلة في النطاق وقائمة بخدمات AWS والميزات الخارجة عن النطاق.

محتوى الامتحان

أنواع الأسئلة

هناك نوعان من الأسئلة في الامتحان:

• الاختيار من متعدد: له إجابة صحيحة واحدة وثلاث إجابات غير صحيحة (مشتتات)
• الاختيار من متعدد (متعدد الإجابات): له إجابتان صحيحتان أو أكثر من خمس خيارات للإجابة أو أكثر

حدد إجابة واحدة أو أكثر تكمل العبارة أو تجيب على السؤال بشكل أفضل. المشتتات، أو الإجابات غير الصحيحة، هي خيارات الإجابة التي قد يختارها المرشح ذو المعرفة أو المهارة غير الكاملة. عادة ما تكون المشتتات إجابات معقولة تتطابق مع مجال المحتوى.

تُعتبر الأسئلة غير المجاب عليها إجابات خاطئة؛ لا يوجد عقاب على التخمين. يشتمل الامتحان على 50 سؤالاً تؤثر على درجتك.

المحتوى غير المنقّط

يشتمل الامتحان على 15 سؤالاً غير مُنْقَّط لا تؤثر على درجتك. تجمع شركة AWS معلومات حول الأداء على هذه الأسئلة غير المُنْقَّطة لتقييم هذه الأسئلة لاستخدامها في المستقبل كأسئلة مُنْقَّطة. لا يتم تحديد هذه الأسئلة غير المُنْقَّطة في الامتحان.

نتائج الامتحان

لامتحان AWS Certified Data Engineer - Associate (DEA-C01) تصنيف ناجح أو راسب. يُقَيِّم الامتحان مقابل الحد الأدنى من المعايير التي وضعتها شركة AWS وفقًا لأفضل الممارسات والإرشادات الصناعية للشهادات.

يتم الإبلاغ عن نتائجك للامتحان كدرجة معيارية تتراوح بين 100-1000. الحد الأدنى للدرجة النجاح هو 720. تُظهر درجتك كيف أديت في الامتحان ككل وما إذا كنت قد اجتزت الامتحان أم لا. تساعد نماذج التنقيط المعيارية على معادلة الدرجات عبر أشكال امتحان متعددة قد تكون لديها مستويات صعوبة مختلفة قليلاً.

قد يحتوي تقرير درجتك على جدول يصنف أداءك في كل قسم. يستخدم الامتحان نموذج تنقيط تعويضي، مما يعني أنه لا تحتاج إلى تحقيق درجة نجاح في كل قسم. يجب عليك اجتياز الامتحان ككل فقط.

لكل قسم من أقسام الامتحان ترجيح محدد، لذلك تكون بعض الأقسام لديها المزيد من الأسئلة من الأقسام الأخرى. يحتوي جدول التصنيفات على معلومات عامة تسلط الضوء على نقاط قوتك وضعفك. توخ الحذر عند تفسير التغذية المرتدة على مستوى القسم.

محتوى الشرح

يتضمن هذا الدليل للامتحان ترجيحات ومجالات المحتوى وبيانات المهام للامتحان. لا يوفر هذا الدليل قائمة شاملة لمحتوى الامتحان. ومع ذلك، تتوفر سياقات إضافية لكل بيان مهمة لمساعدتك في التحضير للامتحان.

يحتوي الامتحان على مجالات المحتوى والترجيحات التالية:

• المجال 1: إدخال البيانات وتحويلها (34% من المحتوى المُنْقَط)
• المجال 2: إدارة متجر البيانات (26% من المحتوى المُنْقَط)
• المجال 3: عمليات البيانات والدعم (22% من المحتوى المُنْقَط)
• المجال 4: أمن البيانات والحوكمة (18% من المحتوى المُنْقَط)

المجال 1: إدخال البيانات وتحويلها

بيان المهمة 1.1: أداء إدخال البيانات.

المعرفة بـ:

• خصائص نفاذية وزمن وصول خدمات AWS التي تدخل البيانات
• أنماط إدخال البيانات (على سبيل المثال، التردد وتاريخ البيانات)
• إدخال البيانات البثية
• إدخال البيانات الدفعي (على سبيل المثال، الإدخال المجدول، الإدخال المعتمد على الأحداث)
• إعادة تشغيل أنابيب إدخال البيانات
• المعاملات المشخصة والغير مشخصة للبيانات

المهارات في:

• قراءة البيانات من مصادر بثية (على سبيل المثال، Amazon Kinesis، Amazon Managed Streaming for Apache Kafka [Amazon MSK]، Amazon DynamoDB Streams، AWS Database Migration Service [AWS DMS]، AWS Glue، Amazon Redshift)
• قراءة البيانات من مصادر دفعية (على سبيل المثال، Amazon S3، AWS Glue، Amazon EMR، AWS DMS، Amazon Redshift، AWS Lambda، Amazon AppFlow)
• تنفيذ خيارات التكوين المناسبة للإدخال الدفعي
• استهلاك واجهات برمجة التطبيقات (API) للبيانات
• إعداد المجدولات باستخدام Amazon EventBridge أو Apache Airflow أو جداول زمنية لوظائف والشكّارات
• إعداد الفعاليات المحفزة (على سبيل المثال، إشعارات الحدث Amazon S3، EventBridge)
• استدعاء وظيفة Lambda من Amazon Kinesis
• إنشاء قائمة السماح للعناوين IP للسماح بالاتصالات بمصادر البيانات
• تنفيذ الكف والتغلب على حدود المعدل (على سبيل المثال، DynamoDB، Amazon RDS، Kinesis)
• إدارة مروحية الدخول والخروج لتوزيع البيانات البثية

بيان المهمة 1.2: تحويل وتصنيف البيانات.

المعرفة بـ:

• إنشاء أنابيب ETL على أساس متطلبات العمل
• الحجم والسرعة والتنوع للبيانات (على سبيل المثال، البيانات المهيكلة، البيانات غير المهيكلة)
• حوسبة السحابة والحوسبة الموزعة
• كيفية استخدام Apache Spark لتصنيف البيانات
• مواقع التجزئة المؤقتة

المهارات في:

• تحسين استخدام الحاويات لاحتياجات الأداء (على سبيل المثال، Amazon Elastic Kubernetes Service [Amazon EKS]، Amazon Elastic Container Service [Amazon ECS])
• الاتصال بمصادر بيانات مختلفة (على سبيل المثال، Java Database Connectivity [JDBC]، Open Database Connectivity [ODBC])
• دمج البيانات من مصادر متعددة
• تحسين التكاليف أثناء معالجة البيانات
• تنفيذ خدمات تحويل البيانات على أساس المتطلبات (على سبيل المثال، Amazon EMR، AWS Glue، Lambda، Amazon Redshift)
• تحويل البيانات بين التنسيقات (على سبيل المثال، من .csv إلى Apache Parquet)
• استكشاف أخطاء التحويل وإصلاحها والتعامل مع مشكلات الأداء
• إنشاء واجهات برمجة تطبيقات (API) للبيانات لإتاحة البيانات لأنظمة أخرى باستخدام خدمات AWS

بيان المهمة 1.3: ترتيب أنابيب البيانات.

المعرفة بـ:

• كيفية دمج خدمات AWS المختلفة لإنشاء أنابيب ETL
• معمارية محركة بالأحداث
• كيفية تكوين خدمات AWS لأنابيب البيانات على أساس الجداول الزمنية أو الاعتماديات
• العمليات اللاسيرفر

المهارات في:

• استخدام خدمات الترتيب لإنشاء سيرورات لأنابيب ETL للبيانات (على سبيل المثال، Lambda، EventBridge، Amazon Managed Workflows for Apache Airflow [Amazon MWAA]، AWS Step Functions، سيرورات AWS Glue)
• بناء أنابيب بيانات للأداء والتوفر والقابلية للتطوير والمتانة والحماية من الأعطال
• تنفيذ المحافظة على سيرورات اللاسيرفر وصيانتها
• استخدام خدمات الإشعارات لإرسال التنبيهات (على سبيل المثال، Amazon Simple Notification Service [Amazon SNS]، Amazon Simple Queue Service [Amazon SQS])

بيان المهمة 1.4: تطبيق مفاهيم البرمجة.

المعرفة بـ:

• التكامل المستمر والتسليم المستمر (CI/CD) (تنفيذ واختبار ونشر أنابيب البيانات)
• استعلامات SQL (لاستعلامات مصدر البيانات وتحويلات البيانات)
• البنية التحتية كرمز (IaC) للنشر القابل للتكرار (على سبيل المثال، AWS Cloud Development Kit [AWS CDK]، AWS CloudFormation)
• الحوسبة الموزعة
• هياكل البيانات والخوارزميات (على سبيل المثال، هياكل بيانات الرسوم البيانية وهياكل بيانات الشجرة)
• تحسين استعلامات SQL

المهارات في:

• تحسين الشفرة لتقليل وقت التشغيل لإدخال البيانات وتحويلها
• تكوين وظائف Lambda لتلبية احتياجات التوازي والأداء
• تنفيذ استعلامات SQL لتحويل البيانات (على سبيل المثال، إجراءات مخزنة في Amazon Redshift)
• هيكلة استعلامات SQL لتلبية متطلبات أنبوب البيانات
• استخدام أوامر Git للقيام بإجراءات مثل إنشاء المستودعات وتحديثها وفرعنتها واستنساخها
• استخدام AWS Serverless Application Model (AWS SAM) لتغليف ونشر أنابيب البيانات اللاسيرفر (على سبيل المثال، وظائف Lambda، Step Functions، جداول DynamoDB)
• استخدام وتركيب أحجام التخزين من داخل وظائف Lambda

المجال 2: إدارة متجر البيانات

بيان المهمة 2.1: اختيار متجر للبيانات.

المعرفة بـ:

• منصات التخزين وخصائصها
• خدمات التخزين والتكوينات للمتطلبات الأدائية المحددة
• تنسيقات تخزين البيانات (على سبيل المثال، .csv، .txt، Parquet)
• كيفية محاذاة تخزين البيانات مع متطلبات الهجرة
• كيفية تحديد الحل التخزيني المناسب للأنماط الوصول المحددة
• كيفية إدارة الأقفال لمنع الوصول إلى البيانات (على سبيل المثال، Amazon Redshift، Amazon RDS)

المهارات في:

• تنفيذ خدمات التخزين المناسبة لمتطلبات التكلفة والأداء المحددة (على سبيل المثال، Amazon Redshift، Amazon EMR، AWS Lake Formation، Amazon RDS، DynamoDB، Amazon Kinesis Data Streams، Amazon MSK)
• تكوين خدمات التخزين المناسبة للأنماط الوصول والمتطلبات المحددة (على سبيل المثال، Amazon Redshift، Amazon EMR، Lake Formation، Amazon RDS، DynamoDB)
• تطبيق خدمات التخزين على حالات الاستخدام المناسبة (على سبيل المثال، Amazon S3)
• دمج أدوات الهجرة في أنظمة معالجة البيانات (على سبيل المثال، AWS Transfer Family)
• تنفيذ طرق هجرة البيانات أو الوصول عن بعد (على سبيل المثال، استعلامات ممزوجة في Amazon Redshift، عروض مادية في Amazon Redshift، Amazon Redshift Spectrum)

بيان المهمة 2.2: فهم أنظمة فهرسة البيانات.

المعرفة بـ:

• كيفية إنشاء فهرس للبيانات
• تصنيف البيانات على أساس المتطلبات
• مكونات البيانات الوصفية وفهارس البيانات

المهارات في:

• استخدام فهارس البيانات لاستهلاك البيانات من مصدرها
• بناء وإحالة فهرس للبيانات (على سبيل المثال، فهرس بيانات AWS Glue، متجر Hive midata)
• اكتشاف المخططات واستخدام شكّارات AWS Glue لملء فهارس البيانات
• مواءمة الأجزاء مع فهرس البيانات
• إنشاء اتصالات جديدة للمصدر أو الهدف للفهرسة (على سبيل المثال، AWS Glue)

بيان المهمة 2.3: إدارة دورة حياة البيانات.

المعرفة بـ:

• الحلول التخزينية المناسبة لمعالجة متطلبات البيانات الساخنة والباردة
• كيفية تحسين تكلفة التخزين على أساس دورة حياة البيانات
• كيفية حذف البيانات لتلبية المتطلبات التجارية والقانونية
• سياسات الاحتفاظ بالبيانات واستراتيجيات الأرشفة
• كيفية حماية البيانات بقابلية للتعافي والتوافر المناسبة

المهارات في:

• إجراء عمليات التحميل والتحميل لنقل البيانات بين Amazon S3 و Amazon Redshift
• إدارة سياسات دورة حياة S3 لتغيير طبقة تخزين بيانات S3
• انتهاء صلاحية البيانات عند بلوغها عمرًا محددًا باستخدام سياسات دورة حياة S3
• إدارة إصدارات S3 وانتهاء صلاحية DynamoDB

بيان المهمة 2.4: تصميم نماذج البيانات وتطور المخطط.

المعرفة بـ:

• مفاهيم نمذجة البيانات
• كيفية ضمان دقة البيانات وموثوقيتها باستخدام سلسلة المصادر
• أفضل الممارسات للفهرسة واستراتيجيات التجزئة والضغط وتقنيات تحسين البيانات الأخرى
• كيفية نمذجة البيانات المهيكلة وشبه المهيكلة وغير المهيكلة
• تقنيات تطور المخطط

المهارات في:

• تصميم مخططات لـ Amazon Redshift و DynamoDB و Lake Formation
• معالجة التغييرات في خصائص البيانات
• إجراء تحويل المخطط (على سبيل المثال، باستخدام AWS Schema Conversion Tool [AWS SCT] وتحويل مخطط AWS DMS)
• إنشاء سلسلة مصادر البيانات باستخدام أدوات AWS (على سبيل المثال، Amazon SageMaker ML Lineage Tracking)

المجال 3: عمليات البيانات والدعم

بيان المهمة 3.1: أتمتة معالجة البيانات باستخدام خدمات AWS.

المعرفة بـ:

• كيفية الحفاظ على معالجة البيانات وإصلاحها لنتائج عمل قابلة للتكرار
• مكالمات API لمعالجة البيانات
• أي الخدمات تقبل البرمجة (على سبيل المثال، Amazon EMR، Amazon Redshift، AWS Glue)

المهارات في:

• ترتيب أنابيب البيانات (على سبيل المثال، Amazon MWAA، Step Functions)
• استكشاف أخطاء النُهج المدارة من قِبل Amazon والعمل على إصلاحها
• استدعاء أدوات تطوير البرمجيات للوصول إلى ميزات Amazon من الشفرة
• استخدام ميزات خدمات AWS لمعالجة البيانات (على سبيل المثال، Amazon EMR، Amazon Redshift، AWS Glue)
• استهلاك واجهات برمجة التطبيقات (API) للبيانات والمحافظة عليها
• إعداد تحويل البيانات (على سبيل المثال، AWS Glue DataBrew)
• استعلام البيانات (على سبيل المثال، Amazon Athena)
• استخدام Lambda لتأتيت معالجة البيانات
• إدارة الأحداث والمجدولات (على سبيل المثال، EventBridge)

بيان المهمة 3.2: تحليل البيانات باستخدام خدمات AWS.

المعرفة بـ:

• المقايضات بين الخدمات المؤمنة والخدمات اللاسيرفر
• استعلامات SQL (على سبيل المثال، عبارات SELECT مع معايير متعددة أو بنود JOIN)
• كيفية تصور البيانات للتحليل
• متى وكيف ينبغي تطبيق تقنيات التنظيف
• تجميع البيانات والمتوسط المتحرك والتجميع والمحور

المهارات في:

• تصوير البيانات باستخدام خدمات وأدوات AWS (على سبيل المثال، AWS Glue DataBrew، Amazon QuickSight)
• التحقق من البيانات وتنظيفها (على سبيل المثال، Lambda، Athena، QuickSight، دفاتر Jupyter، Amazon SageMaker Data Wrangler)
• استخدام Athena لاستعلام البيانات أو إنشاء عروض
• استخدام دفاتر Athena التي تستخدم Apache Spark لاستكشاف البيانات

بيان المهمة 3.3: الحفاظ على أنابيب البيانات وإشرافها.

المعرفة بـ:

• كيفية تسجيل بيانات التطبيق
• أفضل الممارسات لتحسين الأداء
• كيفية تسجيل الوصول إلى خدمات AWS
• Amazon Macie و AWS CloudTrail و Amazon CloudWatch

المهارات في:

• استخراج السجلات للمراجعات
• نشر حلول التسجيل والمراقبة لتسهيل التدقيق والرجوع إليها
• استخدام الإشعارات أثناء المراقبة لإرسال التنبيهات
• استكشاف مشكلات الأداء وإصلاحها
• استخدام CloudTrail لتتبع مكالمات API
• استكشاف أخطاء أنابيب البيانات وصيانتها (على سبيل المثال، AWS Glue، Amazon EMR)
• استخدام سجلات Amazon CloudWatch لتسجيل بيانات التطبيق (مع التركيز على التكوين والأتمتة)
• تحليل السجلات باستخدام خدمات AWS (على سبيل المثال، Athena، Amazon EMR، Amazon OpenSearch Service، CloudWatch Logs Insights، سجلات تطبيقات البيانات الضخمة)

بيان المهمة 3.4: ضمان جودة البيانات.

المعرفة بـ:

• تقنيات أخذ عينات البيانات
• كيفية تنفيذ آليات التحريف في البيانات
• التحقق من البيانات (اكتمال البيانات والاتساق والدقة والنزاهة)
• تنميط البيانات

المهارات في:

• تشغيل فحوصات جودة البيانات أثناء معالجة البيانات (على سبيل المثال، التحقق من وجود حقول فارغة)
• تحديد قواعد جودة البيانات (على