ما الفارق بين ETL وELT؟
يُعد الاستخراج والتحويل والتحميل (ETL) والاستخراج والتحميل والتحويل (ELT) نهجين لمعالجة البيانات للتحليلات. تمتلك المؤسسات الكبيرة عدة مئات (أو حتى الآلاف) من مصادر البيانات من جميع جوانب عملياتها - مثل التطبيقات وأجهزة الاستشعار والبنية التحتية لتكنولوجيا المعلومات وشركاء الطرف الثالث. يجب عليها تصفية هذا الحجم الكبير من البيانات وفرزه وتنظيفه لجعله مفيدًا للتحليلات وذكاء الأعمال. يستخدم نهج ETL مجموعة من قواعد العمل لمعالجة البيانات من عدة مصادر قبل التكامل المركزي. يقوم نهج ELT بتحميل البيانات كما هي وتحويلها في مرحلة لاحقة، حسب حالة الاستخدام ومتطلبات التحليلات. تتطلب عملية ETL المزيد من التعريف في البداية. تحتاج التحليلات إلى المشاركة من البداية لتحديد أنواع البيانات المستهدفة، وهياكلها، وعلاقاتها. يستخدم علماء البيانات ETL بشكل أساسي في تحميل قواعد البيانات القديمة إلى مستودع البيانات، وأصبحت عملية ELT هي المعيار اليوم.
ما أوجه التشابه بين ETL وELT؟
يُعد كلٌ من الاستخراج والتحويل والتحميل (ETL) والاستخراج والتحميل والتحويل (ELT) تسلسلات من العمليات التي تعد البيانات لمزيد من التحليل. فهي تلتقط البيانات وتعالجها وتحمّلها عبر ثلاث خطوات.
الاستخراج
الاستخراج هو الخطوة الأولى لكل من ETL وELT. تتعلق هذه الخطوة بجمع البيانات الأولية من مصادر مختلفة. يمكن أن تكون هذه قواعد بيانات أو ملفات أو تطبيقات برامج كخدمة (SaaS) أو مستشعرات إنترنت الأشياء (IoT) أو أحداث التطبيق. يمكنك جمع البيانات شبه المهيكلة أو المهيكلة أو غير المهيكلة في هذه المرحلة.
التحويل
في عملية ETL، يكون التحويل هو الخطوة الثانية، بينما في ELT هو الخطوة الثالثة. تركز هذه الخطوة على تغيير البيانات الأولية من هيكلها الأصلي إلى تنسيق يلبي متطلبات النظام المستهدف حيث تخطط لتخزين البيانات للتحليلات. فيما يلي بعض الأمثلة على التحويل:
- تغيير أنواع البيانات أو التنسيقات
- إزالة البيانات غير المتسقة أو غير الدقيقة.
- إزالة تكرار البيانات.
يمكنك تطبيق القواعد والوظائف لتنظيف البيانات وإعدادها للتحليل في النظام المستهدف.
التحميل
في هذه المرحلة، تقوم بتخزين البيانات في قاعدة البيانات المستهدفة. تقوم ETL بمعالجة بيانات التحميل باعتبارها خطوة أخيرة، بحيث يمكن لأدوات إعداد التقارير استخدامها مباشرةً لإنشاء تقارير ورؤى قابلة للتنفيذ. ومع ذلك، في ELT، لا تزال بحاجة إلى تحويل البيانات المستخرجة بعد تحميلها.
كيف تختلف عمليات ELT وETL عن بعضها؟
بعد ذلك، نحدد عمليات الاستخراج والتحويل والتحميل (ETL) والاستخراج والتحميل والتحويل (ELT). يمكنك أيضًا قراءة بعض الخلفيات التاريخية.
عملية ETL
تحتوي ETL على ثلاث خطوات:
- يمكنك استخراج البيانات الأولية من مصادر مختلفة
- يمكنك استخدام خادم معالجة ثانوي لتحويل تلك البيانات
- تقوم بتحميل هذه البيانات إلى قاعدة بيانات مستهدفة
تضمن مرحلة التحويل الامتثال للمتطلبات الهيكلية لقاعدة البيانات المستهدفة. يمكنك نقل البيانات فقط بمجرد تحويلها وتجهيزها.
عملية ELT
هذه هي الخطوات الثلاث لعملية ELT:
- يمكنك استخراج البيانات الأولية من مصادر مختلفة
- تقوم بتحميله في حالته الطبيعية إلى مستودع بيانات أو مخزن بيانات
- يمكنك تحويله حسب الحاجة خلال وجودك في النظام المستهدف
مع ELT، تتم جميع عمليات تنقية البيانات وتحويلها وإثرائها داخل مستودع البيانات. يمكنك التفاعل مع البيانات الأولية وتحويلها عدة مرات حسب الحاجة.
تاريخ ETL وELT
كانت ETL موجودة منذ السبعينيات، وأصبحت شائعة بشكل خاص مع ظهور مستودعات البيانات. ومع ذلك، تتطلب مستودعات البيانات التقليدية عمليات ETL مخصصة لكل مصدر بيانات.
أدى تطور التقنيات السحابية إلى تغيير ما كان ممكنًا. يمكن للشركات الآن تخزين بيانات أولية غير محدودة على نطاق واسع وتحليلها لاحقًا حسب الحاجة. أصبحت ELT طريقة تكامل البيانات الحديثة للتحليلات الفعالة.
الاختلافات الأساسية: ETL مقابل ELT
أدى الاستخراج والتحميل والتحويل (ELT) إلى تحسين الاستخراج والتحويل والتحميل (ETL) بعدة طرق.
موقع التحويل والتحميل
يحدث التحويل والتحميل في مواقع مختلفة ويستخدمان عمليات متميزة. تقوم عملية ETL بتحويل البيانات على خادم معالجة ثانوي.
في المقابل، تقوم عملية ELT بتحميل البيانات الأولية مباشرةً إلى مستودع البيانات المستهدف. بمجرد الوصول إلى هناك، يمكنك تحويل البيانات متى احتجت إليها.
توافق البيانات
ETL هو الأنسب للبيانات المنظمة التي يمكنك تمثيلها في الجداول ذات الصفوف والأعمدة. يقوم بتحويل مجموعة واحدة من البيانات المنظمة إلى تنسيق منظم آخر ثم تحميلها.
في المقابل، تتعامل ELT مع جميع أنواع البيانات، بما في ذلك البيانات غير المهيكلة مثل الصور أو المستندات التي لا يمكنك تخزينها بتنسيق جدولي. باستخدام ELT، تقوم العملية بتحميل تنسيقات البيانات المختلفة في مستودع البيانات المستهدف. من هناك، يمكنك تحويله بشكلٍ أكبر إلى التنسيق الذي تريده.
السرعة
ELT أسرع من ETL. لدى ETL خطوة إضافية قبل تحميل البيانات إلى الهدف الذي يصعب توسيع نطاقه وإبطاء النظام مع زيادة حجم البيانات.
في المقابل، تقوم ELT بتحميل البيانات مباشرةW إلى نظام الوجهة وتحويلها بالتوازي. وهي تستخدم قوة المعالجة والتوازي التي توفرها مستودعات البيانات السحابية لتقديم تحويل البيانات في الوقت الفعلي أو في الوقت الفعلي تقريبًا للتحليلات.
التكاليف
تتطلب عملية ETL مشاركة التحليلات من البداية. يحتاج الأمر إلى المحللين للتخطيط المسبق للتقارير التي يريدون إنشاؤها وتحديد هياكل البيانات وتنسيقها. يزداد الوقت المطلوب للإعداد؛ ما يزيد من التكاليف. قد تزيد أيضًا تكلفة البنية التحتية الإضافية للخادم المستخدمة في عمليات التحويل.
تحتوي ELT على أنظمة أقل من ETL؛ إذ تحدث جميع التحويلات داخل مستودع البيانات المستهدف. مع وجود عدد أقل من الأنظمة، تقل الحاجة إلى الصيانة؛ ما يؤدي إلى تجميع بيانات بطريقةٍ أبسط، مع دفع تكاليف إعداد أقل.
الأمان
عند التعامل مع البيانات الشخصية، يجب عليك الامتثال للوائح خصوصية البيانات. يجب على الشركات حماية معلومات التعريف الشخصية (PII) من الوصول غير المصرح به.
في ETL، يتعين على المطورين إنشاء حلول مخصصة، مثل إخفاء معلومات تحديد الهوية الشخصية لمراقبة البيانات وحمايتها.
من ناحية أخرى، توفر حلول ELT العديد من ميزات الأمان - مثل التحكم الدقيق في الوصول والمصادقة متعددة العوامل - مباشرة داخل مستودع البيانات. يمكنك استثمار المزيد من الوقت في التحليلات ووقت أقل للوفاء بمتطلبات تنظيم البيانات.
متى يتم استخدام ETL vs. ELT
يُعد الاستخراج والتحميل والتحويل (ELT) الخيار القياسي للتحليلات الحديثة. ومع ذلك، يمكنك استخدام الاستخراج والتحويل والتحميل (ETL) في السيناريوهات التالية.
قواعد البيانات القديمة
من المفيد أحيانًا استخدام ETL للتكامل مع قواعد البيانات القديمة أو مصادر بيانات الجهات الخارجية بتنسيقات بيانات محددة مسبقًا. ما عليك سوى تحويلها وتحميلها مرة واحدة في نظامك. بمجرد التحويل، يمكنك استخدامها بكفاءة أكبر لجميع التحليلات المستقبلية.
التجريب
في المؤسسات الكبيرة، يقوم مهندسو البيانات بإجراء تجارب - أشياء مثل اكتشاف مصادر البيانات المخفية للتحليلات وتجربة أفكار جديدة للإجابة عن استفسارات الأعمال. ETL مفيد في تجارب البيانات لفهم قاعدة البيانات وفائدتها في سيناريو معين.
تحليلات معقدة
يمكن استخدام كل من ETL و ELT معًا للتحليلات المعقدة التي تستخدم تنسيقات بيانات متعددة من مصادر متنوعة. قد يقوم علماء البيانات بإعداد خطوط أنابيب ETL من بعض المصادر واستخدام ELT مع البقية. يعمل هذا على تحسين كفاءة التحليلات وزيادة أداء التطبيق في بعض الحالات.
تطبيقات إنترنت الأشياء
غالبًا ما تستفيد تطبيقات إنترنت الأشياء (IoT) التي تستخدم تدفقات بيانات المستشعر من ETL عبر ELT. على سبيل المثال، إليك بعض حالات الاستخدام الشائعة لـ ETL على الحافة:
- تريد تلقي البيانات من بروتوكولات مختلفة وتحويلها إلى تنسيقات بيانات قياسية لاستخدامها في أعباء العمل السحابية
- تريد تصفية البيانات عالية التردد، وتنفيذ وظائف المتوسط على مجموعات البيانات الكبيرة، ثم تحميل القيم المتوسطة أو المفلترة بمعدل مخفّض
- تريد حساب القيم من مصادر البيانات المختلفة على الجهاز المحلي، وإرسال القيم التي تمت تصفيتها إلى الواجهة الخلفية السحابية
- تريد تنظيف عناصر بيانات السلاسل الزمنية المفقودة، أو إلغاء تكرارها، أو تعبئتها
ملخص الاختلافات: ETL مقابل ELT
| الفئة | ETL |
ELT |
| ما يشير إليه الاختصار |
الاستخراج، والتحويل، والتحميل |
الاستخراج، والتحميل، والتحويل |
| العملية |
يستخرج البيانات الأولية ويحولها إلى تنسيق محدد مسبقًا ثم يحمّلها إلى مستودع البيانات المستهدف. |
يستخرج البيانات الأولية، ويحمّلها إلى مستودع البيانات المستهدف ثم يحولها قبل التحليلات مباشرةً. |
| مواقع التحويل والتحميل |
يُجرى التحويل في خادم معالجة ثانوي. |
يُجرى التحويل في مستودع البيانات المستهدف. |
| توافق البيانات |
الأفضل مع البيانات المهيكلة. |
يمكن التعامل مع البيانات المهيكلة وغير المهيكلة وشبه المهيكلة. |
| السرعة |
ETL أبطأ من ELT. |
ELT أسرع من ETL حيث يمكنه استخدام الموارد الداخلية لمستودع البيانات. |
| التكاليف |
يمكن أن يكون إعداده مكلفًا ويستغرق وقتًا طويلاً اعتمادًا على أدوات ETL المستخدمة. |
أكثر فعالية من حيث التكلفة حسب البنية التحتية لـ ELT المستخدمة. |
| الأمان |
قد يتطلب إنشاء تطبيقات مخصصة لتلبية متطلبات حماية البيانات. |
يمكنك استخدام الميزات المضمنة لقاعدة البيانات المستهدفة لإدارة حماية البيانات. |
كيف يمكن لـ AWS دعم متطلبات ETL وELT الخاصة بك؟
تصف التحليلات على AWS مجموعة كبيرة من خدمات التحليلات من Amazon Web Services (AWS) التي تفي بجميع احتياجات تحليلات البيانات الخاصة بك. باستخدام AWS، تتاح للمؤسسات من جميع الأحجام والمجالات إمكانية إعادة إنشاء أعمالها باستخدام البيانات.
فيما يلي بعض خدمات AWS التي يمكنك استخدامها لتلبية متطلبات ETL وELT الخاصة بك:
- تدعم Amazon Aurora تكامل zero-ETL معAmazon Redshift. يتيح هذا التكامل إجراء التحليلات في الوقت الفعلي تقريبًا وتعلّم الآلة من خلال Amazon Redshift على وحدات البيتابايت (PB) الخاصة ببيانات المعاملات من Aurora.
- مسار البيانات في AWS هي خدمة ETL مُدارة تتيح لك إمكانية تحديد حركة البيانات والتحويلات عبر خدمات AWS المختلفة.
- AWS Glue هي خدمة تكامل بيانات بلا خادم لوظائف ETL القائمة على الأحداث ووظائف ETL الخالية من التعليمات البرمجية.
- تدعم AWS IoT Greengrass حالات استخدام ETL الخاصة بك على الحافة من خلال إدخال المعالجة السحابية والمنطق محليًا إلى أجهزة الحافة.
- يتيح لك Amazon Redshift إمكانية إعداد جميع عمليات سير عمل ELT والاستعلام المباشر عن مجموعات البيانات من مصادر مختلفة.
بادر باستخدام ELT وETL على AWS من خلال إنشاء حساب مجاني اليوم.
الخطوات التالية مع AWS
