ما المقصود بإدارة البيانات؟

تمتد ممارسة إدارة البيانات إلى جمع وتوزيع البيانات عالية الجودة، بالإضافة إلى حوكمة البيانات، للتحكم في الوصول إلى البيانات.

إدارة جودة البيانات

يتوقع مستخدمو البيانات أن تكون البيانات موثوقةً ومتسقةً بدرجة كافية لكل حالة استخدام.

يقوم مديرو جودة البيانات بقياس جودة بيانات المؤسسة وتحسينها. يراجعون البيانات الحالية والجديدة ويتحققون من أنها تستوفي المعايير. قد يقومون أيضًا بإعداد عمليات ضمن إدارة البيانات تمنع البيانات منخفضة الجودة من دخول النظام. وعادةً ما تقيس معايير جودة البيانات ما يلي:

• هل المعلومات الأساسية مفقودة أم أن البيانات كاملة؟ (على سبيل المثال، يترك العميل معلومات الاتصال الأساسية)
• هل تتوافق البيانات مع القواعد الأساسية للتحقق من البيانات؟ (على سبيل المثال، يجب أن يكون رقم الهاتف مكونًا من 10 أرقام)
• كم مرة تظهر نفس البيانات في النظام؟ (على سبيل المثال، إدخالات البيانات المكررة لنفس العميل)
• هل البيانات دقيقة؟ (على سبيل المثال، يقوم العميل بإدخال عنوان بريد إلكتروني خطأ)
• هل جودة البيانات متسقة عبر النظام؟ (على سبيل المثال، تاريخ الميلاد يكون بالتنسيق dd/mm/yyyy في مجموعة بيانات واحدة بينما يكون بالتنسيق mm/dd/yyyy في مجموعة بيانات أخرى)

توزيع البيانات والاتساق

نقاط النهاية لتوزيع البيانات

بالنسبة لمعظم المؤسسات، يجب توزيع البيانات على (أو بالقرب) من نقاط النهاية المتنوعة التي تكون البيانات فيها مطلوبة. وتشمل هذه الأنظمة التشغيلية ومخازن البيانات ومستودعات البيانات. توزيع البيانات ضروري بسبب أزمنة استجابة الشبكة. عند الحاجة إلى البيانات للاستخدام التشغيلي، قد لا يكون زمن استجابة الشبكة كافيًا لتسليمها في الوقت المناسب. يؤدي تخزين نسخة من البيانات في قاعدة بيانات محلية إلى حل مشكلة زمن استجابة الشبكة.

توزيع البيانات ضروري أيضًا لدمج البيانات. تقوم مستودعات البيانات ومخازن البيانات بدمج البيانات من مصادر مختلفة لتقديم عرض موحد للمعلومات. تُستخدم مستودعات البيانات للتحليلات واتخاذ القرار، في حين أن مخازن البيانات هي مركز موحد يمكن من خلاله استخراج البيانات لحالات الاستخدام المختلفة.

آليات تكرار البيانات وتأثيرها على الاتساق

آليات توزيع البيانات لها تأثير محتمل على اتساق البيانات، وهذا اعتبار مهم في إدارة البيانات.

ينتج التناسق القوي عن النسخ المتزامن للبيانات. في هذا النهج، عندما يتم تغيير قيمة البيانات، سترى جميع التطبيقات والمستخدمين القيمة المتغيرة للبيانات. إذا لم يتم نسخ القيمة الجديدة للبيانات حتى الآن، فسيتم حظر الوصول إلى البيانات حتى يتم تحديث جميع النسخ. يعطي النسخ المتماثل المتزامن الأولوية للاتساق عن الأداء والوصول إلى البيانات. وفي الغالب ما يتم استخدام النسخ المتماثل المتزامن للبيانات المالية.

ينتج التناسق النهائي من النسخ المتماثل غير المتزامن للبيانات. عندما تتغير البيانات، يتم تحديث النسخ في النهاية (عادةً في غضون ثوان)، ولكن لا يتم حظر الوصول إلى النسخ القديمة. بالنسبة للعديد من حالات الاستخدام، هذه ليست مشكلة. على سبيل المثال، لا تتطلب منشورات الوسائط الاجتماعية والإعجابات والتعليقات تناسقًا قويًا. وكمثال آخر، إذا قام أحد العملاء بتغيير رقم هاتفه في تطبيق واحد، فيمكن أن يتتالى هذا التغيير بطريقة غير متزامنة.

مقارنة البث مع التحديثات المجمعة

تدفقات البيانات تتالى كلما تحدث تغيرات في البيانات. هذا هو النهج المفضل إذا كان الوصول إلى البيانات في الوقت الفعلي تقريبًا مطلوبًا. يتم استخراج البيانات وتحويلها وتسليمها إلى وجهتها بمجرد تغييرها.

تكون التحديثات المجمعة أكثر ملاءمةً عندما تتعين معالجة البيانات على دفعات قبل التسليم. تلخيص أو إجراء تحليل إحصائي للبيانات وتقديم النتيجة فقط هو مثال على ذلك. يمكن أن تحافظ التحديثات المجمعة أيضًا على التناسق الداخلي للبيانات في نقطة زمنية إذا تم استخراج جميع البيانات في نقطة زمنية معينة. وعادةً ما يتم استخدام التحديثات المجمعة من خلال عملية الاستخراج والتحويل والتحميل (ETL أو ELT) لمخازن البيانات، وتخزين البيانات، والتحليلات.

إدارة البيانات الكبيرة

البيانات الكبيرة هي كميات ضخمة من البيانات التي تجمعها المنظمة بسرعة عالية خلال فترة زمنية قصيرة. تعد موجزات أخبار الفيديو على وسائل التواصل الاجتماعي وتدفقات البيانات من أجهزة الاستشعار الذكية أمثلةً على البيانات الكبيرة. يخلق كل من حجم العمليات وتعقيدها تحديات في إدارة البيانات الكبيرة. على سبيل المثال، يقوم نظام البيانات الكبيرة بتخزين البيانات مثل:

• البيانات المهيكلة التي تُمثَّل بشكل جيد في تنسيق جدولي
• البيانات غير المهيكلة مثل المستندات والصور ومقاطع الفيديو
• البيانات شبه المهيكلة التي تجمع بين النوعين السابقين

يجب أن تقوم أدوات إدارة البيانات الكبيرة بمعالجة البيانات وتجهيزها للتحليلات. وعادةً ما تؤدي الأدوات والتقنيات المطلوبة للبيانات الكبيرة الوظائف التالية: تكامل البيانات، وتخزين البيانات، وتحليل البيانات.

بنية البيانات ونمذجة البيانات

بنية البيانات

تصف بنية البيانات أصول بيانات المؤسسة، وتوفر مخططًا لإنشاء تدفق البيانات وإدارته. خطة إدارة البيانات تتضمن التفاصيل الفنية، مثل قواعد البيانات التشغيلية، ومخازن البيانات، ومستودعات البيانات، والخوادم، الأكثر ملاءمةً لتنفيذ استراتيجية إدارة البيانات.

نمذجة البيانات

نمذجة البيانات هي عملية إنشاء نماذج بيانات مفاهيمية ومنطقية تعرض تدفقات سير العمل بطريقة مرئية والعلاقات بين أنواع مختلفة من البيانات. تبدأ نمذجة البيانات عادةً بتمثيل البيانات من منظور المفاهيم ثم تمثيلها مرةً أخرى في سياق التقنيات المختارة. يقوم مديرو البيانات بإنشاء أنواع مختلفة من نماذج البيانات أثناء مرحلة تصميم البيانات.

حوكمة البيانات

حوكمة البيانات تتضمن السياسات والإجراءات التي تنفذها المنظمة لإدارة أمان البيانات وسلامتها وأداة البيانات المسؤولة. تقوم حوكمة البيانات بتحديد إستراتيجية إدارة البيانات وتحديد من يمكنه الوصول إلى البيانات. تحدد سياسات حوكمة البيانات أيضًا المساءلة في طريقة وصول الفرق والأفراد إلى البيانات واستخدامها. تتضمن وظائف حوكمة البيانات عادةً ما يلي:

الامتثال للوائح التنظيمية

سياسات حوكمة البيانات تحد من مخاطر التعرض للغرامات أو الإجراءات التنظيمية. تركز على تدريب الموظفين بحيث يتم الالتزام بالقوانين على جميع المستويات. على سبيل المثال، تتعاون المنظمة مع فريق تطوير خارجي لتحسين أنظمة البيانات الخاصة بها. يتحقق مديرو حوكمة البيانات من إزالة جميع البيانات الشخصية قبل تمريرها إلى الفريق الخارجي لاستخدامها في أغراض الاختبار.

أمن البيانات والتحكم في الوصول

حوكمة البيانات تمنع الوصول غير المصرح به إلى البيانات وتحميها من الفساد. ويشمل جميع جوانب الحماية، مثل ما يلي:

• منع حركة البيانات العرضية أو حذفها
• تأمين الوصول إلى الشبكة لتقليل مخاطر هجمات الشبكة
• التحقق من أن مراكز البيانات المادية التي تخزن البيانات تفي بمتطلبات الأمان
• الحفاظ على البيانات آمنة حتى عندما يصل الموظفون إليها من الأجهزة الشخصية
• مصادقة المستخدم والتفويض وإعداد أذونات الوصول إلى البيانات وإنفاذها
• التأكد من أن البيانات المخزنة تتوافق مع القوانين في البلد الذي يتم تخزين البيانات فيه
   

أفضل ممارسات إدارة البيانات تشكل الأساس لوضع إستراتيجية بيانات ناجحة. فيما يلي أفضل الممارسات الشائعة.

تعاون الفريق

يجب على مستخدمي الأعمال والفرق الفنية التعاون لضمان تلبية متطلبات بيانات المنظمة. من المفترض أن تقوم جميع عمليات معالجة البيانات وتحليلها بإعطاء الأولوية لمتطلبات ذكاء الأعمال. وخلاف ذلك، تبقى البيانات التي تم جمعها غير مستخدمة، مع إهدار الموارد في مشروعات إدارة البيانات سيئة التخطيط.

الأتمتة

تتضمن إستراتيجية إدارة البيانات الناجحة الأتمتة في معظم مهام معالجة البيانات وتحضيرها. يعد تنفيذ مهام تحويل البيانات يدويًا أمرًا شاقًا ويؤدي أيضًا إلى حدوث أخطاء في النظام. حتى العدد المحدود من المهام اليدوية، مثل تشغيل المهام المجمعة الأسبوعية، يمكن أن يسبب اختناقات في النظام. يمكن أن تدعم برمجيات إدارة البيانات القابلية للتوسع بطريقة أسرع وأكثر كفاءة.

الحوسبة السحابية

تتطلب الشركات حلول إدارة البيانات الحديثة التي توفر لهم مجموعةً واسعةً من الإمكانات. يمكن للحل السحابي إدارة جميع جوانب إدارة البيانات على نطاق واسع بدون التضحية بالأداء. على سبيل المثال، تقدم AWS مجموعةً واسعةً من الوظائف، مثل قواعد البيانات، ومخازن البيانات، والتحليلات، وإمكانية الوصول إلى البيانات، وحوكمة البيانات، والأمان، من داخل حساب واحد.