إداري البيانات الضخمة

هدف الوظيفة:

إدارة النظام البيئي للبيانات الضخمة من مجموعات الإعداد إلى الصيانة وتصميم تنفيذ استراتيجية النسخ الاحتياطي والتعافي من الكوارث وتحسين أداء المجموعة لتلبية احتياجات العمل.

الأدوار والمسؤوليات:

- تثبيت Cloudera-Hadoop من نقطة الصفر لمختلف البيئات (Dev ، Test ، Cert ، Production ، Disaster Recovery).

- تثبيت وتهيئة Kafka لتسهيل تطبيقات تدفق الوقت الفعلي.

- توفير الدعم والصيانة والنظم الإيكولوجية تشمل HDFS ، و Yarn ، و Hive ، و Impala ، و Spark ، و Kafka ، و HBase.

- تنفيذ Hadoop Security مثل Kerberos و Cloudera Key Trustee Server و Key Trustee Management Systems.

- تمكين Sentry for RBAC (التحكم في الوصول المستند إلى الدور) للحصول على مستوى امتياز الوصول إلى البيانات في HDFS وفقًا لسياسات الأمان.

- تمكين خاصية ترميز البيانات في وضع السكون وفي نمط الحركة باستخدام TLS / SSL لتلبية معايير الأمان.

- تصميم وتنفيذ استراتيجية النسخ الاحتياطي والتعافي من الكوارث القائمة على الأداة المساعدة Cloudera BDR لتطبيقات Batch و Kafka's MirrorMaker لتطبيقات تدفق الوقت الفعلي.

- تحسين وضبط الأداء للمجموعة عن طريق تغيير المعلمات بناءً على النتائج المرجعية مثل. Teragen / Terasort.

- المشاركة في التصميم الفني التفصيلي وتطوير وتنفيذ ودعم تطبيقات البيانات الضخمة باستخدام منصات التكنولوجيا القائمة والناشئة.

- العمل على مجموعات كبيرة من البيانات باستخدام أدوات مثل Hadoop و Spark و Kafka و Flume و.

- المشاركة في مشاريع التطوير التي تستخدم مهارات البيانات الضخمة لتحديد وتطوير الحلول الحديثة عالية الأداء.

- المشاركة في جميع مستويات دورة حياة التطوير.

- التعاون والمشاركة في إدارة العمل الجماعي في بيئة مرنة.

- التشاور مع أعضاء الإدارة والفريق بشأن مناهج وأساليب التصميم الفني.

- المراجعة والتحقق من صحة تكوين منصة البيانات وتطبيق الإصلاحات المناسبة لتحسين الأداء وتعزيز الأمان.

- التحقق من صحة التكوين الصحيح للنسخ الاحتياطي والنسخ المتماثل لمنصة البيانات.

- مساعدة القائم على تكامل النظام أثناء إعداد البنية التحتية للشبكة.

- تحسين المعلمات وتطبيق التصحيحات للمكونات المختلفة ل Hadoop.

- إدارة جميع أساسيات Hadoop والمكونات الإضافية المنتشرة.

- إجراء الإعداد لتشغيل البرنامج وإجراء عمليات التحقق من السلامة الدورية لمنصة البيانات الضخمة.

- تطبيق أفضل الممارسات على منصة البيانات لجميع المكونات.

 الكفاءات والمهارات الفنية:

- خبرة في حلول البيانات الضخمة وتصميم بحيرة البيانات على نطاق واسع.

- خبرة في بناء طبقات منطق الأعمال والأنظمة الخلفية لخط أنابيب بيانات ETL كبيرة الحجم.

- معرفة واسعة لمنصة تحليلات البيانات الضخمة و ETL في نطاق البيانات الضخمة.

- خبرة في استخدام منصات NO SQL مثل HBase / Cassandra / MongoDB.

- خبرة في بناء أطر المراسلة عالية السرعة والبث باستخدام منصة البث Kafka.

- خبرة في لغات البرمجة Java/Scala/impala/python..

- خبرة في التطوير والنشر على منصات Linux/Unix.

- خبرة في كتابة عمليات ETL دفعة واحدة وفي صيغة الزمن الحقيقي.

- خبرة في تصميم بنية Hadoop متعددة المستأجرين في حاويات وذلك لإدارة الذاكرة / وحدة المعالجة المركزية CPU / المشاركة عبر محاور داخلية مختلفة.

الكفاءات والمهارات السلوكية:

- القدرة على بناء وتنظيم فرق العمل وتوضيح الأدوار والمسؤوليات وتعزيز كفاءات الموظفين وقدراتهم.

- القدرة على فهم الأسباب وراء التغيير والمساهمة في إدارة أي مبادرة تغيير.

- القدرة على التفاوض مع الآخرين وإقناعهم بالآراء والأفكار والتوجهات والقدرة على التأثير على الموظفين بطريقة إيجابية.

- القدرة على استثمار الموارد المتوفرة بالشكل الأمثل وتوظيفها بشكل استراتيجي وفعّال، وتوضيح آليات العمل ووضع الأهداف التي تقود الموظفين إلى التميز في الأداء لتحقيق الخطط التشغيلية للوحدات التنظيمية.

- القدرة على تحديد أصحاب المصلحة الداخليين والخارجيين ومعرفة متطلباتهم وتوقعاتهم والعمل على بناء علاقات قوية والتي تدعم أعمال الوحدة التنظيمية.

- القدرة على إدارة أعمال الوحدة التنظيمية بطريقة تدعم الهيئة في تحقيق أهدافها، والقدرة على تحديد الأهداف الاستراتيجية للوحدة التنظيمية، والقدرة على اتخاذ القرارات الصائبة وبحكمة.

المؤهلات العلمية:

- علوم الحاسب أو التقنية المعلوماتية أو نظم المعلومات أو هندسة البرمجيات أو علوم البيانات أو ما يعادلها.

- الطلاقة باللغتين العربية والإنجليزية.

الحد الأدنى من الخبرة المطلوبة:

- خبرة خمس سنوات و أكثر في تخطيط Hadoop Cluster وخبرة في Spark و Hive و Kafka و HBase وخبرة في الفحص والصيانة.

علوم الحاسب أو التقنية المعلوماتية أو نظم المعلومات أو هندسة البرمجيات أو علوم البيانات أو ما يعادله