كلما كان النظام أكثر تعقيدا، كلما زاد عدد الأخطاء التي يسببها. إن فريق التشغيل والصيانة الذي أيقظه صوت المنبه في الساعة الثانية صباحًا يدرك ذلك جيدًا. يعتمد التشغيل والصيانة التقليدية على المراقبة البشرية والخبرة في استكشاف الأخطاء وإصلاحها. غالبًا ما يتم قياس متوسط وقت إصلاح الأعطال بالساعات، وكل دقيقة من انقطاع العمل تكلف الأوامر والثقة. تستخدم عملية التشغيل والصيانة الذكية (AIOps) التي تعتمد على الذكاء الاصطناعي (AIOps) التعلم الآلي لإكمال الكشف عن الحالات الشاذة، وتحديد موقع السبب الجذري، والمعالجة التلقائية، وتحويل “الأشخاص الذين يركضون خلف الأخطاء” إلى “يقوم النظام تلقائيًا بإيقاف النزيف قبل أن يتوسع الخطأ”. توفر هذه المقالة دليلاً كاملاً للمؤسسات لبناء أنظمة تشغيل وصيانة ذكية تعمل بالذكاء الاصطناعي وأنظمة للإصلاح الذاتي للأخطاء.
عوائق نموذج التشغيل والصيانة التقليدي
الأول هو عاصفة الإنذار: يتم إنذار الآلاف من عناصر المراقبة في نفس الوقت، وتغرق الإشارات المهمة حقًا في الضوضاء؛ والثاني هو استكشاف الأخطاء وإصلاحها ببطء: التبعيات عبر الأنظمة معقدة، ويعتمد تحديد السبب الجذري على خبرة الموظفين المخضرمين في ربط السجلات؛ والثالث هو ازدواجية العمل: يتم تكرار عمليات مثل تنظيف القرص وإعادة تشغيل الخدمة وتوسيع السعة كل يوم، مما يستهلك الكثير من القوى العاملة. الحل المشترك لهذه المشاكل هو تمكين النظام من الحصول على قدرة الحلقة المغلقة “اكتشاف الحالات الشاذة – تحديد السبب – تنفيذ التخلص منها”.
أربع قدرات أساسية للتشغيل والصيانة الذكية للذكاء الاصطناعي
1. الكشف الذكي عن الشذوذ
يمكن لأجهزة إنذار الحد الأدنى التقليدية أن تكتشف فقط “الحدود الزائدة” وتكون عاجزة في مواجهة التدهور البطيء والحالات الشاذة الدورية. يتعلم اكتشاف الشذوذ بواسطة الذكاء الاصطناعي خط أساس ديناميكي لكل مؤشر، ويحدد الإشارات المبكرة التي تنحرف عن النمط الطبيعي، ويقدم وقت الاكتشاف من “بعد إبلاغ المستخدم عن الخطأ” إلى “عند حدوث التدهور”. يمكن عادةً تقليل كمية الإنذارات بنسبة تزيد عن 70%.
2. تقارب الإنذارات وموقع السبب الجذري
قم بتجميع الإنذارات المتسلسلة الناتجة عن نفس الخطأ في حدث واحد، واستنتج السبب الجذري تلقائيًا من خلال الجمع بين سلسلة الاتصال والطوبولوجيا وسجلات التغيير، وإخراج “نقطة الخطأ الأكثر احتمالية + سلسلة الأدلة”. تغير موظفو التشغيل والصيانة من “البحث عن أدلة في مئات الإنذارات” إلى “تأكيد واحد تلو الآخر وفقًا للأسباب المرشحة التي يقدمها النظام”.
3. خطأ تنفيذ الشفاء الذاتي
بالنسبة لحالات الفشل عالية التردد ومنخفضة المخاطر وواضحة الخطوات (القرص ممتلئ، عملية زومبي، استنفاد تجمع الاتصال)، سنقوم بتجميع البرامج النصية للمعالجة التلقائية وتنفيذها بمجرد الوصول إلى شرط التشغيل، مع ترك آثار طوال عملية المعالجة بأكملها. يجب التحكم بشكل صارم في نطاق الإصلاح الذاتي: عمليات القراءة فقط أولاً، ثم العمليات منخفضة المخاطر، والتغييرات عالية المخاطر تحتفظ دائمًا بالموافقة اليدوية.
4. التنبؤ بالقدرات ومخاطر التغيير
التنبؤ بمستويات الموارد بناءً على الاتجاهات التاريخية وتوسيع القدرة مقدمًا لتجنب الأعطال أثناء العطلات؛ تقييم مستوى المخاطر لكل تغيير وربطه بعملية الإصدار لتقليل حالات الفشل التي يديرها الإنسان. يمكن إنشاء جمع بيانات إمكانية المراقبة استنادًا إلى نظام Prometheus مفتوح المصدر (راجع وثائق Prometheus الرسمية)، وهو الحل الأكثر شيوعًا للمؤشرات في الوقت الحاضر؛ ترتبط فكرة النمذجة للتنبؤ بالسلاسل الزمنية ارتباطًا وثيقًا بـ تتوافق توقعات الطلب على سلسلة التوريد الخاصة بالذكاء الاصطناعي مع الممارسة.
مسار تنفيذ من خمس خطوات للتشغيل والصيانة الذكية للذكاء الاصطناعي
الخطوة الأولى: توحيد قاعدة المراقبة والتسجيل
يتم جمع الأنواع الثلاثة من البيانات والمؤشرات والسجلات وسلاسل الاتصال التي يمكن ملاحظتها في البحيرة بطريقة موحدة. وبدون قاعدة بيانات، يصبح الذكاء الاصطناعي عديم الفائدة. ليست هناك حاجة لإعادة اختراع العجلة لأدوات مراقبة المخزون. أولاً، قم بتوصيل تدفق البيانات.
الخطوة 2: فرز سيناريوهات الأخطاء وخطط المعالجة
قم بمراجعة أوامر العمل الخاطئة في العام الماضي، وفرزها حسب التكرار والتأثير، وحدد سيناريوهات عالية التكرار مع خطوات معالجة واضحة كمرشحات للإصلاح الذاتي، واكتب برنامج نصي موحد للمعالجة.
الخطوة 3: نشر اكتشاف الحالات الشاذة وتقارب الإنذارات
ركز أولاً على اكتشاف شذوذ الذكاء الاصطناعي وتقارب الإنذارات، بحيث يمكن تقليل عدد الإنذارات أولاً ويمكن تحرير الفريق من الضوضاء. تحقق هذه الخطوة أسرع النتائج كما أنها الأسهل بالنسبة لأطراف الأعمال في إدراك القيمة.
الخطوة 4: يتيح التدرج الرمادي إمكانية الإصلاح الذاتي للأخطاء
يتم التحقق من البرنامج النصي للإصلاح الذاتي أولاً في بيئة الاختبار، ثم يتم تشغيله في “وضع التوصية” في بيئة الإنتاج لمدة أسبوعين. بعد التأكيد اليدوي، يتحول إلى التنفيذ التلقائي، ويتم تعيين قواطع الدائرة وآليات التراجع لكل برنامج نصي.
الخطوة 5: إنشاء قاعدة معلومات التشغيل والصيانة وآلية المراجعة
تسريع استنتاجات السبب الجذري وعمليات المعالجة في قاعدة معارف التشغيل والصيانة لاسترجاع الفريق وإعادة استخدامه؛ قم بمراجعة معدل نجاح الإصلاح الذاتي ومعدل سوء التعامل شهريًا، واستمر في توسيع البرامج النصية وضبط النماذج. للتعرف على طرق إنشاء قاعدة المعرفة، يرجى الرجوع إلى ممارسة نظام قاعدة معارف الذكاء الاصطناعي للمؤسسات.
آلية دعم إدارة الإنذارات وإدارة التغيير
وبينما يقوم الذكاء الاصطناعي بضغط الإنذارات، فإنه يجب أن يكون مجهزًا بآلية إدارة الإنذارات، وإلا فإن الضوضاء سوف تعود في غضون أسابيع قليلة. الأول هو نظام الوصول إلى الإنذار: يجب أن تشير الإنذارات الجديدة إلى ظروف التشغيل والأشخاص المسؤولين وإجراءات التعامل، ولا يُسمح بربط الإنذارات غير المملوكة بنظام العمل؛ والثاني هو التقليم المنتظم: يتم مسح الإنذارات الميتة التي لم يتم تشغيلها أو لم يتم التعامل معها بعد إطلاقها كل شهر؛ والثالث هو الواجب الهرمي: تنقسم الإنذارات إلى أربعة مستويات من P1 إلى P4 وفقًا لمنطقة التأثير.
ويجب أيضًا تشديد إدارة التغيير في وقت واحد. معظم حالات الفشل في بيئة الإنتاج ناتجة عن التغييرات. سيعتبر موقع السبب الجذري للذكاء الاصطناعي “التغييرات خلال الساعتين الأخيرتين” بمثابة المشتبه به الرئيسي. إذا كانت سجلات التغيير غير كاملة، فسيتم تقليل دقة الموقع بشكل كبير. لذلك، عند تنفيذ AIOps، يجب فرض نظام تسجيل التغيير بحيث يترك كل إصدار وتعديل تكوين سجلاً قابلاً للاستعلام. هذا هو الضمان الأساسي لدقة موقع السبب الجذري.
وأخيرًا، هناك هدف تحسين تجربة العمل: علامة الإطلاق الناجح ليست مدى جمال مؤشرات النموذج، ولكن عدد المرات التي يتم فيها إيقاظ الفريق على مكالمات هاتفية في منتصف الليل ينخفض بشكل كبير، وسوف تتغير مراجعة الأخطاء من اجتماعات المساءلة إلى اجتماعات التحسين. وهذان التغييران في مستوى الخبرة هما المصدر الحقيقي لفريق التشغيل والصيانة والإدارة لبناء الثقة في المشروع.
حالات التنفيذ الحقيقية
الحالة 1: ضمان ترويج منصة التجارة الإلكترونية
أكملت إحدى منصات التجارة الإلكترونية تحول AIOps قبل العرض الترويجي الكبير. اكتشف توقع سعة الذكاء الاصطناعي فجوة سعة بوابة الدفع قبل ثلاثة أيام وقام بتوسيع السعة تلقائيًا. خلال فترة الترويج الكبيرة، لم يكن للوصلة الأساسية أي أخطاء وانخفض متوسط وقت إصلاح الأخطاء من 47 دقيقة إلى 9 دقائق.
الحالة 2: التشغيل والصيانة المتكاملة لتكنولوجيا المعلومات والتكنولوجيا التشغيلية لمؤسسات التصنيع
قامت مجموعة تصنيع بتوحيد بيانات معدات خط الإنتاج ومراقبة نظام تكنولوجيا المعلومات في منصة AIOps. أدى الكشف عن الحالات الشاذة إلى تنبيه خط الإنتاج إلى تعطل الماكينة قبل 40 دقيقة مقدمًا والتحول تلقائيًا إلى آلات النسخ الاحتياطي. تم تقليل أوقات التوقف غير المخطط لها بنسبة 62%، كما تم تقليل الخسائر السنوية بأكثر من 8 ملايين يوان.
الأسئلة الشائعة
هل ستؤدي عملية الإصلاح الذاتي إلى فشل أكبر؟
تتم إدارة نطاق الإصلاح الذاتي والتحكم فيه وفقًا لمستويات المخاطر: يتم تمكين التنفيذ التلقائي فقط للسيناريوهات عالية التردد ومنخفضة المخاطر، ويتم التحقق من الشروط المسبقة قبل التنفيذ، وتأتي البرامج النصية مع قواطع دوائر مدمجة وعمليات التراجع، ويتم دائمًا الموافقة على التغييرات عالية المخاطر يدويًا.
لدي بالفعل Zabbix وأدوات مراقبة أخرى، هل أحتاج إلى هدمها والبدء من جديد؟
غير ضروري. تتمتع منصة AIOps بعلاقة متراكبة مع أدوات مراقبة المخزون. يتم ربط بيانات المراقبة أولاً بقاعدة موحدة، ويقوم الذكاء الاصطناعي بالكشف والتقارب والإصلاح الذاتي عليها، بحيث يتم الاحتفاظ باستثمارات المخزون.
ما هي فترة البناء والاستثمار؟
عادةً ما يتم تشغيل قاعدة البيانات واكتشاف الشذوذات عبر الإنترنت خلال 6 إلى 10 أسابيع، باستثمار يتراوح بين 200000 إلى 600000 يوان؛ ويستغرق الحل الكامل، بما في ذلك الإصلاح الذاتي للأخطاء والتنبؤ بالسعة، حوالي 3 إلى 5 أشهر، باستثمار يتراوح بين 800000 إلى 1.5 مليون يوان.
ما هو حجم فريق التشغيل والصيانة المطلوب؟
يمكن لفريق المنصة المكون من شخصين إلى ثلاثة أشخاص دعم عملية البناء، مع التركيز على قدرات تنسيق النص وفهم الأعمال؛ بعد الاتصال بالإنترنت، ينتقل فريق التشغيل والصيانة من مكافحة الحرائق السلبية إلى تشغيل الموقع وتحسين البرنامج النصي.
هل يتم دعم البيئة المختلطة للأعمال السحابية وIDC؟
يدعم. من خلال واجهات المراقبة لكل بائع سحابي ووكيل التجميع الجانبي لـ IDC، يمكن توحيد المؤشرات والسجلات الخاصة ببيئة تكنولوجيا المعلومات المختلطة في النظام الأساسي. يعد تحديد السبب الجذري عبر البيئات بمثابة قوة AIOps. يحتوي نظام Google SRE على ملخص منهجي لهذا النوع من الأساليب الهندسية (راجع Google SRE Book)، والذي يمكن استخدامه كمرجع منهجي للفريق.
هناك أيضًا اقتراح عملي للاختيار: إعطاء الأولوية للحلول التي يمكنها إكمال الكشف عن الحالات الشاذة وموقع السبب الجذري وتنسيق الإصلاح الذاتي على نفس مجموعة نماذج البيانات، بدلاً من تجميع القدرات الثلاث من أدوات من بائعين مختلفين. قد يبدو الحل المجمع مرنًا، ولكن في الواقع يجب نقل البيانات بشكل متكرر بين أنظمة متعددة. سيؤدي اختلال الدلالات إلى تقليل دقة موقع السبب الجذري بشكل كبير، وستكون تكاليف التشغيل والصيانة اللاحقة أعلى.