تقييم أثر أنظمة الذكاء الاصطناعي وفق ISO/IEC 42001
كيف تقيّم آثار أنظمة الذكاء الاصطناعي على الأفراد والمجتمع ضمن نظام إدارة الذكاء الاصطناعي ISO/IEC 42001؟
أبرز النقاط
- ISO/IEC 42001:2023 هي مواصفة نظام الإدارة للمؤسسات التي تطور أنظمة الذكاء الاصطناعي أو تقدمها أو تستخدمها.
- إلى جانب تقييم مخاطر الذكاء الاصطناعي ومعالجتها، تتطلب تقييماً لأثر النظام يتناول العواقب المحتملة على الأفراد والمجموعات والمجتمع.
- تقييم الأثر وتقييم المخاطر مرتبطان لكنهما مختلفان: المخاطر تركز على أهداف المؤسسة، والأثر يركز على من يتأثر بالنظام.
- تقدم ISO/IEC 42005 إرشادات لتقييم أثر أنظمة الذكاء الاصطناعي، وتقدم ISO/IEC 23894 إرشادات لإدارة مخاطره.
- تغذي النتائج اختيار الضوابط من الملحق (أ) وبيان قابلية التطبيق.
أولاً: لماذا يهم تقييم الأثر؟
قد يحقق نظام الذكاء الاصطناعي مستهدفات أدائه التقني ومع ذلك يسبب ضرراً: نتائج غير عادلة لفئة من المتقدمين، أو معلومات مضللة للعملاء، أو انتهاكاً للخصوصية، أو قرارات لا يستطيع الناس الاعتراض عليها. وقد لا تظهر هذه الأضرار في سجل مخاطر تقليدي يركز على المؤسسة. لذلك تطلب ISO/IEC 42001 تقييم الآثار على الأفراد والمجتمع ضمن التخطيط.
ثانياً: أين يقع في ISO/IEC 42001؟
| العنصر | الغرض |
|---|---|
| السياق وسياسة الذكاء الاصطناعي | تحديد دور المؤسسة (مطور، أو مقدم، أو مستخدم) والتزاماتها |
| تقييم مخاطر الذكاء الاصطناعي ومعالجتها | تحديد المخاطر على تحقيق أهداف الذكاء الاصطناعي ومعالجتها، بما فيها المخاطر على الآخرين |
| تقييم أثر النظام | تقييم العواقب المحتملة على الأفراد والمجموعات والمجتمعات عبر دورة حياة النظام |
| ضوابط الملحق (أ) | ضوابط مرجعية للسياسات، والتنظيم الداخلي، والموارد، وتقييم الأثر، ودورة الحياة، والبيانات، والمعلومات للأطراف المعنية، والاستخدام، والأطراف الثالثة |
| بيان قابلية التطبيق | تبرير الضوابط المدرجة أو المستبعدة |
ثالثاً: ما الذي يُقيّم؟
| البُعد | أسئلة نموذجية |
|---|---|
| الغرض والسياق | ما القرارات التي يدعمها النظام أو يتخذها؟ ومن يتأثر بها؟ |
| العدالة | هل قد تختلف النتائج بين المجموعات دون مبرر؟ |
| الشفافية وقابلية التفسير | هل يستطيع المتأثرون فهم المخرجات والاعتراض عليها؟ |
| الخصوصية والبيانات | ما البيانات الشخصية المستخدمة؟ وهل استخدامها مشروع ومقتصر على الضروري؟ |
| السلامة والأمن | هل قد تسبب الأخطاء أو إساءة الاستخدام ضرراً مادياً أو مالياً أو نفسياً؟ |
| الإشراف البشري | من يستطيع التدخل أو تجاوز النظام أو إيقافه؟ |
| الموثوقية | كيف يتغير الأداء مع بيانات أو ظروف جديدة؟ |
| الآثار المجتمعية والبيئية | الآثار الأوسع على التوظيف، والوصول إلى الخدمات، واستهلاك الطاقة |
رابعاً: عملية تقييم عملية
- وصف النظام: الغرض، والمستخدمون، والبيانات، ونوع النموذج، وطريقة التشغيل، ودوره في القرار.
- تحديد الأطراف المتأثرة: المستخدمون المباشرون، ومن تُتخذ القرارات بشأنهم، والأطراف الثالثة، والفئات الأكثر عرضة للتأثر.
- تحديد الآثار المحتملة: الإيجابية والسلبية، المقصودة وغير المقصودة، بما فيها إساءة الاستخدام.
- تقدير الشدة والاحتمالية، مع مراعاة قابلية الانعكاس والنطاق.
- تحديد الإجراءات: تعديلات في التصميم، وضوابط للبيانات، واختبارات، وإشراف بشري، ومعلومات للمستخدمين، ورصد.
- التوثيق والاعتماد: قرار التشغيل وشروطه، والآثار المتبقية التي يقبلها شخص مساءل.
- الرصد والمراجعة: بعد التشغيل، وبعد التغييرات الجوهرية، وعلى فترات مخططة.
خامساً: الربط بدورة الحياة
| مرحلة دورة الحياة | محور التقييم |
|---|---|
| التصميم | الاستخدام المقصود، والفئات المتأثرة، ومصادر البيانات |
| التطوير | جودة البيانات، واختبار التحيز، ومقاييس الأداء |
| التحقق والمصادقة | الاختبار مقابل معايير مرتبطة بالأثر |
| التشغيل الأولي | معلومات المستخدمين، وترتيبات الإشراف |
| التشغيل والرصد | انحراف الأداء، والشكاوى، والحوادث، وإساءة الاستخدام |
| الإيقاف | التعامل مع البيانات، والانتقال للمستخدمين المتأثرين |
سادساً: نقاط ضعف شائعة
- التعامل مع تقييم الأثر كنموذج يُعبأ مرة واحدة قبل الإطلاق.
- الاكتفاء بالدقة التقنية دون الآثار على الناس.
- عدم إشراك من يفهمون الفئات المتأثرة.
- غياب آلية تتيح للمتأثرين رفع مخاوفهم أو الاعتراض على النتائج.
- عدم تحديث التقييم بعد إعادة تدريب النموذج أو استخدامات جديدة.
الخلاصة
تقييم أثر أنظمة الذكاء الاصطناعي هو ما يجعل نظام إدارتها مسؤولاً لا فعالاً فقط. فمن خلال سؤال من قد يتأثر وكيف، وربط الإجابات بالضوابط والإشراف والرصد، تستطيع المؤسسات استخدام الذكاء الاصطناعي بثقة، وأن تُظهر للعملاء والجهات الرقابية أنها تأخذ آثاره بجدية.
اكتب قائمة بأنظمة الذكاء الاصطناعي التي تستخدمها مؤسستك اليوم. ولكل منها: هل تستطيع تسمية الأشخاص المتأثرين بمخرجاتها؟