اختبار المئة مثال: كيف تتأكد ان الذكاء الاصطناعي يعمل قبل ان تشتريه

كل مورد سيقول لك ان نظامه يعمل. الطريقة الوحيدة للتأكد ان تعطيه مجموعة من امثلتك انت، مكتوبا بجانب كل مثال جوابه الصحيح مسبقا، ثم تحسب النتيجة. هذه ارخص ساعة تنفقها في مشروع ذكاء اصطناعي، ولا يكاد احد ينفقها.

الجواب المختصر

اجمع مئة مثال حقيقي من عملك، اكتب الجواب الصحيح لكل واحد بنفسك، واطلب من المورد تشغيلها كلها قبل ان توقع اي شيء. ثم احسب النتيجة. ان كانت اسوأ من الموظف الذي يؤدي العمل اليوم فقد وفرت على نفسك مشروعا كاملا. وان كانت افضل فصار لديك رقم تضعه في العقد بدل صفة انشائية.

لماذا لا يثبت العرض التقديمي شيئا

العرض التقديمي اداء على مادة اختارها صاحب العرض. وليس في ذلك خداع بالضرورة، فهو ببساطة اسهل الحالات تشغل حتى تبدو سلسة. لكن عملك ليس مكونا من الحالات السهلة. عملك مكون من فاتورة المورد المعدلة بخط اليد، ومن العميل الذي يكتب نصف جملته بالانجليزية ونصفها بلهجة كويتية، ومن النموذج الذي صوره احدهم بهاتفه بزاوية مائلة.

والفجوة بين مادة العرض والمادة الحقيقية هي المكان الذي تفشل فيه مشاريع الذكاء الاصطناعي بهدوء. ويمكنك اغلاق هذه الفجوة قبل ان تنفق شيئا، بان تتحكم انت في المادة.

ما هي مجموعة الاختبار فعليا

مجموعة الاختبار عمودان. العمود الايمن المدخل كما يصل فعلا: الرسالة الحقيقية، الملف الحقيقي، الرسالة الصوتية الحقيقية. والعمود الاخر شكل الجواب الصحيح، مكتوبا بيد الموظف الذي يؤدي هذا العمل اليوم.

وهذا العمود الثاني هو ما يتخطاه الجميع، وهو تحديدا قيمة التمرين كله. لان كتابة الجواب الصحيح تجبرك على اكتشاف ان فريقك لا يتفق دائما على ما هو الجواب الصحيح. وهذا الخلاف ليس تشويشا على المشروع، بل هو المشروع نفسه.

كم مثالا، وايها

مئة مثال عدد كاف ليكون ذا معنى، وصغير بما يكفي لتنفذه فعلا. وارشادات انثروبيك في تحديد معايير النجاح وبناء التقييمات تختار المقايضة نفسها عن عمد: حالات اكثر بتقييم اقل دقة افضل من حالات قليلة بتقييم بشري مثالي، لان الكمية هي ما يمنح الرقم معناه.

اخترها هكذا:

• ستون حالة اعتيادية، مأخوذة من اسبوع عادي لا منتقاة باليد. خذ كل خامس عنصر من طابور حقيقي.
• ثلاثون حالة صعبة — تلك التي يشتكي منها فريقك. لغتان مختلطتان، حقول ناقصة، طلبان في رسالة واحدة، مرفق عبارة عن صورة لشاشة.
• عشر حالات جوابها الصحيح هو الرفض. طلب خارج السياسة، سؤال يحتاج قرار انسان، مستند هو ببساطة المستند الخطأ.

وهذه المجموعة الاخيرة هي التي تفصل بين مورد جاد ومورد واثق. فالنظام الذي يجيب على كل شيء ليس دقيقا، بل هو فقط لا يصمت ابدا.

كيف تحسب النتيجة بلا فريق بيانات

لا تحتاج احصاء. تحتاج قاعدة لما يعتبر صحيحا، متفقا عليها قبل ان ترى المخرجات، لان القاعدة التي تخترع بعد رؤية النتيجة ستكون دائما القاعدة التي تجعل النتيجة مقبولة.

نوع المهمة	معنى «صحيح»	كيف تحسبه
استخراج حقل	القيمة مطابقة تماما	مقارنة نصية، بلا اجتهاد
التوجيه والتصنيف	يقع في الفئة الصحيحة	عد المطابقات مقابل عمودك
الرد على عميل	يحوي المعلومات الصحيحة بلا اختراع	قارئان، وتحسم الخلافات بينهما
التلخيص	لم يسقط مهما ولم يضف شيئا	قراءة بشرية مقابل قائمة تحقق

امش على هذا الجدول قبل البناء. فما لا تستطيع قياسه لن تستطيع ادارته بعد التشغيل ايضا.

ماذا يخفي رقم الدقة

عبارة «دقة خمسة وتسعين بالمئة» شبه بلا معنى وحدها، لثلاثة اسباب.

الاول هو توزيع الحالات. ان كانت تسعون بالمئة من فواتيرك تأتي من ستة موردين بالصيغة نفسها، فبامكان النظام ان يحقق تسعين بالمئة بمعالجة هؤلاء فقط والفشل في كل ما عداهم. يبدو العنوان قويا، ويبقى العشر الصعب — وهو تحديدا ما اردت المساعدة فيه — بلا علاج.

والثاني هو نوع الاخطاء داخل تلك الخمسة بالمئة. خمسة بالمئة من المبالغ تقرأ خطأ شيء، وخمسة بالمئة من المستندات تحال الى موظف للمراجعة شيء اخر تماما. الرقم نفسه والنتيجة معاكسة. وقد كتبنا عن رسم هذا الخط في قراءة الفواتير العربية بالذكاء الاصطناعي.

والثالث هو من الذي قاس. رقم دقة انتج على مادة المورد يخبرك عن مادة المورد.

شغلها كاختبار مغلق

اعط المورد العمود الايمن فقط. واحتفظ بالاجوبة. دعه يشغل المجموعة ويعيد لك مخرجاته، ثم احسب النتيجة بنفسك.

وهذا اهم مما يبدو. فان رأى المورد الاجوبة ضبط النظام على امثلتك المئة تحديدا، فيبدو ممتازا عليها وعاديا على المثال الواحد بعد المئة. الاحتفاظ بالاجوبة هو الفرق بين ان تقيس نظاما وان تقيس بروفة.

واحتفظ بعشرين مثالا كاملة دون تشغيل، وشغلها بعد الاطلاق. فان ثبتت النتيجة كان الرقم الاول حقيقيا.

مثال محسوب

شركة تجارية تريد مساعدا يقرأ فواتير الموردين ويدخل ثلاثة حقول الى نظامها المحاسبي: المورد، والاجمالي، وتاريخ الاستحقاق. تسحب مئة فاتورة من الشهرين الماضيين: ستون اعتيادية، وثلاثون صعبة، وعشرة يجب ان ترفض لانها اشعارات تسليم لا فواتير.

يعيد نظام المورد اربعا وتسعين من المئة بالحقول الثلاثة صحيحة. يبدو ان القرار اتخذ. لكنه لم يتخذ، حتى تنظر في الستة الباقية.

اربع منها صور صعبة قرئ فيها الاجمالي ناقصا رقما. وواحدة اشعار دائن قرئ كفاتورة، وكان سيقيد الدفعة بالاتجاه المعاكس. وواحدة اشعار تسليم عالجه النظام بثقة كفاتورة بدل ان يرفضه.

فالقراءة الامينة مختلفة اذن: استخراج الحقول قوي، وتمييز نوع المستند ليس كذلك. والبناء الذي يتبع ذلك ليس «اتمتة ادخال الفواتير»، بل «اتمتة ادخال الفواتير، مع تأكيد بشري لاي مستند لم ير النظام شكله من قبل، ولاي اجمالي يتجاوز حدا معينا». خرج هذا التصميم من ستة امثلة، وهو الفرق بين نظام يوفر وقتا ونظام يصنع عمل تسويات من حيث لا تشعر.

من الرقم الى القرار

قارن بالموظف الذي يؤدي العمل الان، لا بالكمال. فالناس يخطئون في قراءة الفواتير ايضا. وان لم تقس نسبة خطئك الحالية يوما، فخذ خمسين من المئة وتحقق مما جرى بها فعلا الشهر الماضي، فذلك خط اساسك، وهو عادة اكثر تسامحا مما يتوقع الناس. وارشادات جوجل في قواعد تعلم الالة تفتتح بالحدس نفسه: قاعدتها الاولى الا تخاف من اطلاق منتج بلا تعلم الة، لان قاعدة بسيطة كثيرا ما تتفوق على نظام غير مدرب.

ثم قرر بناء على شكل الاخطاء لا حجمها. فالخطأ القابل للتراجع والذي تلتقطه خطوة لاحقة يحتمل بنسبة اعلى من خطأ يصل الى عميل او الى دفتر محاسبي. وهو الاختبار نفسه الذي نطبقه عند اختيار اي عملية تؤتمت اولا.

قائمة تحقق لاسبوع واحد

ان اردت تنفيذ هذا الاسبوع القادم، فهذه خطواته مرتبة كما ننفذها نحن.

اليوم الاول: اجمع المدخلات. خذ الطابور الحقيقي كما هو — الرسائل، الملفات، النماذج — وانسخ مئة عنصر الى مجلد واحد بلا تنقيح ولا ترتيب. اي تنظيف في هذه المرحلة يفسد القياس، لان النظام سيواجه غير المنظف في التشغيل.

اليوم الثاني: اكتب الاجوبة. اجلس مع من يؤدي العمل واكتبا الجواب الصحيح لكل عنصر في جدول بسيط. سجل الحالات التي تردد فيها، فهي اثمن ما في اليوم.

اليوم الثالث: اتفق على قاعدة الصواب. لكل نوع مهمة، ما الذي يعد صحيحا بالضبط؟ اكتبها في سطر واحد قبل ان يرى احد اي مخرجات.

اليوم الرابع: سلم المدخلات فقط. ارسل الثمانين الاولى الى المورد، واحتفظ بالعشرين الباقية وبكل الاجوبة.

اليوم الخامس: احسب وقرر. النتيجة مقابل خط الاساس البشري، ثم انظر في الاخطاء واحدا واحدا. القرار يخرج من الاخطاء لا من النسبة.

واحتفظ بالجدول بعد ذلك في مكان يعرفه غيرك. فاكثر ما يضيع في هذه التمارين ليس الوقت بل الملف نفسه، ثم يعاد بناؤه من الصفر بعد ستة اشهر عند اول تحديث للنموذج.

ضع الرقم في العقد

متى صار لديك رقم صار معيار القبول: يقبل النظام حين يبلغ نتيجة متفقا عليها على مجموعة لم يرها المورد. وهذه الجملة وحدها تغير العلاقة، اذ تستبدل بالجدال حول ما اذا كان «افضل» قياسا اتفقتما عليه مسبقا.

وتعطيك ايضا خطة مراقبة بلا تكلفة اضافية. اعد تشغيل المجموعة كل ثلاثة اشهر. فالنماذج تتغير من تحتك، ومستنداتك تتغير، وعملاؤك يتغيرون، والمجموعة هي وسيلتك لملاحظة ذلك. واطار ادارة مخاطر الذكاء الاصطناعي من المعهد الوطني الامريكي للمعايير يعامل القياس كوظيفة مستمرة لا كبوابة عند الاطلاق، وهذا هو الحدس الصحيح.

كيف نشتغلها

في تجربة الثلاثين يوما تبنى مجموعة الاختبار في الاسبوع الاول قبل تصميم اي شيء، والنتيجة الامينة احيانا ان الرقم لا يبرر البناء. وكلا الجوابين نتيجة مقبولة للتجربة، والثاني يكلفك شهرا بدل سنة.

ارسل لنا المهمة التي ستختبرها اولا ونقول لك كيف ينبغي ان تبدو مئة مثال لها.

الاسئلة الشائعة

ماذا لو لم يكن لدينا مئة مثال؟

فغالبا ليس لديك حجم يبرر اتمتة هذه المهمة بعد، وهذه نتيجة مفيدة بحد ذاتها. وان كان الحجم موجودا لكنه غير مسجل، فابدأ بتسجيله اسبوعين قبل ان تشتري شيئا.

من يكتب الاجوبة الصحيحة؟

الموظف الذي يؤدي العمل اليوم، لا المدير ولا المورد. وان اختلف اثنان على جواب فاكتب القراءتين، فتلك الحالات هي مواضع الغموض الحقيقي في عمليتك، ولن يصلحها لك اي نظام.

هل يمكن للمورد ان يبني لنا مجموعة الاختبار؟

يستطيع المساعدة في الشكل. ولا ينبغي ان يختار الامثلة ولا ان يكتب الاجوبة. فمجموعة اختبار يجمعها الطرف الخاضع للاختبار تقيس التعاون لا الدقة.

كم يستغرق هذا؟

جمع مئة عنصر حقيقي نصف يوم عادة. وكتابة الاجوبة يوم موزع على اسبوع، لانها تحتاج من يعرف، في فراغات عمله الفعلي. وهو ارخص اسبوع في المشروع كله.

هل ينطبق هذا على المساعدين المحادثين كما ينطبق على المستندات؟

نعم، مع عمود ايسر مختلف: المعلومات التي يجب ان تظهر والامور التي يجب الا تقال ابدا. والتقييم يحتاج قارئين لا مقارنة نصية، لذا ابق تلك المجموعة اصغر، وخمسون حالة عدد عملي.