لماذا يحول مساعدك العربي المحادثات إلى موظف؟

تصلنا الشكوى بالكلمات نفسها تقريبا في كل مرة: «بنينا مساعدا عربيا، ويعمل في العرض التجريبي، لكنه في الإنتاج يحول نصف المحادثات إلى موظف». والغريزة الأولى أن نلوم النموذج، والنموذج نادرا ما يكون السبب. السبب أن العربية ليست لغة واحدة، وأن أغلب الأنظمة تبنى وكأنها كذلك.

الإجابة المختصرة

مساعدك بني واختبر على الأرجح على العربية الفصحى الحديثة، عربية الصحف والعقود والكتب المدرسية. أما عملاؤك فيكتبون باللهجة الكويتية، وهي تختلف عن الفصحى في المفردات والإملاء وبنية الجملة، بل وفي الحروف التي تكتب أصلا. والفجوة بين الاثنتين هي مصدر التحويلات. وهي فجوة هندسية لا عيب في النموذج، وقابلة للإغلاق.

ما الذي يختلف فعلا

من المفيد أن نكون دقيقين هنا، لأن كلمة «لهجة» توحي بلكنة، والأمر أوسع من ذلك بكثير.

المفردات مختلفة لا منطوقة بطريقة أخرى. الكلمة اليومية التي يستخدمها عميل كويتي مقابل «أريد» أو «الآن» أو «كم» أو «جيد» ليست في الغالب كلمة الفصحى. ونظام استرجاع يطابق على مصطلحات فصيحة لن يجد الفقرة الصحيحة ببساطة.

الإملاء غير مستقر. لا توجد صيغة مكتوبة واحدة صحيحة للهجة. فالكلمة نفسها تصل بحروف علة مختلفة، بهمزة أو بدونها، وبهاء مكان التاء المربوطة. والنظام الذي يطابق مطابقة حرفية يرى أربع كلمات مختلفة.

العربية بحروف لاتينية شائعة. حصة معتبرة من الرسائل تصل مكتوبة بالحروف اللاتينية والأرقام بدل بعض الأصوات. وبالنسبة لنظام يتوقع الحرف العربي فإن هذا المدخل ليس عربية أصلا.

خلط اللغتين هو القاعدة لا الاستثناء. الرسالة الواحدة تحمل جملة عربية واسم منتج إنجليزيا وسعرا بأرقام غربية ورمزا تعبيريا. وكل واحد منها قرار معالجة منفصل.

شكل السؤال مختلف. أسئلة اللهجة أقصر وأكثر اختصارا وتعتمد على سياق ورد قبل ثلاث رسائل. أما أسئلة الاختبار بالفصحى فجمل كاملة. فينجح العرض التجريبي ويفشل الطابور الحقيقي.

لماذا نسبة التحويل هي الرقم المهم

نسبة التحويل، أي حصة المحادثات التي يستسلم فيها المساعد، هي المقياس الصادق لأي تشغيل عربي، وهي الرقم الذي لا يعرضه أغلب المزودين. فالنظام الذي يجيب بثقة وهو مخطئ يبدو أفضل على لوحة المؤشرات وهو أسوأ بكثير في الواقع.

نوع الإخفاق	كيف يبدو	أين يكمن الحل
لم يفهم	يطلب المساعد إعادة الصياغة مرتين	تطبيع المدخلات وتغطية اللهجة في الاسترجاع
فهم ولم يستطع الإجابة	الموضوع صحيح ولا معلومة لديه	فجوة معرفة: محتوى لا لغة
أجاب خطأ	رد واثق يصححه العميل	جودة الاسترجاع وعتبات الثقة
رفض بحسب السياسة	دفع أو شكوى أو أي التزام	سلوك صحيح: لا تهندسه للاختفاء

والسطر الأخير يستحق الدفاع عنه. فالنظام الذي يصعد شكوى إلى إنسان يعمل لا يفشل. وجمع الأنواع الأربعة في رقم «تحويل» واحد هو ما يجعل الفرق تحسن الشيء الخطأ.

هذه مشكلة مقيسة لا انطباع

من المفيد معرفة أن النمط موثق إقليميا لا خاص بتشغيلك. فالتحليلات الإقليمية للذكاء الاصطناعي العربي أولا تشير إلى أن حصة معتبرة من محادثات المساعدات العربية لا تزال تنتهي بتحويل إلى إنسان، وأن النماذج العامة تؤدي على المستندات المالية والتجارية العربية أسوأ بكثير مما توحي به نتائجها بالإنجليزية — وتحليل consultancy.me عن الذكاء الاصطناعي العربي أولا في الخليج ملخص معقول لموضع هذا المجال اليوم.

والأسباب بنيوية. فالحرف العربي يحمل تشكيلا اختياريا، وحروفا تتغير أشكالها بحسب موضعها، وعدة محارف متقاربة بصريا ودلاليا في الكتابة اليومية — وكتلة يونيكود العربية تتضمن ترميزات متعددة يعاملها المستخدمون كأنها واحدة ولا تعاملها الآلة كذلك. ويضيف النص مختلط الاتجاه طبقة أخرى تحكمها خوارزمية الاتجاه ثنائي النص في يونيكود، وهي سبب إعادة ترتيب الجملة العربية التي تحوي رمز منتج إنجليزيا وسعرا بطرق تفاجئ كل من لم يقرأ المواصفة.

ولا شيء من هذا غامض أو غير محلول، بل هو عمل يجب أن يؤدى عن قصد، ويتخطاه أغلب التشغيلات لأن العرض التجريبي نجح.

خمسة تغييرات تحرك الرقم

1. طبع المدخل قبل أن يمسه أي شيء آخر. احذف التشكيل، ووحد صور الألف والهمزة، ووحد التاء المربوطة والهاء، واجمع الحروف المكررة للتأكيد، وحول الأرقام العربية الهندية إلى غربية لأغراض المطابقة. هذه الخطوة رخيصة وحتمية وتزيل عادة شريحة كبيرة من «لم يفهم».

2. اكتشف العربية بالحروف اللاتينية وحولها. طبقة تحويل قصيرة تتعرف عليها وتحولها قبل الاسترجاع عمل صغير أثره غير متناسب على حجم رسائل كنت تسقطها من قبل.

3. اكتب قاعدة المعرفة باللغة التي يستخدمها العملاء. هذا أكثر تغيير تقاومه الفرق، لأن الوثائق الداخلية بالفصحى أو الإنجليزية. لكن إن كانت صفحة سياساتك تستخدم كلمة الفصحى وكل عميل يكتب كلمة اللهجة فسيفشل الاسترجاع مهما كان النموذج جيدا. أبق الفصحى للسجل الرسمي، وأضف صياغة اللهجة التي يستخدمها العملاء فعلا.

4. ضع عتبة ثقة والتزم بها. ما دون العتبة يحول، ويقال ذلك صراحة بدل التخمين. وهو المبدأ نفسه الذي يحكم استخراج المستندات، وقد عرضناه في قراءة الفواتير العربية بالذكاء الاصطناعي: النظام الذي يعترف بعدم يقينه أثمن من النظام الواثق المخطئ.

5. اختبر على رسائل حقيقية. خذ مئتي رسالة فعلية من سجلك أنت لا رسائل مؤلفة. وكل فريق عملنا معه اكتشف أن طابوره الحقيقي لا يشبه مجموعة اختباره، والفارق دائما في اتجاه الفوضى.

أربع رسائل كما تصل فعلا

أوضح طريقة لرؤية المشكلة أن ننظر إلى أشكال الرسائل التي تصل يوميا، وما الذي يتعثر في كل منها.

«شلون اطلب؟» ثلاث كلمات باللهجة، ولا واحدة منها في صفحة السياسات المكتوبة بالفصحى. الاسترجاع لا يجد شيئا، فيطلب المساعد إعادة الصياغة، فيغادر العميل. الحل ليس نموذجا أكبر بل إضافة صياغة اللهجة إلى المحتوى نفسه.

«عندكم Delivery اليوم ولا لا؟» جملة عربية فيها كلمة إنجليزية وسؤال بصيغة تخييرية. كثير من الأنظمة تقسم النص فتفقد نصفه، أو تعامل الكلمة الإنجليزية كاسم منتج فتبحث عنه في الكتالوج. والمعالجة الصحيحة تبقي الجملة واحدة وتتعامل مع تبديل اللغة داخلها.

«kam se3r?» عربية بحروف لاتينية. بلا طبقة تحويل يقرؤها النظام كأنها لغة أخرى تماما، فيصنفها غير مفهومة ويحولها. وهذه من أرخص الإصلاحات وأعلاها عائدا لأن حجمها أكبر مما تتوقع الفرق.

«الطلب اللي طلبته امس ما وصل» جملة مفهومة تماما، لكنها تحتاج بيانات لا لغة: رقم الطلب وحالته. وإن كان المساعد غير موصول بنظام الطلبات فهذه ليست مشكلة عربية بل فجوة معرفة، وسيظل يحول مهما حسنت اللغة.

الدرس أن ثلاثة من هذه الأربعة تصلح بالهندسة النصية وحدها، والرابع لا يصلح بها أبدا. وخلط النوعين في شكوى واحدة هو ما يجعل الفرق تنفق شهورا على الجانب الخطأ.

أثر ذلك على الكلفة

اثنان من هذه التغييرات يخفضان الكلفة ويرفعان الدقة في آن. فالتطبيع يقلل إعادة المحاولات، والاسترجاع الأفضل يعني سياقا أقل مرفقا بكل طلب، وهو أكبر محرك منفرد لإنفاق النموذج، وقد فصلنا آلياته في كلفة الذكاء الاصطناعي بعد الإطلاق.

وواحد منها يضيف كلفة: المراجعة البشرية لطابور التحويلات، في الأسابيع الأولى على الأقل. ضعها في الميزانية. وهي أيضا مصدر أفضل بيانات تدريب لديك، لأن كل تحويل مثال موسوم على شيء عجز عنه نظامك.

من أين تبدأ إن كان لديك مساعد يعمل بالفعل

لا تعد البناء. رتب العمل بحسب العائد مقابل الجهد، والترتيب في تجربتنا ثابت تقريبا.

ابدأ بأسبوع قياس لا تغير فيه شيئا: صنف مئتي محادثة محولة إلى الفئات الأربع في الجدول أعلاه. هذا وحده يخبرك إن كانت مشكلتك لغوية أصلا، وكثيرا ما تكون فجوة معرفة متنكرة في ثوب لغوي.

ثم أضف التطبيع وتحويل الحروف اللاتينية، وهما تغييران حتميان لا يحتاجان إعادة تدريب ويمكن إطلاقهما في أيام. أعد القياس على المجموعة نفسها.

بعدها اعمل على المحتوى: خذ أكثر عشرين سؤالا تكرارا واكتب إجاباتها بصياغة العملاء لا بصياغة الإدارة. هذه الخطوة بطيئة لأنها كتابة لا برمجة، وهي التي تحرك الرقم أكثر من غيرها.

وأخيرا اضبط العتبات، وهي آخر خطوة لا أولها: ضبط عتبة على نظام استرجاعه ضعيف يخفي المشكلة ولا يحلها.

ما لا نعد به

لا نعد بصفر تحويلات، وينبغي أن تشك في كل من يعد بذلك. فبعض الأسئلة يجب أن تصل إلى إنسان: كل ما يلزم، وكل ما يحرك مالا، وكل حالة يكون العميل فيها غاضبا. والهدف الواقعي أن يعالج المساعد الأغلبية المتكررة بنظافة ويحول الباقي ومعه السياق، فلا يبدأ من يستلمها من الصفر.

ولا نعد برقم قبل رؤية رسائلك. والخطوة الأولى الصادقة هي القياس على شريحة ضيقة من رسائلك الحقيقية، بما في ذلك النسخة التي لا يبرر فيها حجمك بناء مساعد أصلا، بحسب الحساب الوارد في أي عملية تؤتمت أولا.

وإن كان لديك مساعد يحول أكثر مما ينبغي، أرسل لنا بعض المحادثات التي استسلم فيها. النمط يظهر عادة في عشر منها.

أسئلة شائعة

هل تفهم النماذج الكبيرة اللهجة الكويتية؟

تفهمها أفضل بكثير مما كانت قبل عامين، وليست هي القيد الحاكم. القيد عادة في الاسترجاع: النموذج يقرأ السؤال جيدا، لكن الفقرة التي تجيب عنه مكتوبة بكلمات أخرى، فلا يعثر على شيء ذي صلة ليجيب منه.

هل نكتفي بالرد على الجميع بالفصحى؟

الرد بفصحى واضحة آمن عموما وهو ما نفترضه في كل ما هو رسمي، فهو يقرأ مهنيا لا باردا. أما فهم اللهجة عند الدخول فليس اختياريا. والاتجاهان قراران منفصلان.

كم رسالة تحتاجون لتحسين هذا؟

بضع مئات من الرسائل الحقيقية تكفي لرؤية النمط وإصلاح أكبر الأسباب. والآلاف تفيد في الذيل الطويل. وما لا يفيد مجموعة اختبار مكتوبة بأيدينا، لأنها ستعكس بهدوء طريقة كتابة فريقك لا طريقة كتابة عملائك.

هل النموذج العربي المخصص أفضل من العام؟

أحيانا، ويستحق الاختبار لا الافتراض. وفي أغلب ما قسناه من تشغيلات حرك التطبيع ومحتوى الاسترجاع والعتبات نسبة التحويل أكثر مما حركها تبديل النموذج.

ما نسبة التحويل الواقعية؟

تعتمد كليا على اتساع فضاء الأسئلة، فأي رقم يذكر دون رؤية طابورك تسويق. والمعقول توقع تحسن مطرد ومقيس مقابل خط أساسك أنت، على أن تكون التحويلات المتبقية هي التي كان ينبغي أن يعالجها إنسان أصلا.