اكتب التقييمات قبل أن تبني ميزة الذكاء الاصطناعي

ميزة الذكاء الاصطناعي تعيد شيئاً دائماً، لذلك لا تبدو معطّلة أبداً. مجموعة صغيرة من الأمثلة الحقيقية، تراجعها بنفسك أولاً، هي طريقتك لتعرف إن كانت تعمل فعلاً.

البرمجيات العادية تفشل بصوت عالٍ: زر لا يستجيب، صفحة تُظهر خطأ، شخص يبلّغ عن مشكلة. ميزات الذكاء الاصطناعي تفشل بصمت. الملخص يُقرأ جيداً ويُسقط الرقم الوحيد المهم. روبوت الدعم يجيب بثقة ويخطئ في سياسة الاسترداد. لا أحد يبلّغ. يتوقف الناس عن استخدام الميزة فحسب.

لهذا نكتب التقييمات (evals) قبل أن نكتب التعليمات للنموذج. التقييم اختبار لجودة المخرجات: مجموعة مدخلات حقيقية، وشكل الإجابة الجيدة لكل منها، وطريقة للتحقق. لا تحتاج منصة في اليوم الأول. تحتاج جدول بيانات وبضع ساعات.

ابدأ بخمسين مثالاً حقيقياً

خذ المدخلات من الواقع: رسائل دعم فعلية، ومستندات فعلية، وعمليات بحث فعلية. إن لم يكن المنتج موجوداً بعد، فاكتبها مع المؤسس ومع من سيستخدمونه. خمسون مثالاً تكفي للبداية. أضف الحالات الصعبة عن قصد: رسالة نصفها بالعربية ونصفها بالإنجليزية، وملف PDF ممسوح ضوئياً، وسؤال يجب أن ترفض الميزة الإجابة عنه.

اقرأ الأخطاء قبل أن تختار المقياس

شغّل النسخة الأولى واقرأ كل مخرج بنفسك. اكتب سطراً واحداً عن كل خطأ: ما الذي حدث. بعد بضع عشرات تظهر الأنماط. ربما تتجاهل التواريخ. ربما تخترع سياسة حين لا يغطي المستند السؤال. هذه الأنماط تصبح مقاييسك.

الفرق التي تبدأ بدرجة عامة، مثل «مدى الفائدة من عشرة»، تنتهي غالباً برقم يرتفع بينما يبقى المستخدمون غير راضين. فالدرجة تقيس ما كان سهلاً تعريفه، لا ما كان يسير بشكل خاطئ.

إن لم تستطع أن تصف شكل الإجابة الخاطئة، فلستَ مستعداً لأتمتة التحقق بعد.

ثم أتمت، خطوة بعد خطوة

• استخدم الكود العادي حيثما أمكن: هل صيغة JSON صحيحة، هل التاريخ بالشكل المطلوب، هل المصدر المذكور موجود فعلاً.
• استخدم نموذجاً حَكَماً فقط فيما لا يستطيع الكود فحصه، وقارن درجاته بدرجاتك على عينة قبل أن تثق به.
• شغّل المجموعة كاملة مع كل تغيير في التعليمات أو النموذج. التغيير الذي يُصلح حالة ويكسر ثلاثاً لا يُطلق.
• استمر في إضافة حالات من بيئة الإنتاج. كل شكوى من مستخدم اختبار جديد.

ماذا يغيّر هذا لرائد الأعمال

التقييمات تحوّل الآراء إلى أرقام. سؤال «هل النموذج الجديد أفضل؟» يصبح «ينجح في 46 من 50 بدل 41، وهذه الحالات الأربع التي ما زال يخطئ فيها». وتخبرك أيضاً متى يكفي حل أبسط. أحياناً تُظهر مجموعة التقييم أن قاعدة بسيطة أو فهرس بحث عادياً يؤدي المهمة، فيمكن الاستغناء عن استدعاء النموذج. وهذه نتيجة جيدة أيضاً.

لا شيء من هذا مكلف. إنها أيام قليلة في بداية الميزة، توفّر عليك أسابيع كنت ستقضيها في التخمين.