أطلق التقييم قبل أن تطلق المساعد

أكثر أنماط الفشل كلفةً ليس رفض المساعد الإجابة. بل إجابته ببراعة وهو مخطئ، بعد ستة أسابيع من الإطلاق، لعميل صدّقه.

#لماذا تتدهور جودة الاسترجاع دون أن يمسّها أحد

لا يلزم أن يتعطل شيء ليسوء نظام الاسترجاع. تكبر مجموعة المستندات فيصبح ترتيب المقطع ذي الصلة رابعًا بدل الأول. يرفع أحدهم ملف سياسة مُلغى دون حذف القديم. يُصدر مزود النموذج نسخة جديدة تحت الاسم نفسه. كل واحدة من هذه غير مرئية، وكل واحدة تحرّك الإجابة.

المراقبة التقليدية لا ترى شيئًا من ذلك. كل طلب أعاد 200. زمن الاستجابة سليم. السجلات نظيفة. والعرض الوحيد أن الإجابات صارت بهدوء أقل صدقًا مما كانت الشهر الماضي.

#ما الذي يدخل فعلًا في مجموعة الاختبار

خمسون سؤالًا، مأخوذة من طابور الدعم الحقيقي أو بريد المبيعات لدى العميل. غير مولّدة. الأسئلة الحقيقية تحمل الصياغة والأخطاء المطبعية والمصطلح المحلي والافتراضات نصف المعلنة، وهي بالضبط ما يتعثر فيه الاسترجاع.

ولكل سؤال إجابة معتمدة يكتبها من يجيب عن هذا السؤال يوميًا بحكم عمله. وهذا الشخص ليس نحن. نحن لا نعرف أي السياستين المحتملتين تنطبق على عميل في الشارقة، والتظاهر بغير ذلك هو كيف ينتهي التقييم إلى المصادقة على سوء فهمنا نحن.

#أن يصححه العميل

هذا هو الجزء الذي يواجَه بالاعتراض، وهو الجزء المهم. نرسل للعميل ورقة تصحيح: السؤال، وإجابة المساعد، وثلاثة أزرار — صحيحة، ناقصة، خاطئة. بلا درجات، ولا مصطلحات، ولا فترات ثقة.

فيحدث أمران. يكتشف العميل ما يفعله النظام حقًا، لا ما أوحى به العرض التقديمي. ونحصل على رقم يملكه من سيُحرَج إن انخفض. والأمر الثاني أثمن من الأول.

#متى تشغّله

عند كل تغيير في التوجيه، وكل ترقية نموذج، وكل إعادة بناء للفهرس. هذه الأحداث الثلاثة تغطي تقريبًا كل تراجع حقيقي رأيناه، وكلها لحظات ينتظر فيها أحدهم نتيجة أصلًا، فلا يكلّف التقييم وقتًا إضافيًا في الجدول.