قياس الأثر الإضافي بالمجموعات الضابطة: دليل عملي

تستطيع كل لوحة متابعة للعروض أن تُظهر مرات الاستخدام، لكن قلة منها تجيب عن السؤال الذي يطرحه المدير المالي فعلاً: كم من هذا كان سيحدث على أي حال؟

الطريقة الموثوقة للإجابة هي المجموعة الضابطة، وتُسمى أحياناً مجموعة الاستبعاد. يشرح هذا الدليل كيف تعمل المجموعات الضابطة في العروض المرتبطة بالبطاقة، وكيف تصممها، وكيف تتجنب الأخطاء التي تجعل النتائج مضللة.

الفكرة في فقرة واحدة

خذ العملاء المؤهلين لحملة ما، وضع جانباً جزءاً منهم عشوائياً لن يتلقاها، وأطلق الحملة للبقية. وفي النهاية قارن بين المجموعتين. ولأن التقسيم كان عشوائياً، كانت المجموعتان متشابهتين في البداية، لذا يمكن نسب أي فرق في السلوك بعد ذلك إلى الحملة. هذا الفرق هو الأثر الإضافي.

لماذا تضلّل مقارنات ما قبل وما بعد

دون مجموعة ضابطة، كثيراً ما تقارن الفرق الإنفاق خلال الحملة بالإنفاق قبلها. والمشكلة أن أموراً كثيرة أخرى تتغير في الوقت نفسه: توقيت الرواتب، والمواسم، والعطلات، والفصول الدراسية، وحملات المنافسين، وحتى الطقس. فالارتفاع خلال رمضان أو بعد يوم الراتب قد لا يكون له علاقة بعرضك.

أما المجموعة الضابطة فتعيش الموسم نفسه ودورة الراتب نفسها والبيئة التنافسية نفسها. فتمتص كل هذه الآثار، ولا يبقى إلا أثر العرض.

تصميم المجموعات

اعتمد العشوائية الصحيحة

يجب أن يكون التوزيع عشوائياً لا انتقائياً. لا تستبعد العملاء "الأقل قيمة" أو أولئك الذين "لن يستجيبوا على أي حال"، فهذا يُفسد المقارنة. استخدم تقسيماً عشوائياً ضمن الجمهور المؤهل.

اختر حجم مجموعة الاستبعاد

يجب أن تكون مجموعة الاستبعاد كبيرة بما يكفي لتكون الفروق ذات معنى، لكن ليست كبيرة إلى حد التخلي عن جزء كبير من فائدة الحملة. وتتراوح الخيارات الشائعة بين حصة صغيرة من الجمهور للمحافظ الكبيرة وحصة أكبر للحملات الصغيرة. وكقاعدة عامة، تحتاج الجماهير الأصغر إلى مجموعات استبعاد أكبر نسبياً.

ويستطيع فريق التحليلات لديك تقدير الحجم المطلوب بناءً على مدى تذبذب الإنفاق وحجم الأثر الذي تتوقع رصده.

حافظ على ثبات المجموعات

يجب أن يبقى العميل في مجموعة الاستبعاد طوال الحملة، وألا يتلقى العرض نفسه عبر قناة أخرى. فإذا رأى عملاء مجموعة الاستبعاد العرض على أي حال، ينكمش الأثر المقاس.

فكّر في مجموعات استبعاد دائمة

تحتفظ بعض البنوك بمجموعة استبعاد صغيرة وطويلة الأمد لا تتلقى أي عروض لفترة من الزمن. وهذا يقيس الأثر الكلي للبرنامج، لا للحملات الفردية فقط. ويحتاج ذلك إلى حوكمة دقيقة لأن هؤلاء العملاء يفوتهم بعض المزايا، لذا أبقِها صغيرة وبدّل أفرادها.

ما الذي تقارنه

حدد مؤشراتك قبل بدء الحملة. ومن الخيارات المعتادة:

• الإنفاق على بطاقاتك في فئة العرض، لكل عميل؛
• عدد المعاملات لكل عميل في تلك الفئة؛
• معدل البطاقات النشطة، لحملات إعادة التفعيل؛
• الزيارات الجديدة للتاجر، لأهداف اكتساب عملاء للتجار؛
• الإنفاق بعد الحملة، لاختبار ما إذا استمر السلوك.

قارن المتوسطات لكل عميل عبر المجموعة كاملة، لا بين من استخدموا العرض فقط. فمقارنة من استخدموا العرض بمن لم يستخدموه خطأ شائع، لأن من استخدموه كانوا غالباً أكثر تفاعلاً من البداية.

قراءة النتائج

عند انتهاء الحملة، احسب:

1. الفرق في المؤشر بين المجموعة المعرّضة للعرض ومجموعة الاستبعاد، لكل عميل.
2. الأثر الإضافي الكلي: ذلك الفرق مضروباً في عدد العملاء المعرّضين للعرض.
3. مستوى الثقة: ما إذا كان الفرق كبيراً بما يكفي، في ضوء التذبذب الطبيعي، ليُستبعد أن يكون مصادفة. ويستطيع فريق التحليلات حساب فترات الثقة.

ثم قارن ذلك بكلفة الحملة، بما فيها المكافآت التي يموّلها البنك وتكاليف التشغيل، لتقدير العائد.

مثال تطبيقي افتراضي

لنفترض أن بنكاً استهدف 50,000 حامل بطاقة مؤهل بعرض بقالة، واستبعد 5,000 منهم عشوائياً. وعلى مدى أربعة أسابيع، في مثالنا الافتراضي، أنفقت المجموعة المعرّضة للعرض في المتوسط أكثر بقليل على البقالة ببطاقة البنك من مجموعة الاستبعاد. وبضرب الفرق لكل عميل في 45,000 عميل معرّض للعرض نحصل على الإنفاق الإضافي للحملة. أما إذا كان الفرق ضمن التذبذب الطبيعي، فالاستنتاج الصادق أن الحملة لم يكن لها أثر واضح، وأن تصميم العرض يجب أن يتغير.

أخطاء شائعة

• مجموعات استبعاد ملوّثة: يرى عملاء المجموعة الضابطة العرض عبر قنوات التاجر نفسه أو من خلال صديق.
• تغيير القواعد أثناء الحملة: تعديل الجماهير بعد الإطلاق يُفسد العشوائية.
• القياس لفترة قصيرة جداً: بعض الآثار، كتشكّل العادة، لا تظهر إلا بعد انتهاء الحملة.
• انتقاء المؤشرات: اختيار المؤشر الذي يبدو أفضل بعد وقوع النتائج. قرّر مسبقاً.
• تجاهل الآثار الصغيرة: الزيادة الصغيرة لكل عميل عبر قاعدة كبيرة قد تبقى ذات قيمة.

اجعلها ممارسة روتينية

تعمل المجموعات الضابطة أفضل حين تكون ممارسة معتادة لا مشاريع خاصة. ومن المثالي أن تقوم منصة العروض لديك بما يلي:

• إنشاء مجموعات الاستبعاد تلقائياً لكل حملة؛
• منع عملاء مجموعة الاستبعاد من رؤية العرض في أي قناة؛
• عرض نتائج المجموعة المعرّضة ومجموعة الاستبعاد جنباً إلى جنب؛
• إظهار مستوى الثقة بوضوح، حتى لا تبالغ الفرق في تفسير الضجيج.

أياً كانت المنصة التي تستخدمها، اسأل ما إذا كانت تستطيع القيام بهذه الأمور الأربعة. وإلى أن تستطيع، فإن تقسيماً عشوائياً لأرقام العملاء وجدول بيانات بسيطاً يوصلانك إلى معظم الطريق.

الخلاصة

مرات الاستخدام تقيس النشاط، والمجموعات الضابطة تقيس الأثر. ومع مجموعات استبعاد عشوائية وثابتة، ومؤشرات متفق عليها مسبقاً، وقراءة صادقة للنتائج، تستطيع البنوك أن تُظهر بدقة أي العروض تخلق قيمة، وأن تستثمر بثقة.