خلال سلسلة المدونات هذه، تابع رحلة Seasalt.ai لإنشاء تجربة اجتماعات حديثة شاملة، بدءًا من بداياتها المتواضعة، إلى تحسين خدمتنا على أجهزة ونماذج مختلفة، إلى دمج أحدث أنظمة البرمجة اللغوية العصبية وأخيراً الانتهاء من التحقيق الكامل لـ SeaMeet، حلول الاجتماعات الحديثة التعاونية الخاصة بنا.
ما وراء النسخ
كل العقبات السابقة التي واجهناها علمتنا درسًا مهمًا: أنه يمكننا القيام بكل هذا بشكل أفضل بأنفسنا. لذلك شرع الفريق هنا في Seasalt.ai في تدريب نماذجنا الصوتية واللغوية الخاصة بنا لمنافسة قدرات ناسخ المحادثة في Azure. قدمت Microsoft عرضًا تقديميًا مذهلاً في MS Build 2019، حيث عرضت خدمات الكلام في Azure كمنتج عالي القدرة ويمكن الوصول إليه بسهولة. بعد أن انبهرنا، نضطر إلى طرح السؤال، إلى أين نذهب من هنا؟ كيف يمكننا التوسع في هذا المنتج الفعال بالفعل؟ أظهرت الاجتماعات الحديثة إمكانات قوية لتحويل الكلام إلى نص، ولكن هذا هو المكان الذي تتوقف فيه. نحن نعلم أن Azure يمكنه الاستماع إلينا، ولكن ماذا لو تمكنا من جعله يفكر لنا؟ مع مجرد النسخ، في حين أن المنتج مثير للإعجاب، فإن التطبيقات محدودة إلى حد ما.
من خلال دمج تقنية تحويل الكلام إلى نص الحالية مع الأنظمة التي يمكنها إنتاج رؤى من النسخ، يمكننا تقديم منتج يتجاوز التوقعات ويتوقع احتياجات المستخدم. قررنا دمج ثلاثة أنظمة لتحسين القيمة الإجمالية لنسخ SeaMeet الخاصة بنا: التلخيص، واستخلاص الموضوع، واستخراج عناصر العمل. تم اختيار كل من هذه الأنظمة لتخفيف نقاط الألم المحددة للمستخدم.
للتوضيح، سنعرض نتيجة تشغيل أنظمة التلخيص والمواضيع والإجراءات على النص القصير التالي:
Kim: "شكرًا لك، Xuchen، أنت مكتوم الصوت لأن الكثير من الأشخاص في هذه المكالمة. اضغط على نجمة 6 لإلغاء كتم الصوت."
Xuchen: "حسنًا، اعتقدت أنه مجرد استقبال سيئ."
Kim: "نعم."
Sam: "لقد أرسلت للتو ملفًا منفصلاً يحتوي على بيانات كلام لأيام الثلاثاء حتى 30 يومًا. يجب أن يكون لديكم يا رفاق بعض الإصدارات المحدثة."
Kim: "لذلك ستكون هناك بالتأكيد حالات حافة حيث لا يعمل هذا. لقد وجدت بالفعل زوجين كما في هذا المثال. يستغرق الأمر مثل إخراج الفعل هناك ويقول إن المتحدث هو المكلف به عندما يكون في الحقيقة كارول هي المكلفة هناك. لكنه نفس النمط مثل شيء مثل الثاني حيث تريد حقًا أن أكون أنا المكلف لأنهم لا يكلفون جايسون بل يكلفون أنفسهم بإخبار جايسون."
Sam: "فهمت."
Xuchen: "لذا فإن الجانب السلبي لهذا هو أنه يجب عليك نوعًا ما كتابة قواعد له. نعم، الجانب الإيجابي هو أنه نموذج مدرب بالفعل. يمكنك تدريبه أكثر ولكن لا يتعين علينا إلقاء الكثير من البيانات على هذا."
Kim: "على الرغم من أنه لا يقوم بالتصنيف الذي من شأنه أن يعطينا هل هذا إجراء أم هذا آخر؟"
Xuchen: "لذا، الحيلة هنا هي أننا نريد أن يكون الفعل المساعد موجودًا، ولكننا نريد أيضًا بعض أسماء الأشخاص."
Sam: "صحيح وإلا فقد يكون السبب."
Xuchen: "نعم، إذا كانت هناك جملة بها كما تعلمون الكثير من الحالات التي تحتوي على كلمات واضحة. ومع ذلك، لن يساعد الكثير منها في الإجراءات."التلخيص
نظرة عامة على واجهة SeaMeet الخاصة بنا، والتي تعرض كلام المستخدم مع ملخصاته القصيرة على اليسار
في حين أن التنقل في نص منسوخ أسهل بالتأكيد من البحث في ساعات من الصوت المسجل، إلا أنه بالنسبة للاجتماعات الطويلة بشكل خاص، لا يزال من الممكن أن يستغرق العثور على محتوى معين أو الحصول على نظرة عامة على المحادثة ككل وقتًا طويلاً. اخترنا تقديم نوعين من الملخصات بالإضافة إلى النسخ الكامل.
توفر الملخصات على مستوى الكلام الفردي مقاطع أكثر إيجازًا وسهولة في القراءة. بالإضافة إلى ذلك، تساعد الملخصات القصيرة في تطبيع النص عن طريق إزالة المقاطع الفارغة دلاليًا وإجراء حل الجناس والإشارة المشتركة. يمكننا بعد ذلك تغذية المقاطع الملخصة في تطبيقات المصب (مثل استخلاص الموضوع) لتحسين النتائج النهائية.
بالإضافة إلى الملخصات القصيرة، اخترنا أيضًا تقديم ملخص طويل واحد يهدف إلى إنشاء نظرة عامة عامة جدًا على الاجتماع بأكمله. يعمل هذا الملخص كملخص للاجتماع، حيث يغطي فقط نقاط الحديث الرئيسية والاستنتاجات.
فيما يلي مثال على الملخصات القصيرة، حيث قمنا بتغذية كل مقطع في النص الأصلي من خلال الملخص:
Kim: "Xuchen مكتوم الصوت لأن الكثير من الأشخاص في المكالمة."
Xuchen: "إنه مجرد استقبال سيئ."
Sam: "لقد أرسلت ملفًا منفصلاً يحتوي على بيانات كلام لأيام الثلاثاء حتى 30 يومًا."
Kim: "ستكون هناك حالات حافة حيث لا يعمل هذا."
Xuchen: "الجانب السلبي لتدريب نموذج مدرب بالفعل هو أنه يجب عليك كتابة قواعد له."
Kim: "التصنيف لا يقوم بالتصنيف الذي من شأنه أن يمنحهم إجراءً."
Xuchen: "الحيلة هنا هي أنهم يريدون أن يكون الفعل المساعد موجودًا، لكنهم يريدون أيضًا بعض أسماء الأشخاص."
Xuchen: "إذا كانت هناك جملة بها كلمات، فلن يساعد الكثير منها في الإجراءات."وهذا المثال يوضح الاجتماع بأكمله ملخصًا في فقرة واحدة:
"Xuchen مكتوم الصوت لأن الكثير من الأشخاص في المكالمة. أرسل Sam ملفًا منفصلاً يحتوي على بيانات كلام لأيام الثلاثاء حتى 30 يومًا. وجد Xuchen بعض حالات الحافة حيث يكون المتحدث هو المكلف."في صميم مكوني التلخيص القصير والطويل يوجد نموذج تلخيص قائم على المحولات. نقوم بضبط النموذج على مجموعة بيانات حوار للتلخيص التجريدي. تحتوي البيانات على مقتطفات نصية بأطوال مختلفة مقترنة بملخص مكتوب بخط اليد. بالنسبة للتلخيص متعدد اللغات، نستخدم نفس النموذج، ولكننا نستخدم نموذجًا أساسيًا متعدد اللغات تم ضبطه على نسخة مترجمة من مجموعة البيانات. من واجهة SeaMeet، لدى المستخدم أيضًا خيار التحقق من ملخص تم إنتاجه آليًا، أو تقديم ملخص خاص به. يمكننا بعد ذلك جمع هذه الملخصات التي أدخلها المستخدم وإضافتها مرة أخرى إلى مجموعة التدريب الخاصة بنا لتحسين نماذجنا باستمرار.
استخلاص الموضوع
واجهة SeaMeet، مع التركيز على علامة التبويب “المواضيع” على الجانب الأيمن
مشكلة أخرى عند التعامل مع مجموعات كبيرة من النسخ هي تنظيمها وتصنيفها والبحث فيها. من خلال استخلاص الكلمات الرئيسية والمواضيع تلقائيًا من النص، يمكننا تزويد المستخدمين بطريقة سهلة لتتبع اجتماعات معينة، أو حتى أقسام معينة من الاجتماعات حيث تتم مناقشة موضوع ذي صلة. بالإضافة إلى ذلك، تعمل هذه الموضوعات كطريقة أخرى لتلخيص أهم المعلومات التي لا تنسى في النص.
فيما يلي مثال على الكلمات الرئيسية التي سيتم استخلاصها من النص النموذجي:
الفعل المساعد
المتحدث
بيانات الكلام
ملف منفصل
إصدارات محدثة
أسماء الأشخاص
نموذج مدرب
كتابة القواعدتستخدم مهمة استخلاص الموضوع مزيجًا من الأساليب التجريدية والاستخراجية. يشير التجريدي إلى نهج تصنيف النص، حيث يتم تصنيف كل إدخال في مجموعة من التسميات التي تمت رؤيتها أثناء التدريب. لهذه الطريقة استخدمنا بنية عصبية مدربة على مستندات مقترنة بقائمة من الموضوعات ذات الصلة. يشير الاستخراجي إلى نهج بحث عن الكلمات الرئيسية حيث يتم استخراج الكلمات الرئيسية ذات الصلة من النص المقدم وإرجاعها كمواضيع. لهذا النهج، نستخدم مزيجًا من مقاييس التشابه مثل تشابه جيب التمام و TF-IDF بالإضافة إلى معلومات تكرار الكلمات لاستخراج الكلمات الرئيسية والعبارات الأكثر صلة.
لكل من التقنيات التجريدية والاستخراجية إيجابيات وسلبيات، ولكن باستخدامها معًا يمكننا الاستفادة من نقاط القوة في كل منها. النموذج التجريدي رائع في جمع تفاصيل مميزة ولكنها ذات صلة وإيجاد موضوع أكثر عمومية يناسبها جميعًا. ومع ذلك، لا يمكنه أبدًا التنبؤ بموضوع لم يره أثناء التدريب، ومن المستحيل التدريب على كل موضوع يمكن تصوره قد يظهر في محادثة! من ناحية أخرى، يمكن للنماذج الاستخراجية سحب الكلمات الرئيسية والمواضيع مباشرة من النص، مما يعني أنها مستقلة عن المجال، ويمكنها استخراج مواضيع لم ترها من قبل. الجانب السلبي لهذا النهج هو أن الموضوعات تكون أحيانًا متشابهة جدًا أو محددة جدًا. باستخدام كليهما، وجدنا وسيطًا سعيدًا بين القابل للتعميم والمحدد للمجال.
استخراج عناصر العمل
واجهة مستخدم SeaMeet، مع التركيز على علامة التبويب “الإجراءات” على الجانب الأيمن
آخر نقطة ألم شرعنا في تخفيفها للمستخدمين هي مهمة تسجيل عناصر العمل. يعد تسجيل عناصر العمل مهمة شائعة جدًا يتم تكليف موظف بالقيام بها أثناء الاجتماع. يمكن أن يكون تدوين “من أخبر من أن يفعل ماذا ومتى” مستهلكًا للوقت للغاية، ويمكن أن يتسبب في تشتيت انتباه الكاتب وعدم قدرته على المشاركة الكاملة في الاجتماع. من خلال أتمتة هذه العملية، نأمل في تخفيف بعض هذه المسؤولية عن المستخدم حتى يتمكن الجميع من تكريس اهتمامهم الكامل للمشاركة في الاجتماع.
فيما يلي مثال على بعض عناصر العمل التي يمكن استخلاصها من النص النموذجي:
اقتراح: "يقول Sam إنه يجب أن يكون لدى الفريق بعض الإصدارات المحدثة."
بيان: "تقول Kim إنه ستكون هناك بالتأكيد حالات حافة حيث لا يعمل هذا."
أمر: "يقول Xuchen إن على شخص ما كتابة قواعد له."
رغبة: "يقول Xuchen إن الفريق يريد أن يكون الفعل المساعد موجودًا، ولكنه يريد أيضًا بعض أسماء الأشخاص."الغرض من نظام مستخرج الإجراءات هو إنشاء ملخصات تجريدية قصيرة لعناصر العمل المستخرجة من نسخ الاجتماعات. نتيجة تشغيل مستخرج الإجراءات على نسخة اجتماع هي قائمة بالأوامر والاقتراحات وبيانات النية والمقاطع الأخرى القابلة للتنفيذ التي يمكن تقديمها كمهام أو متابعات للمشاركين في الاجتماع. في المستقبل، سيلتقط المستخرج أيضًا أسماء المكلفين والمكلفين بالإضافة إلى تواريخ الاستحقاق المرتبطة بكل عنصر عمل.
يحتوي خط أنابيب استخراج الإجراءات على مكونين رئيسيين: مصنف وملخص. أولاً، يتم تمرير كل مقطع إلى مصنف متعدد الفئات ويتلقى إحدى التسميات التالية:
- سؤال
- أمر
- اقتراح
- رغبة
- بيان
- غير قابل للتنفيذ
إذا تلقى المقطع أي تسمية بخلاف “غير قابل للتنفيذ”، يتم إرساله إلى مكون التلخيص مع المقطعين السابقين في النص، مما يوفر مزيدًا من السياق للتلخيص. تعد خطوة التلخيص هي نفسها بشكل أساسي مكون التلخيص المستقل، ومع ذلك يتم تدريب النموذج على مجموعة بيانات مخصصة تم إنشاؤها خصيصًا لتلخيص عناصر العمل بتنسيق إخراج مرغوب فيه.
SeaMeet يحصل على دماغ
لقد كانت هذه خطوة كبيرة نحو إنشاء منتجنا الفريد الخاص بنا: تدريب نماذج التلخيص بالإضافة إلى استخراج الموضوعات والإجراءات لدفع منتجنا إلى أبعد من ذلك، وتصميم واجهة جميلة لربط كل شيء معًا في حزمة مذهلة. هذه هي القصة حتى الآن، بداية رحلة Seasalt.ai لتقديم أفضل حلول الأعمال إلى سوق سريع التطور وتقديمها للعالم، SeaMeet: مستقبل الاجتماعات الحديثة.
