در طول این مجموعه وبلاگ، سفر Seasalt.ai را برای ایجاد یک تجربه جلسات مدرن کامل، از آغاز فروتنانه آن، تا بهینه سازی خدمات ما بر روی سخت افزارها و مدل های مختلف، تا ادغام سیستم های پیشرفته NLP و در نهایت پایان دادن به تحقق کامل SeaMeet، راه حل های جلسات مدرن مشترک ما، دنبال کنید.
فراتر از رونویسی
تمام موانع قبلی که با آنها روبرو شدیم به ما یک درس مهم آموخت: اینکه ما می توانیم همه اینها را بهتر از خودمان انجام دهیم. بنابراین خدمه اینجا در Seasalt.ai شروع به آموزش مدل های صوتی و زبانی خود کردند تا با قابلیت های رونویس مکالمه Azure رقابت کنند. مایکروسافت در MS Build 2019 یک ارائه شگفت انگیز ارائه داد و خدمات گفتاری Azure را به عنوان یک محصول بسیار توانا و در عین حال بسیار در دسترس به نمایش گذاشت. پس از شگفت زده شدن، مجبور می شویم این سوال را بپرسیم که از اینجا به کجا می رویم؟ چگونه می توانیم این محصول ابزاری را گسترش دهیم؟ جلسات مدرن پتانسیل قوی گفتار به متن را نشان داد، اما اینجاست که متوقف می شود. ما می دانیم که Azure می تواند به ما گوش دهد، اما اگر بتوانیم آن را وادار به فکر کردن برای ما کنیم چه؟ فقط با رونویسی ها، در حالی که محصول چشمگیر است، برنامه ها تا حدودی محدود هستند.
با ادغام فناوری گفتار به متن موجود با سیستم هایی که می توانند از رونویسی ها بینش تولید کنند، می توانیم محصولی ارائه دهیم که فراتر از انتظارات باشد و نیازهای کاربر را پیش بینی کند. ما تصمیم گرفتیم سه سیستم را برای بهبود ارزش کلی رونویسی های SeaMeet خود ادغام کنیم: خلاصه سازی، انتزاع موضوع و استخراج موارد اقدام. هر یک از اینها برای کاهش نقاط درد خاص کاربر انتخاب شدند.
برای نشان دادن، نتیجه اجرای سیستم های خلاصه، موضوعات و اقدامات را بر روی متن کوتاه زیر نشان خواهیم داد:
کیم: "متشکرم، Xuchen شما بی صدا هستید زیرا افراد زیادی در این تماس هستند. برای لغو بی صدا کردن، ستاره 6 را فشار دهید."
Xuchen: "خوب من فکر کردم خوب فقط پذیرش بد است."
کیم: "آره."
سام: "من همین الان یک فایل جداگانه با داده های گفتاری برای سه شنبه ها تا 30 روز دیگر ارسال کردم. شما بچه ها باید نسخه های به روز شده ای داشته باشید."
کیم: "بنابراین قطعاً موارد لبه ای وجود خواهد داشت که این کار نمی کند. من قبلاً چند مورد مانند این مثال پیدا کردم. مثل این است که فعل را از آنجا بیرون می کشد و می گوید گوینده تکلیف کننده است در حالی که در واقع کارول تکلیف کننده است. اما این همان الگوی چیزی مانند دومی است که در آن شما واقعاً می خواهید من تکلیف کننده باشم زیرا آنها جیسون را تکلیف نمی کنند، آنها خودشان را برای گفتن به جیسون تکلیف می کنند."
سام: "فهمیدم."
Xuchen: "بنابراین عیب این این است که شما باید برای آن قوانینی بنویسید. بله، مزیت این است که این یک مدل از قبل آموزش دیده است. شما می توانید آن را بیشتر آموزش دهید اما ما مجبور نیستیم یک تن داده به این پرتاب کنیم."
کیم: "اگرچه طبقه بندی را انجام نمی دهد که به ما بگوید آیا این یک اقدام است یا چیز دیگری؟"
Xuchen: "بنابراین، ترفند اینجا این است که ما می خواهیم فعل کمکی وجود داشته باشد، اما همچنین می خواهیم برخی از نام های افراد را نیز داشته باشیم."
سام: "درست است وگرنه ممکن است به این دلیل باشد."
Xuchen: "بله، اگر جمله ای با، می دانید، موارد زیادی با کلمات واضح وجود داشته باشد. با این حال، بسیاری از آنها به اقدامات کمکی نمی کنند."خلاصه سازی
نمای کلی از رابط SeaMeet ما، شامل گفته های کاربر با خلاصه های کوتاه آنها در سمت چپ
در حالی که پیمایش در یک رونویسی متنی مطمئناً آسان تر از جستجو در ساعت ها صدای ضبط شده است، برای جلسات طولانی، هنوز هم می تواند برای یافتن محتوای خاص یا دریافت یک نمای کلی از کل مکالمه وقت گیر باشد. ما تصمیم گرفتیم علاوه بر رونویسی کامل، دو نوع خلاصه ارائه دهیم.
خلاصه ها در سطح گفته های فردی، بخش های مختصرتر و خواناتری را ارائه می دهند. علاوه بر این، خلاصه های کوتاه با حذف بخش های معنایی خالی و انجام حل آنافورا و مرجع مشترک، به عادی سازی متن کمک می کنند. سپس می توانیم بخش های خلاصه شده را به برنامه های پایین دستی (مانند انتزاع موضوع) برای بهبود نتایج نهایی تغذیه کنیم.
علاوه بر خلاصه های کوتاه، ما همچنین تصمیم گرفتیم یک خلاصه طولانی واحد ارائه دهیم که هدف آن ایجاد یک نمای کلی بسیار کلی از کل جلسه است. این خلاصه مانند یک چکیده برای جلسه عمل می کند و فقط نکات اصلی صحبت و نتیجه گیری را پوشش می دهد.
در زیر نمونه ای از خلاصه های کوتاه آمده است، که در آن ما هر بخش از رونویسی اصلی را از طریق خلاصه ساز تغذیه کردیم:
کیم: "Xuchen بی صدا است زیرا افراد زیادی در تماس هستند."
Xuchen: "فقط پذیرش بد است."
سام: "من یک فایل جداگانه با داده های گفتاری برای سه شنبه ها تا 30 روز دیگر ارسال کردم."
کیم: "موارد لبه ای وجود خواهد داشت که این کار نمی کند."
Xuchen: "عیب آموزش یک مدل از قبل آموزش دیده این است که باید برای آن قوانینی بنویسید."
کیم: "طبقه بندی طبقه بندی را انجام نمی دهد که به آنها اقدامی بدهد."
Xuchen: "ترفند اینجا این است که آنها می خواهند فعل کمکی وجود داشته باشد، اما همچنین می خواهند برخی از نام های افراد را نیز داشته باشند."
Xuchen: "اگر جمله ای با کلمات وجود داشته باشد، بسیاری از آنها به اقدامات کمکی نمی کنند."و این مثال کل جلسه را که در یک پاراگراف خلاصه شده است نشان می دهد:
"Xuchen بی صدا است زیرا افراد زیادی در تماس هستند. سام یک فایل جداگانه با داده های گفتاری برای سه شنبه ها تا 30 روز دیگر ارسال کرد. Xuchen چند مورد لبه ای پیدا کرده است که در آن گوینده تکلیف کننده است."در هسته هر دو مؤلفه خلاصه سازی کوتاه و بلند، یک مدل خلاصه سازی مبتنی بر ترانسفورماتور قرار دارد. ما مدل را بر روی یک مجموعه داده گفتگو برای خلاصه سازی انتزاعی تنظیم می کنیم. داده ها حاوی گزیده های متنی با طول های مختلف هستند که هر کدام با یک خلاصه دست نویس جفت شده اند. برای خلاصه سازی چند زبانه، ما از همان پارادایم استفاده می کنیم، اما از یک مدل پایه چند زبانه که بر روی یک نسخه ترجمه شده از مجموعه داده تنظیم شده است، استفاده می کنیم. از رابط SeaMeet، کاربر همچنین این گزینه را دارد که یک خلاصه تولید شده توسط ماشین را تأیید کند یا خلاصه خود را ارائه دهد. سپس می توانیم این خلاصه های وارد شده توسط کاربر را جمع آوری کرده و آنها را به مجموعه آموزشی خود اضافه کنیم تا به طور مداوم مدل های خود را بهبود بخشیم.
انتزاع موضوع
رابط SeaMeet، با تمرکز بر برگه «موضوعات» در سمت راست
مشکل دیگر هنگام کار با مجموعه های بزرگ رونویسی، سازماندهی، دسته بندی و جستجوی آنها است. با انتزاع خودکار کلمات کلیدی و موضوعات از رونویسی، می توانیم به کاربران راهی بی دردسر برای ردیابی جلسات خاص یا حتی بخش های خاصی از جلسات که در آن یک موضوع مرتبط مورد بحث است، ارائه دهیم. علاوه بر این، این موضوعات به عنوان روش دیگری برای خلاصه کردن مهمترین و به یاد ماندنی ترین اطلاعات در یک رونویسی عمل می کنند.
در اینجا نمونه ای از کلمات کلیدی که از رونویسی نمونه استخراج می شوند آورده شده است:
فعل کمکی
گوینده
داده های گفتاری
فایل جداگانه
نسخه های به روز شده
نام افراد
مدل آموزش دیده
نوشتن قوانینوظیفه استخراج موضوع از ترکیبی از رویکردهای انتزاعی و استخراجی استفاده می کند. انتزاعی به یک رویکرد طبقه بندی متن اشاره دارد، که در آن هر ورودی به مجموعه ای از برچسب هایی که در طول آموزش دیده شده اند طبقه بندی می شود. برای این روش ما از یک معماری عصبی آموزش دیده بر روی اسناد جفت شده با لیستی از موضوعات مرتبط استفاده کردیم. استخراجی به یک رویکرد جستجوی کلیدواژه اشاره دارد که در آن کلیدواژه های مرتبط از متن ارائه شده استخراج شده و به عنوان موضوع بازگردانده می شوند. برای این رویکرد، ما از ترکیبی از معیارهای شباهت مانند شباهت کسینوس و TF-IDF علاوه بر اطلاعات همزمانی کلمات برای استخراج مرتبط ترین کلمات کلیدی و عبارات استفاده می کنیم.
هر دو تکنیک انتزاعی و استخراجی دارای مزایا و معایبی هستند، اما با استفاده از آنها با هم می توانیم از نقاط قوت هر یک استفاده کنیم. مدل انتزاعی در جمع آوری جزئیات متمایز اما مرتبط و یافتن یک موضوع کمی کلی تر که مناسب همه آنها باشد عالی است. با این حال، هرگز نمی تواند موضوعی را که در طول آموزش ندیده است پیش بینی کند، و آموزش بر روی هر موضوع قابل تصوری که ممکن است در یک مکالمه مطرح شود غیرممکن است! از سوی دیگر، مدل های استخراجی می توانند کلمات کلیدی و موضوعات را مستقیماً از متن بیرون بکشند، به این معنی که مستقل از دامنه هستند و می توانند موضوعاتی را که قبلاً هرگز ندیده اند استخراج کنند. نقطه ضعف این رویکرد این است که گاهی اوقات موضوعات بیش از حد شبیه یا بیش از حد خاص هستند. با استفاده از هر دو، ما یک حد وسط خوشحال کننده بین قابل تعمیم و خاص دامنه پیدا کرده ایم.
استخراج موارد اقدام
رابط کاربری SeaMeet، با تمرکز بر برگه «اقدامات» در سمت راست
آخرین نقطه دردی که ما برای کاهش آن برای کاربران تلاش کردیم، وظیفه ثبت موارد اقدام است. ثبت موارد اقدام یک کار بسیار رایج است که به یک کارمند برای انجام در طول یک جلسه محول می شود. نوشتن «چه کسی به چه کسی گفت چه کاری را چه زمانی انجام دهد» می تواند بسیار وقت گیر باشد و می تواند باعث حواس پرتی نویسنده و عدم توانایی در مشارکت کامل در جلسه شود. با خودکارسازی این فرآیند، امیدواریم مقداری از این مسئولیت را از دوش کاربر برداریم تا همه بتوانند توجه کامل خود را به مشارکت در جلسه معطوف کنند.
در زیر نمونه ای از برخی موارد اقدام آورده شده است که می توان از رونویسی نمونه استخراج کرد:
پیشنهاد: "سام می گوید تیم باید چند نسخه به روز شده داشته باشد."
بیانیه: "کیم می گوید قطعاً موارد لبه ای وجود خواهد داشت که این کار نمی کند."
دستوری: "Xuchen می گوید کسی باید برای آن قوانینی بنویسد."
خواسته: "Xuchen می گوید تیم می خواهد فعل کمکی وجود داشته باشد، اما همچنین می خواهد برخی از نام های افراد را نیز داشته باشد."هدف از سیستم استخراج کننده اقدام، ایجاد خلاصه های انتزاعی کوتاه از موارد اقدام استخراج شده از رونویسی جلسات است. نتیجه اجرای استخراج کننده اقدام بر روی رونویسی یک جلسه، لیستی از دستورات، پیشنهادات، اظهارات قصد و سایر بخش های قابل اجرا است که می تواند به عنوان کارهای انجام دادنی یا پیگیری برای شرکت کنندگان در جلسه ارائه شود. در آینده، استخراج کننده همچنین نام های تکلیف کنندگان و تکلیف شوندگان و همچنین تاریخ های سررسید مرتبط با هر مورد اقدام را ثبت خواهد کرد.
خط لوله استخراج اقدام دارای دو مؤلفه اصلی است: یک طبقه بندی کننده و یک خلاصه ساز. ابتدا، هر بخش به یک طبقه بندی کننده چند کلاسه ارسال می شود و یکی از برچسب های زیر را دریافت می کند:
- سوال
- دستوری
- پیشنهاد
- خواسته
- بیانیه
- غیرقابل اقدام
اگر بخش هر برچسبی غیر از «غیرقابل اقدام» دریافت کند، به همراه دو بخش قبلی در رونویسی به مؤلفه خلاصه سازی ارسال می شود که زمینه بیشتری برای خلاصه سازی فراهم می کند. مرحله خلاصه سازی اساساً همان مؤلفه خلاصه سازی مستقل است، با این حال مدل بر روی یک مجموعه داده سفارشی آموزش داده می شود که به طور خاص برای خلاصه کردن موارد اقدام با فرمت خروجی مورد نظر ساخته شده است.
SeaMeet یک مغز پیدا می کند
این یک گام بزرگ در جهت ایجاد محصول منحصر به فرد خودمان بوده است: آموزش مدل های خلاصه سازی به علاوه استخراج موضوع و اقدام برای پیشبرد محصول ما، و طراحی یک رابط کاربری زیبا برای گره زدن همه چیز در یک بسته خیره کننده. این داستان تا کنون، آغاز سفر Seasalt.ai برای ارائه بهترین راه حل های تجاری به یک بازار به سرعت در حال تحول و ارائه به جهان، SeaMeet: آینده جلسات مدرن است.
