対話システムライブコンペティション6 参加報告

はじめに

このページでは、私がただ対話システムライブコンペティション6に参加した感想を備忘録的につらつらと書いています。あまり誰かの参考になるようなことは書いていません。学部4年生NLPerの等身大の感想です。

対話システムライブコンペティションとは

対話システムライブコンペティションとはオーディエンスの前で対話システムをユーザと対話させ、リアルタイムで評価を行うイベントです。人工知能学会言語・音声理解と対話処理研究会（SLUD）の主催で行われています。

参加者はお題に沿って対話システムを作成し、予選ではワーカによる評価、本選ではオーディエンスによる評価が行われます。 SLUD内で行われる本戦には予選を通過した3チームのみが参加できます。

対話システムライブコンペティション6のお題

今回のお題は「ユーザとシステムが所属するサークルの新しい顧問の歓迎会を計画する」というものでした。ユーザは控えめな歓迎会を開きたいと考えていますが、システムは盛大な歓迎会を開きたいと考えています。このような目標が正反対の状態からユーザとシステムが互いに納得する歓迎会を計画します。

対話システムはマルチモーダルで、発話の内容、ジェスチャーと表情、間と音声の3つの基準から評価が行われました。

結果

我々Tohoku NLP Groupチームは予選をトップで通過し、そのままの勢いで優勝することができました！！詳しくはこちらをご覧ください。

全ての評価項目でトップを取ることができましたが、特に発話内容でかなり高い評価を受けました。その主な要因は、スロットフィリング形式で議論の進捗を管理し、まだ話されていないトピックについてシステム側から話を振ることで、議論をリードできたことだと考えています。

参加した経緯

私の所属するTohoku NLP Groupでは、毎年対話システムライブコンペティションの季節になるとチームメンバーを募っており、そこに立候補する形で参加しました。私は普段対話システムに関する研究をしていないのですが、ただ漠然とチーム開発が面白そうという理由でこのチャンスに飛びつきました。

Tohoku NLP Groupではこのコンペに参加することは毎年若手教育の場として位置づけられており、私もその恩恵を受けて主著にチャレンジすることができました。もちろん相応の負担と努力が求められますが、それ以上に自分が中心となって開発に携われたことで楽しく充実した時間を過ごすことができました。

参加した感想

1.対話楽しい

正直、参加する前は対話を含む応用に対してはあまり興味がありませんでした。笑私の普段の研究は、大規模言語モデルが日本語においてどのような知識や能力を持っているかについて分析することを主としています。そのため、対話とは無縁の研究生活を送っていました。

しかし、このコンペの参加を通じて対話システム開発の楽しさを知ることができました。開発ももちろん楽しかったのですが、特に本番で自チームのシステムがうまく動くか、ユーザとの対話がうまくいくかという緊張感がたまらなく楽しかったです。というのも、我々のシステムはトップバッターだったのですが、うまく動かず手番が最後に回されました。最終的には動いたのでよかったのですが、かなり肝が冷えました。笑

この対話コンペの後から応用熱が高まってしまい、2つ目のテーマは応用研究にしようかなとか考えています。笑

2.チーム開発楽しい

文系出身で、個人開発の経験がほぼない私にとって、今回のチーム開発の経験はとても貴重なものになりました。チーム開発では、コードの書き方やコミュニケーションの仕方、開発の進め方などを諸先輩方から学ぶことができました。

また、自分が主著として参加することで、チームメンバーの意見を聞きながら自分の意見をまとめるという経験をすることができました。かなり先輩の援助を受けながらの開発でしたが、それでもこのチームで主著を務められたことは自分にとって大きな自信になりました。

本番では「あーそんなこと言っちゃダメだよ」とか、「対話者意地悪な質問するなぁ」とか、チーム内でワイワイ言いながら見ていてとても楽しかったです。本番終了後に先輩と言った銭湯もいい思い出です。笑

3.学会楽しい

学会に参加するのは初めてでしたが、興味深い研究が多く発表されていて聞いているだけでも楽しい時間を過ごすことができました。この学会だけでなく、ガーディアンロボットプロジェクトの研究はいつも面白いなと思って発表を聞いています。また、対話コンペに出ていた他のチームの発表も我々とは全く違う工夫を施していて勉強になりました。特に2位のチームはシステムの応答が生成されるまでの時間をフィラーで繋いでいて、自分たちがうまく実装できなかったことなのですごいなぁと思って見ていました。自分のチームもまだまだ改善の余地が残されているなということを再実感できるいい機会になりました。

自チームの口頭発表は非常に緊張しましたが、たくさんの質問やご意見をいただけて貴重な経験になりました。直前まですごくトイレに行きたかったのですが、発表が必死で壇上では忘れていました。笑

まとめ

対話システムライブコンペティション6に参加して、対話システム開発、チーム開発、学会参加という3つの経験をすることができました。これらの経験は私にとって非常に貴重なものになりましたし、今後の研究や社会人生活においても活かせることが多いと感じています。

今回のコンペに出したシステムはまだまだ改善の余地が残されているので、今後も改善を続けて、上のステージをめざしていきたいと思います。