株式会社コーセー（本社：東京都中央区、代表取締役社長：小林 一俊）は、関西大学 総合情報学部 瀬島 吉裕 教授との共同研究により、化粧品のオンラインカウンセリングにおいてお客さまの気分を推定する数理モデル（気分推定モデル）を開発しました。本技術はオンラインカウンセリングの音声からお客さまの気分の高まりや落ち込みをリアルタイムで察知することができ、これを応用することで、より一人ひとりに寄り添ったカウンセリングサービスの提供が期待できます。本研究成果の一部は、国内最大級の化粧品技術の発表会である第2回日本化粧品技術者会(SCCJ)学術大会（2024年11月18日～20日、兵庫県）にて発表予定です。

図1　オンラインカウンセリングにおける気分推定モデルの模式図

研究の背景
近年、自宅にいながら、美容や化粧品のカウンセリングを受けられるオンラインカウンセリングサービスが広がっています。ビューティコンサルタント(美容部員、BC)に、周囲を気にせずに日ごろのお手入れや肌の悩みを相談できる、移動の時間がないときや移動の手間なく利用することができる、といった、より一人ひとりに合わせた接客を実現できることが特徴です。当社の調査では、オンラインカウンセリングを受けた人の約9割が美容への興味・関心が増加し、約7割が購入検討や店舗訪問を行い、約3割が商品を購入したという結果も得られています。しかし、オンラインでは画面越しのコミュニケーションとなるため、対面よりもお客さまの変化を察知する情報に乏しく、お客さまに寄り添ったカウンセリングが難しくなるという課題があります。そこで、本研究ではオンラインカウンセリングを受けるお客さまの気分を、音声からリアルタイムに推定できる数理モデルの開発に取り組みました。

オンラインカウンセリングにおける気分推定モデルの開発
共同研究者である瀬島教授は、これまでにオンラインコミュニケーションでの気分の盛り上がりを推定する数理モデルを開発してきました。しかし、このモデルは対等な2人のコミュニケーションを前提としており、カウンセリングのような役割が異なる2人（お客さまとBC）のコミュニケーションには適用が難しいモデルでした。そこで本研究では、実際に当社で行っているオンラインカウンセリングの様子を解析することで、このモデルの再設計を行いました（図1）。このモデルは、お客さまとBCの気分や対話の中で生まれる目に見えない場の雰囲気を仮想的な温度空間として表すもので、対話のやり取りが熱の出入りに対応して、それぞれの温度が変化します。カウンセリングにおいては、接客を行う側、受ける側というように役割が異なるので、それに合わせた熱の流れになるように工夫することで、オンラインカウンセリングに対応した気分推定モデル※1を開発しました。このモデルを用いることで、カウンセリング中のBCとお客さまの音声に関する情報から、お客さまの気分を推定することができます。
※1　特許出願済み：特許出願番号2024-105534

オンラインカウンセリング中のお客さまの気分の変動をリアルタイムに推定
開発した気分推定モデルが実際にお客さまの気分を推定できているかを検証しました。20～40代の男女15名にスキンケアに関するオンラインカウンセリングを体験してもらい、その様子の録画を見ながらそのときの主観的な気分を評価してもらい、その結果とモデルによる気分の推定値の一致度を確認しました。その結果、開発したモデルによって推定した気分の変動と、本人の主観による気分の変動は高い一致度を示しました（図2）。このことから、今回の気分推定モデルはオンラインカウンセリングにおけるお客さまの気分の変動をリアルタイムで捉えられることを確認しました。

図2　オンラインカウンセリングにおける気分推定モデルの一致度評価

今後の展望
今回開発した技術は音声を用いた気分推定モデルであることから、オンラインに限らず、あらゆる接客現場で活用できる可能性があります。今後も、お客さま一人ひとりに寄り添った満足度の高い美容提案を実現できるよう先進的な技術の開発を進めていきます。