チャットボット導入時に検討すべきことは?実用系チャットボットをユーザーテスト(前編:NAVITIME)

チャットボットは、チャット(LINEやFacebook Messengerなど)を通じて、問い合わせ等の自動対応をしてくれるプログラムです。

『チャットボット』というキーワードは、2016年の4月頃から検索ボリュームが急上昇しています。

これまで人間が対応しなくてはいけなかったものが自動化でき、人手不足の解消に役立つと言われています。

└高級旅館・高級ホテルの予約サービス『Relux』が過去に導入していた、Facebook Messengerによるチャットボット。2017/11/21時点で利用不可能だった。

有名なものとしては、日本マイクロソフトが開発した『女子高生AIりんな』があります。LINEで簡単に利用できることで、既に試されている方も多いのではないかと思います。

└りんなに今日の天気と花粉の様子を聞いてみたところ。天気は正確に教えてもらえたが、花粉は果たして?

10数年以上前から、入力した文章に対して反応してくれるプログラムはあったように記憶していますが、予め組み込まれたパターンでの返答しかできなかったため『人工無能』などと揶揄されていました。ここに強力な学習能力が加わり自然な返答が実現できるようになったため、改めて注目を集め始めています。

検索ボリュームが増加していることからも分かるように、チャットボットの導入を検討する企業は多いかと思いますが、実際どんな点に留意して検討したら良いのでしょうか?

今回は、比較的万人向けのサービスと思われる『NAVITIME』『ライフネット生命』をピックアップしてみました。定量的な判断材料は別サイトで情報収集できると思いますので、ここではユーザーテストによる定性的な分析をしてみます。

 

前編となるこの記事では『NAVITIME』をレポートしています。後編では『ライフネット生命』のレポートをお届けします。

NAVITIMEのチャットボット

NAVITIMEのチャットボットは、LINEの公式アカウントを友だち追加して利用するものです。アプリやサイトではなく、チャットで乗換案内を利用するメリットはあるのでしょうか。

└NAVITIME BOTサービスの公式サイト

調査概要

  • 被験者
    28歳男性、34歳女性、54歳男性
  • 募集条件
    LINEを使っている方で、乗換案内をよく利用する方
    ※NAVITIMEのLINE公式アカウントの利用経験が無い方
  • タスク
    1. 事前ヒヤリング(利用している乗換案内と、友だち追加まで)
    2. 実際に触ってみる(普段使うルートを調べてみる、あまり知らない土地に居る前提で調べてみる)

事前ヒヤリング

まずは、現在の乗換案内の利用状況について聞いてみました。偶然にも、3人ともYahoo!の乗換案内を利用しているようです。また、1名はアプリではなくサイトから利用しているそうです。

NAVITIMEのLINE公式アカウントを友だち追加した段階では、スピードや人への共有の楽さへ期待を寄せている様子。

28歳男性 34歳女性 54歳男性
利用している乗換案内  ◯Yahoo!乗換案内アプリ

◯使いやすい、カスタマイズしやすい、乗り換えるスピードや乗り換えたい駅を入れられる

◯Yahoo!IDと連携させると履歴を残したりできる

 ◯Yahoo!乗換案内(PCやスマホのサイト

◯アプリはスマホが重くなる

◯利用頻度は月数回

◯Yahoo!乗換案内アプリ
利用タイミングや方法 ◯ほぼ毎日

◯列車やバスに乗る直前(改札を通る前に最適なルート化確認する)

◯計画を立てる際に使うこともまれにあり

◯電車に乗る日が決まっていれば家で調べる

◯ふと思い出した時(昼や寝る前など)に事前に調べる

◯電車の遅延などで乗り換えしなくてはいけない時

◯会社から移動したい場合(到着時刻、ここを出る時間を知る)

◯目的地までの最短ルート、最安ルートなどを知りたい場合

感じている不便  ◯オフラインで使えるとありがたい(以前調べたものなど)。

時刻表をダウンロードできると良い。

◯開くのに時間がかかる

◯スマホだと情報が凝縮され見にくい

◯パソコンの場合、画面のスクリーンショットを上手く貼り付けられない
友だち追加と、利用前の印象 ◯まだ何とも言えないが、書いて有ることが本当なら良いかも

◯My乗り換え、時刻表などは良いかも

◯とても魅力的

◯アプリを開く手間がない、表示される時間も早そう

◯ヤマトの宅急便もLINEから再配達依頼などをしており、とても便利

魅力を感じる

◯共有する時に、LINEなので恐らく人に転送しやすいと推測

 

実際に触ってみる

実際に触ってもらった結果です。

28歳男性 34歳女性 54歳男性
普段使うルートを調べてみる Good : 今すぐ乗るならいいかも

Bad 時間指定不可

Bad : 駅選択肢の表示について、一般的な物を自動で表示してくれても良いのでは(あり得ない駅の選択肢は要らない)

Bad : これだけならLINEを使わなくても良いのでは

Good : 反応が早い

Good : 複数候補がある場合の選び方が簡単

Good : ひらめいた感じのするスタンプは和む

Bad : 路線名が不明

Bad : 新幹線除外など路線指定が不可

Bad : 空路など条件指定不可

Bad : 運賃順、時間順の指定不可

Good : 早い

Bad : 検索結果が一つだけ

Bad : 設定画面に駅名の履歴が残らない

あまり知らない土地に居る前提で調べてみる Good : 今すぐ乗るのであれば良い

Bad : 時間を指定しにくい

Bad : 何をしても関係ない駅の選択肢が表示されてしまう

Bad : 料金が指定席なのか普通席なのか不明

Good : 早い

Good : 所要時間と運賃がすぐ分かる

Good : 『1本後』の指定ができる

Bad : 鉄道会社が不明

Bad : 座席種が不明

Bad : 四角の色が変わっている理由が分からない

Good : 駅に居る前提での経路が出てくる

Good : 今まさに駅に居て、それを人に共有するなら便利

Bad : 複数の経路から選べない(価格、時間、バス指定など)

Bad : 着時間指定ができない

感想 利用する理由は見つからない 条件指定ができないので使わないが、これらが改善されたら反応は早いので使ってみたい 気になった点が改良されたら使いたい

特に、今すぐ電車に乗ろうとしている場合の使い勝手が魅力的に写ったようです。チャットでのやり取りにも関わらず、複数の候補がある場合の選択が簡単(あ、か、さ…のように1文字打てば選択できる)になっている点も好印象に捉えられていました。

ただ、下記のような点から、継続して使ってみたいと感じてもらえないという結果でした。

  • 時間指定ができない
    事前に電車の時間を調べたい場合などに、発時間や着時間を指定して検索することができませんでした。
  • 路線の種類や会社が分からない
    特に詳しくない土地で、同じ駅名のJR・私鉄の駅があった場合、どちらへ行くべきか分からないというものでした。
  • 座席の種類が分からない
    距離のある経路を調べた際、表示されているのが指定席(追加呂い金のかかる特急など)なのか普通席なのか分からないというものでした。
  • 検索結果が一つしか無い
    異なるルートを使いたい場合にも、それを調べることができないようです。
  • 複数の経路からの選択(路線指定、価格順、時間順など)ができない
    在来線で行けるのに新幹線を使うルートしか出てこず、乗ろうとしている電車の時間が分からない…といった課題がありました。

発見点詳細

発見できた点の中から、いくつか画像も交えて解説します。

LINEで使えること自体が便利

アプリはスマホが重くなるから使わないという34歳女性によれば、ヤマトのLINEアカウントを活用しており同様に便利そうに感じるという、LINEで利用できるというだけでメリットになる可能性が発見できました。

時間指定ができない

ニーズとしては大きそうな、時間を指定しての検索ができないようです。必ず、今すぐ乗る前提での時間が案内されます(そこから一本後、一本前といった指定は可能)。

例えば28歳男性の被験者さんが「20時40分に河原町駅から梅田駅まで」と入力した結果、返答は「駅が見つかりませんでした。」となってしまいました。34歳女性も、駅名の後に「明日」と入力していましたが、上手く行きませんでした。

私自身も時間指定を試してみましたが上手く行かなかったので、時間指定の機能は存在していないものと思われます。

└時間を頭に入力したところ、駅名すら分からないと言われてしまった

検索結果の鉄道会社や座席種類を知りたい

同じ駅間の移動でも、在来線や特急、新幹線、JRと私鉄など、複数種の電車が走っていることがあります。

34歳女性の被験者さんは、あまり詳しくない土地を前提とした経路(大阪駅〜天橋立駅)を調べたところ、『こうのどり』『はしだて』という電車名が表示されたことに戸惑っていました。

電車の種類が、ごく一部(『JR 東海道新幹線 ひかり 東京行』であれば『ひかり』の部分だけ)しか表示されないようです。同じ駅名の違う鉄道会社の駅でこの状況に陥った場合、かなり混乱しそうです。

└電車の名前しか分からない(利用する路線が分からない)

関係ない駅の選択肢が表示され続ける不具合

28歳男性の被験者さんが使用していた時、不具合らしき挙動が見られました。

大阪駅〜中部国際空港を指定したにも関わらず、駅の選択肢が東京都内の駅ばかりになってしまったのです。その後、駅名を変えたり、「ヘルプ」と入力しても同じ選択肢が表示され、ほぼ利用不可能な状態になってしまいました。

どうやら原因は、直前の操作にあったようです。

  • 経路の検索に成功した
  • 時間も記入して検索した(駅がないと言われる)
  • 先ほど成功した検索結果の『一本後』をタップした
  • なぜか東京都内の駅の選択肢が表示された
  • 以後、他の駅名を入力しても東京都内の駅が表示される

└「ヘルプ」に対して東京都の駅を選択肢として表示するNAVITIME

さほどイレギュラーな使い方には思えないので、ここは改善してもらいたいですね。

My乗換機能で経路探索する

54歳男性は、よく使う駅を事前に登録しワンタップで即検索できる機能『My乗換』の機能を使って、全ての経路探索を行っていました。

設定画面から駅を指定するよりチャットで駅を指定したほうが少ない手間で検索できるのですが、チャットでルートを検索するという発想に至らなかったようです。

その為か、My乗換の設定画面に「過去に入力した駅が残って欲しい」と要望。NAVITIMEの設計の意図が、最初に開いたトーク画面などからは正確に伝わらないケースも有るようです。

└駅名の指定は全てMy乗換の設定画面で行っていた

調査動画

調査した動画のうち、LINE公式アカウントの友だち追加が完了したところからのものを下記にアップしましたのでぜひ音声とともにご覧ください。


└28歳男性(13分13秒)


└34歳女性(16分19秒)


└54歳男性(13分17秒)

まとめ

今回の調査では、NAVITIMEを現状の機能のまま継続的に利用してもらうには様々な課題があることが分かりました。被験者さんが想定する機能(条件指定が出来て当然)と、実際に提供できている機能(駅に居る前提での時刻案内のみ)にギャップがあるようです。

今NAVITIMEで出来ることは、発駅と着駅を指定し、直近の最速ルートを提示することだけのようです。予め最速ルートの電車に乗ることが決まっていて、且つその駅に居る場合での利用に限定されそうです。

特に、時間指定や複数条件でルートを選択できるような要望が多そうに感じられます。ただ、時間については入力方法が様々(20:40、20時40分、明日の夜、などなど)だと思いますので、柔軟に読み取るチャットボット側の性能が求められそうです。

一方で、LINEで利用できることのメリットは大きそうです。他の調査を行っている中でもアプリをインストールしないという声はよく聞かれます。

そういった方にNAVITIMEを便利に利用してもらうためには、「東京から新横浜、18時着、新幹線を使わない」のように、より自然な文章からの条件指定検索ができると利用する価値が高まりそうです。