AIを搭載したWebサイトの機能についてのテストは、AIそのもののテストにはならないと考えています。ただAIに関するテストケースが全くないとも思えません。そこで、AIによる検索機能を搭載したWebサイトを例としてどんなテストになるのか、いろいろ調べてみました。
上記のようなテストの場合は、基本的な検索機能が正しく動作するかのテストに加えて、AIが生成した「振る舞い」や「アウトプット」が期待結果通りか？を確認することになりそうです。
では、AIが生成した「振る舞い」や「アウトプット」が期待結果通りになる、とはどういうことでしょうか。
AI検索を考えると、ユーザーが入力した意図を理解した結果を表示できるか、自然言語の質問に答えられるかなどの観点が必要になってくるかと思います。ざっくりと調べてみたので、今後の忘備録として以下にテストケースを列挙します。
- 「スマートフォン」と「スマホ」、「PC」と「パソコン」など、同じ意味の言葉で検索した場合に同じ結果が得られるか。
- 「人気のレストラン」のような具体的ではない要望に対しても、意図を汲み取った適切な結果が返されるか。
- 「最新の映画」や「注目のアプリ」など、あいまいな質問に対して、ある程度妥当な結果（例：公開日が新しい順の映画リスト、レビュー評価の高いアプリリストなど）が返されるか。
- 「東京都内で、土日も開催している水彩画の講座」のように、複数の条件が組み合わさった質問に対して、正確な結果が表示されるか。
- ログインしていないユーザーに対しても、一般的な検索結果が適切に表示されるか（表示の条件にもよります）
- 同じ内容の情報が重複して表示されないか。
関連性の情報提供機能がある場合は、以下のようなテストも必要になりそう。
- 過去の検索履歴や閲覧履歴やに基づいて、ユーザーが関心を持ちそうな情報・関連性の高い情報・新しく追加された情報を優先的に表示できるか。
AIならではのテストでは、期待結果が1つとはならず結果が変化していくところが難しそう。そうなると、再テストも重要になると思いますが、適切な再テストとはどういったものなのか。
考えれば考えるほど「AIそのもののテスト」とごっちゃになってくる気がします。そうではなく「ユーザー体験の品質保証のテスト」をすると思えば多少落ち着きます。
AIが期待通りに”賢く”振舞えているか？のテストによって、信頼性の高いサービス提供ができるようになる。ということでしょうか。
色々わからないことだらけですが、いつかはやるテストだと思って先駆者の経験なども調べておくことが大事かなと思いました。
余談
アイキャッチは、ある日の三渓園。たくさんの鴨が池に浮いていました。
おしまい。ここまで読んでいただきありがとうございました。
