久しぶりのオフラインQAイベント参加してきました

5/18に開催されたQAイベント「Ques」に参加してきました。久々のオフライン開催でした。
発表資料は下記に纏められています。

「AIシステム」を試験するというテーマでした。

筆者が過去経験したものだと、求人系のシステムで外部システムに情報を送るとおすすめの求人がレスポンスされるというものがありました（AI技術が使われていた気がする）
返却値の正の挙動がわからず困ったのを覚えています。

その時は、返却する値に関しては外部システム側が担保を取り、こちら側はレスポンスが返ってくることまでを確認範囲として作業を進めました（お客様合意済）

今後AIによる出力結果を評価してくれと言われたら、今回の発表がとても参考になると感じました。

二つ目の発表は、テスト業務の中でAIを活用するという方向の内容となります。特に今回はテスト設計に関しての活用でした。

展開された内容をそのまま引用しますが、「AIでテスト設計が半自動生成できるようになったとしても、基本的な知識がないとAI側の間違いに気づけずそのまま使ってしまうかもしれないので、しっかり自分でできる力は身に付けておいた方がいいと思う。」という結論がとても心に残りました。

発表の中でも、AIが提示したテスト設計は一見正しいように見えて、不備があったり改善点が合ったりといった内容で、とても納得感がありました。

発表の纏めとしてもAIを否定するのではなく、向き不向きを理解し上手に活用していこうと纏めだったのもよかったです。

この発表内容を社内に展開したところ、以下の意見が挙がったのでここでも記載します。

「AIシステム」を試験するというテーマについて
- AIを試験するにあたって、評価指標の作成や、テストデータの準備を用意が困難な見込み
- アキネーターがイメージしやすい。但しあれは最終的に答えにたどり着けなかったら回答を入力でき学習精度を上げられるが、AIシステムの本番運用だと難しい気がする
テスト業務の中でAIを活用するというテーマについて
- AIを業務に活用するにあたり、最初にAIにインプットする情報の整理が必要でその能力が求められそう
  ⇒そこまで整理出来たら、後続作業も自分たちでやったほうが早い？
- AIにパターンを多めに出力してもらって、そこから人間が間引く使い方はいいかもしれない
- AI生成物のチェックが必要ではあるため、ダブルチェックを行ってる人の業務は減らない見込み
- 作業量からの見積もり算出にAIは使えるかも