ハマログ

株式会社イーツー・インフォの社員ブログ

久しぶりのオフラインQAイベント参加してきました

5/18に開催されたQAイベント「Ques」に参加してきました。久々のオフライン開催でした。
発表資料は下記に纏められています。

AIシステム開発におけるQA/QA in AI System development

https://speakerdeck.com/mineo_matsuya/qa-in-ai-system-development

「AIシステム」を試験するというテーマでした。

筆者が過去経験したものだと、求人系のシステムで外部システムに情報を送るとおすすめの求人がレスポンスされるというものがありました(AI技術が使われていた気がする)
返却値の正の挙動がわからず困ったのを覚えています。

その時は、返却する値に関しては外部システム側が担保を取り、こちら側はレスポンスが返ってくることまでを確認範囲として作業を進めました(お客様合意済)

今後AIによる出力結果を評価してくれと言われたら、今回の発表がとても参考になると感じました。

AI(ChatGPT-4)によるテスト設計作成の現状を評価する #Ques20 / Ques20th

https://speakerdeck.com/nihonbuson/ques20th

二つ目の発表は、テスト業務の中でAIを活用するという方向の内容となります。特に今回はテスト設計に関しての活用でした。

展開された内容をそのまま引用しますが、「AIでテスト設計が半自動生成できるようになったとしても、基本的な知識がないとAI側の間違いに気づけずそのまま使ってしまうかもしれないので、しっかり自分でできる力は身に付けておいた方がいいと思う。」という結論がとても心に残りました。

発表の中でも、AIが提示したテスト設計は一見正しいように見えて、不備があったり改善点が合ったりといった内容で、とても納得感がありました。

発表の纏めとしてもAIを否定するのではなく、向き不向きを理解し上手に活用していこうと纏めだったのもよかったです。


この発表内容を社内に展開したところ、以下の意見が挙がったのでここでも記載します。

  • 「AIシステム」を試験するというテーマについて
    • AIを試験するにあたって、評価指標の作成や、テストデータの準備を用意が困難な見込み
    • アキネーターがイメージしやすい。但しあれは最終的に答えにたどり着けなかったら回答を入力でき学習精度を上げられるが、AIシステムの本番運用だと難しい気がする
  • テスト業務の中でAIを活用するというテーマについて
    • AIを業務に活用するにあたり、最初にAIにインプットする情報の整理が必要でその能力が求められそう
      ⇒そこまで整理出来たら、後続作業も自分たちでやったほうが早い?
    • AIにパターンを多めに出力してもらって、そこから人間が間引く使い方はいいかもしれない
    • AI生成物のチェックが必要ではあるため、ダブルチェックを行ってる人の業務は減らない見込み
    • 作業量からの見積もり算出にAIは使えるかも

AIと関わって仕事を進めるとなったときは発表の内容を思い出して進められたらと思います。
また今後もQAイベントは積極的に参加出来たらと思います。

QAイベントQAエンジニアQuesTesttestingテスト

  yasu   2023年5月29日


関連記事

貼りものの世界

こんにちは。 5回目の投稿になります koma です。 半導体を語ろうが折り返し…

半導体を語ろう~素人から見たAMD~

こんにちは。 3回目の投稿になります koma です。 前回、半導体メーカーのA…

Windows環境のPhpStorm+GitでCodeCommitからCloneする

ちょっとハマったのでメモCodeCommitにリポジトリを作りました。時代はHT…


← 前の投稿

次の投稿 →