つ~じ~です、今年の夏はエルニーニョ現象で寒くなるやら暑くなるやら話題ですが、皆様いかがお過ごしでしょうか。気温や気圧の変化に負けないよう頑張って参りましょう。
今回はツール紹介、QAチームとして試験仕様書を作成する際とても面白いツールを使用する事と相成りましたので、その概要をご紹介したいと思います。
NotebookLMについて
NotebookLMとは、Google社が提供する『AIリサーチアシスタントツール』で、自身がアップロードした特定の資料(PDF、Googleドライブデータ、URLなど)だけを情報源にして資料の作成や内容の議論が行えるツールです。取り扱いはあくまでローカル上のクローズな環境の中でのみ使用しているため、情報が外に流れる事もありません。
デフォルト設定なら個人のGoogleアカウントメニューの中にそれはあります。

弊社ではこのツールを使って仕様書レビューや試験仕レビューを行う事に成功しました。そのやり方をご紹介します。
NotebookLMの使い方
1.GoogleアカウントメニューからNotebookLMを立ち上げる
2.新規作成を選択

3.ファイル選択ブラウザが立ち上がるので、既にアップロードするファイルが決まっている場合はここでアップロード。決まっていない場合は×ボタンでクローズ

アップロードする際のおすすめはGoogleドライブデータ参照機能。画面上でドライブを示すものを選択し、

Googleドライブ上にある任意のファイルのURLを貼り付けると、そのデータの中身を参照して読み取ってくれます。例えば仕様が書かれているスプレッドシートやドキュメントファイルなども参照可能です。多くの企業がGoogleドライブを活用なされてると思いますのでイチオシの機能です。
今回はサンプルとして以下のような簡易データを用意してみました。
(適当に作った)画像仕様書

(適当に作った)画面仕様書

(適当に作った)試験仕様書

※上記試験仕様書はこの後AIにレビューさせる為にわざと間違えまくったダメな試験仕様書を作ってます。決して普段からこんなテストやってるとかではないのでそこはお間違えなく!
これらをNotebookLMに読み込ませます。

これだけでもさっそく概要的なものを読み取ってくれます、さすがです。ではAI君に指示を出してみましょう。
AIく~ん!
「画像仕様書とサンプルPJ仕様書の情報を基に試験仕様書の内容をレビューして」~~~~!

回答全文がこちら↓
ご提示いただいた「サンプルPJ仕様書(仕様書)」「試験仕様書サンプル」「画像仕様書」の情報を基に、試験仕様書の内容をレビューしました。
仕様に対して、テスト手順・期待値の誤りや、テストケースの漏れがいくつか見受けられます。以下の点について修正・追記を行うことをお勧めします。
1. テスト手順・期待値の修正が必要な項目
① IDのメールアドレス形式のバリデーション(No.3)
- 現状: 操作手順が「”*@.**の形式”でログインボタンを押す」、確認内容が「バリデーションエラーが出る事」となっています。
- 指摘事項: この手順だと、正しいメールアドレス形式を入力した際にエラーになることを確認してしまいます。バリデーションエラーを確認するためには、「メールアドレス形式ではない文字列(例:
testやtest@など)」を入力してエラーが出ることを確認する手順に修正する必要があります。また、正常系として正しいメールアドレス形式でエラーが出ないことの確認も推奨します。
② IDの文字数制限のバリデーション(No.4)
- 現状: 操作手順が「”255文字”でログインボタンを押す」、確認内容が「バリデーションエラーが出る事」となっています。
- 指摘事項: 仕様書では「255文字まで」となっているため、255文字は正常値でありエラーにはならないはずです。境界値テストとしてエラーを確認するのであれば、Passwordのテスト(No.8)と同様に**「256文字」を入力した際にバリデーションエラーが出る事**を確認するよう修正してください。
2. 仕様に対して不足しているテスト観点(漏れ)
① Passwordのマスキング機能の確認
- 指摘事項: 仕様書にはPasswordのその他仕様として「入力した文字はマスキングする」と定義されていますが、試験仕様書にこの観点が含まれていません。Password入力時(No.5の正常パターンなど)の確認内容に、**「入力した文字がマスキング(●や*など)されて表示されること」**を追加してください。
② ログイン失敗時の認証エラー確認
- 指摘事項: ログインボタンの仕様として「IDとPasswordが正しかったらログインする」とあります。現状の試験仕様書(No.9)では「正しい情報でログインできること」の正常系のみが定義されています。「登録されていないIDを入力した場合」や「正しいIDだがパスワードが間違っている場合」に、ログインできず適切なエラーが表示されることを確認する異常系のテストケースを追加する必要があります。
③ サポート媒体(OS・ブラウザ)の網羅
- 指摘事項: 仕様書ではサポート媒体として「Windows、Mac」の「各OSの最新バージョン」が指定されています。しかし、試験仕様書のテスト結果記入欄は「Windows Chrome」のみとなっています。Mac環境(SafariやChromeなど)や、Windowsの他のブラウザ(Edgeなど)でのテスト実施が漏れないよう、環境ごとの列を追加するか、前提条件にテスト対象環境を明記することをお勧めします。
これらの点を反映することで、要件を満たしたより品質の高い試験仕様書になるかと思います。ぜひご確認ください。
AI君ありがとう!
かなり仕様に沿った的確なレビューが返ってきました、読み取り性能が素晴らしいです。
こうしたレビューを繰り返していくことで、より精錬された試験仕様書が出来上がっていくわけです。大助かりです。
いやいやちょっとまて!!
せっかくAIが書いてくれるってのにベースの試験仕様書は手書きかい?
もう全部AIにやらせてみたらいいんじゃないかい??
ふ~むなるほど、これからは何もかも自動化の時代か。いいでしょう!やってみましょう!
AIく~ん!!
「画像仕様書とサンプルPJ仕様書の情報を基に、必要な試験パターンをマークダウン作成して。マークダウン形式にはチェックボックスでチェックを付けられるようにして、最終的にはコピー&ペーストが可能なマークダウン形式で出力して」~~~~~~~~~!!!!

回答全文がこちら↓
画像仕様書とサンプルPJ仕様書の仕様、および前回のレビュー内容を反映した試験パターンのマークダウンを作成しました。
そのままコピー&ペーストしてご利用いただけるよう、コードブロックにまとめています。右上のコピーボタンからコピーしてご活用ください。
# ログイン画面 試験仕様書テストパターン
## 1. 画面表示(UI)の確認
- [ ] 画面上に「ID」入力フォームが表示されていること。
- [ ] 画面上に「Password」入力フォームが表示されていること。
- [ ] 画面上に「ログイン」ボタンが表示されていること。
## 2. ID入力フォームの確認
- [ ] 【正常系】任意の文字が入力可能であること。
- [ ] 【異常系】「未入力」の状態でログインボタンを押下した際、必須バリデーションエラーが出ること。
- [ ] 【正常系】「正しいメールアドレス形式(例: test@example.com)」を入力してエラーにならないこと。
- [ ] 【異常系】「不正なメールアドレス形式(例: test, test@ など)」を入力してログインボタンを押下した際、形式バリデーションエラーが出ること。
- [ ] 【正常系】「255文字(境界値)」のメールアドレス形式を入力してエラーにならないこと。
- [ ] 【異常系】「256文字(境界値)」を入力してログインボタンを押下した際、文字数超過バリデーションエラーが出ること。
## 3. Password入力フォームの確認
- [ ] 【正常系】任意の文字が入力可能であること。
- [ ] 【正常系】入力した文字が画面上でマスキング(●や*など)されて表示されること。
- [ ] 【異常系】「未入力」の状態でログインボタンを押下した際、必須バリデーションエラーが出ること。
- [ ] 【異常系】「7文字以下(境界値)」を入力してログインボタンを押下した際、文字数不足バリデーションエラーが出ること。
- [ ] 【正常系】「8文字(境界値)」を入力してエラーにならないこと。
- [ ] 【正常系】「255文字(境界値)」を入力してエラーにならないこと。
- [ ] 【異常系】「256文字(境界値)」を入力してログインボタンを押下した際、文字数超過バリデーションエラーが出ること。
## 4. ログイン処理・認証の確認
- [ ] 【正常系】登録済みの正しい「ID」と「Password」を入力してログインボタンを押下した際、正常にログインできること。
- [ ] 【異常系】登録されていない「ID」を入力してログインボタンを押下した際、ログインできず適切なエラーが表示されること。
- [ ] 【異常系】登録済みの「ID」に対し、誤った「Password」を入力してログインボタンを押下した際、ログインできず適切なエラーが表示されること。
## 5. サポート媒体(環境)での動作確認
- [ ] 上記の正常系・異常系テストが「Windowsの最新OS環境(対象ブラウザ)」で問題なく動作・表示されること。
- [ ] 上記の正常系・異常系テストが「Macの最新OS環境(対象ブラウザ)」で問題なく動作・表示されること。
上記はご提示いただいた仕様書、テスト仕様書のサンプル、および画像仕様書を基に網羅的に作成しております。案件ごとのブラウザ指定(Chrome, Edge, Safariなど)がある場合は、「5. サポート媒体での動作確認」に追記してご使用ください。
AIくんすごーーーい!!もう人間は要らないね!!人類ハ滅ビルベキddddddd(ry …という茶番はさておき、ご覧の通りテストケースを作ってもらう事も可能です。
ただしどちらが良いかについては、会社ごとかつプロジェクトごとに異なるかなと思います。
プロジェクトによっては「Excelに試験結果を書いて欲しい」「もっと複雑なテストパターンを試験仕様書に作って欲しい」など様々な都合がございます。実際弊社もパターンの複雑さ故にマークダウンの箇条書きでは限界があるのが現状です。頑張れば複雑なパターンの出力もできるかもしれませんが、その辺はもっぱら研究中でございます。
その他
上記のような用途の他にも「仕様書の内容に対し、【特定の要件】に関して不足している仕様はないか?」「仕様書の中に【特定の要件】を示す記述は存在するか?」など資料に対する質問も可能ですし、NotebookLM特有の機能としては以下のようなコマンドもあります。

今のところ弊社では使い道が無いため研究はできておりませんが、使いこなしたらさらに面白いものが作れるかもしれません。
補足
- アップロードは実データを上げているようなので、元データとアップしたデータは同期しておりません。つまり元データに更新が発生した場合は、一度アップロードしたデータを削除して再アップロードする必要がございます。
- AIの回答は一度に全部答えてくれるとは限りません、データ量が多過ぎる場合は数点の回答で終わってしまいます。なのでAIレビューを反映したら再アップロードして再レビューを促すのがおすすめです。本当に問題無い試験仕様書であれば「文句なしの完璧な試験仕様書です」といった回答が返ってきます。文句なしになるまでレビューを繰り返しましょう。
- 各所で言われていることですが、AIの回答は完璧ではございません。回答内容は必ず人間の目で確認して内容精査を行ってください。
今後確実に訪れるであろうAI時代、人の仕事は『実作業メイン』から『管理者メイン』になっていくだろうと思われます。要は電車の切符切りが自動改札の管理人になるようなものです。
正しく管理ができるようになるためにも、日々IT技術の情報を収集し研鑽を積んで参りましょう。今回はこれにて。





