実行計画におけるテストの信頼性

問題

デイリー ビルドをテストするため、およびテスト対象アプリケーションの品質を保証するために、継続的な統合環境において、テストは理想的には 1 日に少なくとも 1 度は実行されるべきです。テスト セットが AUT の品質を計測するためにどの程度信頼できるかを理解するために、時間の経過とともに結果がどのように変化しているかを観察することが時に必要になります。たとえば、頻繁にステータスが変更されるテスト がテスト セットに含まれている場合、品質を測る本来の尺度にはなりえません。

解決策

指定した実行計画のコンテキストにおいて指定したテストに対する結果を一覧するレポートを作成するために、RV_TestStatusExtended データマート ビューを使用します。これを利用して、時間の経過と共にテストの結果がどのように変化したかをを観察することができます。便宜上、タグが設定されたビルドに関連したものに結果のリストを限定することによって、テスト対象アプリケーションの特定のマイルストーン ビルドを観察します。このレポートは、実行計画とビルドのコンテキストにおけるテストに対するテスト結果データを収集します。クエリは次のようになります。

• このビューから表示したい列を選択します。
• 調査したいテストの ID とそのテストが属する実行計画の ID によって結果を絞り込みます。
• タグが設定されたビルドのみを調査するために定数を追加します。

SELECT TestName, ExecutionPlanName, VersionName, BuildName, TestRunID, 
  PassedCount, FailedCount, NotExecutedCount
FROM RV_TestStatusExtended
WHERE TestID = ${TESTID|1|Test ID} AND ExecutionPlanID = ${EXECUTIONPLANID|1|Execution Plan ID} AND BuildIsTagged = 1
ORDER BY BuildOrderNumber