Allion Labs/Franck Chen
現在のスマートTVは多機能で開発が複雑化しており、ウォーターフォール式の品質確認プロセスだけに頼っていると、前半部分で起こった遅延がテストスケジュールや内容に影響しやすく、製品の重大な欠陥を発見できません。または発見が遅れて修正できなくなる可能性もあり、製品のリリースが遅れ、顧客からのクレームが絶えないというジレンマが生じてしまいます。
アリオンは、アジャイル(Agile)イテレーション(Iteration)のコンセプトを使い、探索的テスト戦略に合わせ、テレビ製品の発売前、発売中さらには発売後においても、カスタマイズされた弱点分析と戦略計画を実行し、お客様が市場におけるリスクを解決するのをサポートします。また、アリオンは、テスト実施期間中に製品開発チームと緊密に連携し、リアルタイムで提案を行います。これにより、その後の製品開発およびテストスケジュールに柔軟性と調整の余裕が生まれます。
図1：ウォーターフォール式とアジャイルテスト構造のプロセス比較
では、探索的テストとは何でしょうか？また、半分の労力で2倍の製品テスト結果を出せるように、効率的なテスト戦略を構築するにはどうすればよいでしょうか？この記事で一つ一つ説明します。
「探索」で問題の所在を突き止め 「テスト」で重要課題を分析
Netflixで人気のレーシング番組「Formula 1:栄光のグランプリ」をご覧になったことがある方なら、F1トップチームのチーム戦略と専門的な分業に感銘を受けたことと思います。例えば、メカエンジニアの性能調整、戦略チームのシミュレーション、ドライバーのフィードバック、電光石火のピットストップとタイヤ交換など、レース中盤で突然「雨での戦い」に遭遇しても、常にチームワークと対応力が試されています。
探索的テストの概念は、練度の高いF1プロチームのようなもので、戦略チームがレース前に現状を調査して最適な戦略を策定し、レース中は経験豊富なドライバーが実際の状況に応じて臨機応変に戦術を実行し、レース後に試合の結果をまとめて分析し、次のレースへの学びと参考として、シーズン中このサイクルが何度も続けられます。その中でも戦略は、厳格なステップやアクションではなく、一事が万事としてフレキシブルに策定及び実行されています。したがって、効率のよい探索的テストは、アナリストとテスト担当者の実務経験に焦点を当てています。正しい方向性を策定して、豊富なテスト経験に合致させなければ、重要な問題を効率的に探索して見つけることができません。探索的テストの基本的な概念を理解したら、探索的テストの利点と適用タイミングをさらに比較してみましょう。
基本テストだけでは足りない？探索的テストを加えて、潜在的な製品の問題をより深く掘り下げる
同じ「シーン構造」と「テスト時間」の基準を想定すると、以下のノードテストシミュレーションの比較から、以前の基本テストに比べ、探索的テストは、現段階で製品に見つかった問題とテスト担当者の経験に基づいて、「リスクの高い方向」の重要な問題をより詳細に探索し、隠れている深刻な問題を掘り下げることが可能なことがわかります。
図2：探索的テストと基本テストのシミュレーション比較表
この比較表からわかる通り、探索的テストは一般的な基本テストに取って代わるものではないため、製品のテスト段階で相乗効果を最大化するために相互補完し、互いに一致させる必要があります。したがって、それぞれの段階における探索的テストの実行をお勧めします。
- 開発中の製品：基本テストの後、問題が発生しやすい部分に探索的テストを実行して、隠れた深刻な問題を特定します。
- 製品の新機能追加や重大な修正: 関連する機能に対して探索的テストを実行し、隠れた問題の有無を確認します。
- リリース済の製品: 顧客のクレームやユーザーのフィードバックに基づき、探索的テストを実行して品質を効果的に改善します。
アリオンが提供する探索的テストサービスの4ステップ：総合評価＋カスタマイズテストで製品の問題を洗い出す
アリオンのテスト専任チームは、テレビテストの分野での長年の経験により、第三者の視点と立場から、探索的テストサービスを提供します。
- Step 1 理解：基本テストの後、問題が発生しやすい部分に探索的テストを実行して、隠れた深刻な問題を特定します。テストを実行する前に、お客様とコミュニケーションを取って話し合い、製品仕様や、問題点に対するテスト実施リスト、ユーザーフィードバックなどの情報から、現時点で最も深刻な問題点を分析し理解します。
- Step 2 設計: そのデータを分析した後、主な試験対象、問題が発生したシーン、チェックポイントなどに対し、テスト戦略、範囲と目標を策定します。
- Step 3実行: 豊富なテスト経験を持つチームが、策定されたテスト戦略に従って探索的テストを実行します。
- Step 4分析: テスト結果に基づき、分析および提案レポートを提供します。
事例共有
■ テスト背景
あるお客様は、自社のテレビ製品に対し基本機能テストをすでに実施していましたが、製品リリース後に顧客からクレームが殺到し、その中にはリリース前に発見されなかった問題が多くありました。そこで、品質欠陥の主な原因を突き止めたいと考え、本製品のカスタマイズ検査をアリオンに依頼されました。
■ テストプラン
ユーザーのクレームから初歩的に判断すると、製品のHDMI、Bluetooth、Wi-F等の機能に問題があると考えられます。アリオンのテスト専任チームは、お客様から提供された質問リストと市場ユーザーからのフィードバックに基づき、関連デバイス、ユーザーシーン、チェックポイントに関する探索的テストの戦略と方向性をそれぞれ策定しました。
■ 製品問題点（一部）
- Bluetoothイヤホンを接続してしばらく使用した後、音声が途切れたり、ノイズ発生や同期できない問題が起こる
- 設定の組み合わせによって、テレビのスピーカーとオーディオデバイスとの音声出力切り替えが不安定になり、互換性の問題が発生する
- Bluetoothオーディオデバイスを接続し、ストリーミングプラットフォームの切り替え、テレビのスイッチオン/オフなどの操作をすると、黒い画面になり、映像の重大な問題が発生する
- 接続状況によって、HDMI-CECのOne Touch PlayやPower on Device from TVが正常に機能しない
- 市販されているメインのHDMI-CEC機器と接続した時、異常を検知したり、全体的なデバイスリストに異常/同期できない現象が表示される
- ワイヤレスネットワーク接続をオン/オフした後、特定の条件下で接続異常/ステータス異常が表示される
- バックプレーンスロットの設計不良により、一部の外部プラグインデバイスをスムーズに挿入できない
■ テスト結果
アリオンは、わずか5営業日で1つのDUTから26の問題を発見し、問題の深刻度に応じて4つのグレードに分類しました (下の表を参照)。そのうち、CriticalとMediumを合わせると19もの問題があり、合計で全体の73%を占めています。すでに長期間市場に出回っている製品としては、品質がかなり不安定であると言えます。
探索的テストを実行した結果、問題タイプの分布として、当初テストのメインだったHDMI、Wi-Fi、Bluetoothの問題に加え、サウンド、UX/UI、画像（画質）など合計15の問題も検出し、問題全体の58%を占めました。そのうちサウンドと画像に5つのCriticalグレードの問題があり、この結果は、お客様の想定を超えるものでした。
図3：探索的テストを実施した結果 問題タイプの分布
構造設計の部分では、製品開発および設計計画時に、一部機能は他の外部プラグインデバイスと合わせて使用する必要がある (下図のように)ことを想定していなかったため、スムーズに使用できませんでした。ユーザーエクスペリエンスに影響を与えるだけでなく、長期間使用すると、最悪の場合、製品の一部の機能が損なわれることさえあります。この問題はCriticalグレードに分類されませんが、ユーザーエクスペリエンスの観点から重大な問題でもあります。
図4：構造設計例の比較
(左)スロットの設計が悪く、TVスティックを強く差し込むとHDMIスロットが破損してしまう
(右)スロットに十分な余裕があり、TVスティックを簡単に挿入できる
■ 提案とガイドラインの事例
1. 互換性の提案
単純にサウンドバー/AVR/ヘッドフォンを使用するだけでこうした多くの問題があり、市場でかなりの数の互換性の問題が発生していた恐れがあります。製品の互換性を確保するために、HDMIやBluetoothオーディオまたはヘッドフォンデバイス (少なくとも150セット以上) の大規模な互換性テストを実行することをお勧めします。
2. 製品機能の基本面からの提案
お客様は製品リリース前にすでにテストを行っていましたが、多くのHDMI基本プロトコル機能に問題があることがわかりました。問題の根本を突き止めるために、HDMIロゴ認証テストの方向性をさらに調査することをお勧めします。
3. 構造設計とユーザーインターフェイスの提案
一部の構造設計において、周辺製品の互換性を考慮しておらず、ユーザーインターフェースが統合および最適化されていません。市場シェアの高い周辺機器及び競争力のある主要テレビ製品に対し、関連するテストと設計の改善を実施して、市場競争力を総合的に高めることをお勧めします。
まとめ
以上の事例から、商品発売後に顧客からのクレームが殺到して、会社の信用に影響してしまうことを避けるには、製品開発段階で「探索的テスト」を実施して、製品の潜在的な問題と設計上の欠陥をできるだけ早く特定することをお勧めします。これにより、、製品が発売される前にタイムリーに問題を解決して、顧客からクレームが発生する可能性を減らすことに繋がります。
アリオンはテストと検証において30年以上の経験を持ち、お客様のさまざまな製品問題の解決をサポートするため、研究と開発の革新的なテストサービスに長年取り組んできました。詳細な情報や関連する製品検証が必要な場合は、オンラインフォームからお気軽にお問い合わせください。