映像と音声がズレる5つの原因
ワイヤレスデバイスで音楽鑑賞していたが、突然音量が大きくなり興冷めしたこと、あるいは音声が映像より早くても遅くてもどちらでもズレしまうといったような経験はありませんか。
映像と音声がズレる原因はさまざまですが、アリオンは長年の検証経験から可能な原因を以下にまとめました。
その1・映像ファイル
映像ファイル転換後に映像と音声のズレが生じた可能性があるため、まずは違う映像ファイルを再生して確認してみましょう。
その2・インターネット
ストリーミングなどインターネット上の動画を鑑賞する場合、インターネットの不安定や帯域幅不足により、映像と音声にズレが生じる可能性があります。
その3・メディアプレイヤー
セットトップボックスで動画を再生している場合、ほとんどがソフトウェア自体の欠点またはセットトップボックスとの互換性による問題です。これはパソコンにおいてもよく見られ、通常はデコードの問題により映像と音声にズレが生じています。この場合は、デコーダーまたはプレイヤーを変更すれば問題が解決されます。
その4・システムパフォーマンス
システム面においては、メモリ不足による映像と音声の遅延の可能性が高いですが、CPUやグラフィックカードのGPUのデコード性能低下の可能性もあります。これらの問題はハードウェアのアップグレードで解決されます。
その5・モニター自体の映像と音声のズレ
モニターは信号を受信した後、それぞれ音声と映像の信号処理を行います。その信号処理の遅延により映像と音声のズレが発生します。モニター自体による映像と音声のズレは最も見落としが多い原因となっています。
「音声と映像の不一致」はどのように定義されていますか？
本記事では、モニター自体に関する映像と音声のズレについて話します。
この問題点はあまり気付かれることが無く、一般の消費者もモニター自体によって映像と音声にズレが生じるとはあまり考えが及びません。だからこそ、一度でも問題が発生し、意識されてしまうと、その商品へ対する消費者の信頼感に影響が出るため、軽視すべきではありません。
映像と音声のズレの問題は、主に内部要因と外部要因に分けて考えられます。内部要因の同期エラーとは、映像の信号処理と音声の信号処理の遅延の違いによる映像と音声の不一致です。外部要因は、音速が光速よりはるかに遅いため、音源がマイクや人の耳から340ｍの距離が離れている場合、音声は映像(光)より約1秒遅れて到達します。つまり、映像と音声のズレは距離が離れるにつれてズレが大きくなります。
通常、映像と音声の不一致は、音声が映像より早ければ遅延の値は正の値、音声が映像より遅ければ遅延の値は負の値と定義されています(下図の通り)。
出典：Sync One2 ユーザーマニュアル
映像と音声を100％完全に一致さえることは実際のところ非常に困難です。入力の遅延、信号処理の遅延などにより、どうしても多少のズレが生じます。では、映像と音声の遅延はどのくらいのズレの範囲内であればいいのでしょうか？標準の規格はありませんが、いくつかの関連組織からは映像と音声のズレに関する推奨値が出されています。欧州放送連合(EBU，European Broadcasting Union)からは、参考値として映像と音声の時間のズレが-60ms～+40ms以内であることを推奨しています。また、高度テレビジョン・システムズ委員会(ATSC，Advanced Television System Committee)は、映像と音声の時間のズレが-45ms～+15ms以内であることを推奨しています。
では、一般のユーザーの視点に戻してみましょう。人は本当に上述の参考値から映像と音声のズレを感じ取ることができるのでしょうか？実は、一般人には60ms以下の遅延・ズレはほとんど感じられません。60ms以上から感じ取り始め、100ms以上のズレになってやっと明らかに映像と音声がズレている、一致していないと感じます。
モニターの映像と音声は本当にズレているの？
先に、モニターの映像と音声を100％完全に一致さえることは実際のところ非常に困難と述べましたが、では、市販のモニターの映像と音声は本当にズレているのでしょうか？どのくらいの遅延が生じているのか？映像と音声の遅延を測定するツールSync One2を測定機器として、モニターの遅延状態が推奨値以内に収まっているか確認します。
測定機器Sync One2の上部には穴が二つ付いていて、それぞれがマイクセンターと光センサーで、測定機器の左側にはAudio 3.5mmステレオミニジャックが付いています。マイクかオーディオケーブルを接続して音声収録を行い、光センサーにより光影の変化を検出することができます。Sync One2が提供しているテスト用の動画を用いて、映像と音声の遅延状況が計算され、最終的に中央のパネルに測定結果が表示されます。
出典：Sync One2 ビデオ・オーディオのジャック紹介
Sync One2のテストで使用する動画のファイル形式はmovです。このテスト動画では、画面が明滅を繰り返し、明るくなった時と暗くなった時に音声を発することで、Sync One2が光影と音声を受信し映像と音声の遅延状態を計算します(下図の通り)。
出典：Sync One2テスト用動画
続いて、Dell C2722DEを測定し、映像と音声の遅延状態を確認します。テストで使用する動画ファイルのフォーマットパラメータ設定は以下の表の通りです。
それぞれ異なる測定環境で計4組の測定を行います。各組30回のデータ測定を行い、その平均値(AVG)、最小値(MIN)、最大値(MAX)を確認します。測定結果の単位はミリ秒(ms)です。まずはDell C2722DEの以下の測定環境時の結果を見てみましょう。
上表の測定環境にてDell C2722DEの測定を実施します。HDMI、USB-C、USB-C to DPそれぞれ異なる測定インターフェースにおける測定結果を見ると、平均値と最小値では遅延がほとんどなく、かなり良いパフォーマンスが得られています。測定の過程で、いくつかの比較的高い数値が出ましたが、その最大値もそれぞれ-17、22、26msと、人間の感覚器官では感じ取れない程度の遅延となっています。
ユーザーによっては動画を鑑賞する距離が異なりますので、続いてユーザーがそれぞれ違う距離で動画を鑑賞する場合を想定して、異なる距離でのモニターのパフォーマンスを確認します。一般のユーザーでよく見られる鑑賞距離45cm～90cmで距離による影響を確認します。
測定の結果、平均値、最小値、最大値のいずれも良好なパフォーマンスが得られています。また、距離の違いによる数値の差もあまりありません。つまり一般のユーザーの鑑賞距離が離れすぎていない限り（例えば、極端に10ｍ以上距離が離れているなど）、距離の違いによって映像と音声のズレが明らかではありません。
次に、それぞれ違うモニターの映像と音声の遅延状況を比較します。モニターはAcer H277HU、Lenovo Thinkvision x1、ASUS PB287Qを選定、測定環境と測定結果は下表の通りです。測定結果から、Acer H277HUは映像と音声の一致性におけるパフォーマンスが比較的良いことが分かります。Lenovo Thinkvision x1とASUS PB287Qはこの測定環境において比較的高い映像と音声の遅延が見られ、一致性のパフォーマンスは若干劣っています。
Lenovo Thinkvision x1とASUS PB287Qの映像と音声の遅延が高い原因について追究した結果、この2台のモニターのHDMIはVer. 1.4であることが判明しました。Ver. 1.4のHDMIインターフェースが対応している最高解像度は3840×2160 @ 30Hzで、Acer H277HUのHDMIインターフェースが対応している最高解像度は2560×1440 @ 60Hzのため、解像度または更新率の関係により映像と音声にズレが生じている可能性があります。そのため、ASUS PB287Qの解像度を2560×1440 @ 60Hzに調整し、データに影響が出るか再測定してみたところ、映像と音声の遅延が大幅に低減し18、1、-16msにまで改善されました。もう1台のモニターLenovo Thinkvision x1は2560×1440 @ 60Hzに対応していないため、解像度を1920×1080 @ 30Hzと1920×1080 @ 60Hzに調整して測定した結果、下表の通り、1920×1080 @ 30Hzにおける映像と音声の遅延パフォーマンスは3840×2160 @ 30Hzの時とあまり変わりありませんが、1920×1080 @ 60Hzでは映像と音声の遅延が大幅に低減したことから、モニターの更新率が映像と音声の一致性に影響していることが分かります。
プロジェクタとワイヤレスディスプレイアダプターにおける映像と音声のズレ
上述で、モニターにおける映像と音声のズレに関してある程度の理解が得られましたが、プロジェクタの場合はではどうなのでしょうか？プロジェクタは一般家庭内ではアミューズメント目的で使用されるほか、広い会議室や会議ホール、展示会場、更には屋外で使用されることもあります。鑑賞の距離は遠くなり、接続するスピーカの遅延状況や設置位置も映像と音声のズレに影響する要因となります。
まずはプロジェクタの遅延状況を確認してみましょう。一般家庭のアミューズメント目的で使用する場合を想定し、プロジェクタとユーザーはスクリーン画面から約120cm距離が離れていて、スピーカはプロジェクタに内蔵されているスピーカを使用する場合の測定環境と測定結果は下図の通りです。
測定の結果、Dell P519HLプロジェクタはDell C2722DEモニターに比べると、HDMIインターフェース下で明らかな映像と音声のズレが見られます。平均値/最小値/最大値はそれぞれ78.75/ 52/ 93msとなっており、最小値でも60msに近い値が出ていて、平均値は60msを超え、最大値は93msに達しています。つまり一部の人は鑑賞時に映像と音声のズレを感じることを意味します。D-Subインターフェースにおいては、映像と音声のズレがHDMIに比べるとだいぶ良くなっていて、唯一最大値で60msを超えています。ただ、それでも一部の人は若干のズレを感じるかもしれません。
ワイヤレスディスプレイアダプターの測定ではミラーリング用のデバイスとしてGoogle Chromecast UltraとActiontec ScreenBeam 960にDell C2722DEモニターを組み合わせて測定を行いました。測定環境と測定結果は下図の通りです。
Google Chromecast UltraとActiontec ScreenBeam 960のワイヤレスミラーリング技術はそれぞれGoogle CastとMiracastです。それぞれのBroadcastとScreen mirroringの状態を測定しました。予想できていたことですが、インターネット遅延の影響もあり、全体的に遅延状態が高めであることが測定結果から分かります。また2台どちらのデバイスも投影方法がBroadcastの場合の映像と音声のズレはScreen mirroringの場合より良好で、Screen mirroringにおいては、最大値で-234と748msに及び、映像と音声のズレはかなりひどい状態にあります。
今ではセットトップボックスもワイヤレスミラーリングに対応しているものがあり、セットトップボックスMiBox SにDell C2722DEモニターを組み合わせてBroadcastとScreen mirroringの状態を測定しました。測定結果では、上記と同じく投影方法がBroadcastの場合の映像と音声のズレは比較的良好で、Screen mirroringに切り替えると、ひどい映像と音声のズレが発生します。最大値も741msと遅延が高く出ています。
モニターの映像と音声のズレを解決できるテストについて
映像と音声の一致性はユーザーのビデオ・オーディオアミューズメント体験や製品の品質に影響します。上述のテスト結果から、市販のモニターにも映像と音声のズレ問題があることが判明しました。特にズレが小さいモニターと比較すると明らかに違いが分かると思います。モニターからの鑑賞体験は消費者にとっては重要な指標の一つであり、問題を軽視することはできません。そこで、アリオンは映像と音声の一致性に対して、以下のテストプランを提供しています。
ゲーミングマウスは多くの機能が備わっており、上述で紹介した問題以外、他の問題も少なくありません。より良いユーザー体験を提供するため、ゲーミングマウスのパフォーマンステストは非常に重要になります。ゲーミングマウスの問題点に対して、アリオンは以下のテストを提案し、メーカの品質向上のサポートをします。
- AV Sync Latency Test
- Monitor Function
- Monitor Line out (Headphone/ Speaker)
- Monitor Webcam Test
- Stress test
- User Experience Test
上記のテストプラン以外にお客様の製品に対して専用のテストプランをカスタマイズし提案することも可能です。