WEBマガジン詳細

Webマガジン Vol.32- Apr., 2020

Column: TOF イメージセンサーについて

初めに

光の飛行時間(Time of Flight:TOF)から距離画像を取得するTOFイメージセンサー。
CCDの時代からある古い技術ですが、CMOSイメージセンサーに応用されてからは、高速化/高画素化が進み、性能が大幅に向上しています。
TOFセンサーは、光の反射時間という、ごく短い時間を扱います。短時間(つまり高周波)に変調したパルス光源を備え、その反射時間を正確に測る高周波回路を内蔵しています。
測定光のパルス幅が短いため、光量がもともと少ないのですが、対象物での反射と、飛程による減衰で、さらに目減りしてしまいます。センシングは非常に困難で、感度を高める独自の工夫が不可欠です。
時間精度と感度。この二つの困難を同時に克服し、TOFイメージセンサーは進歩を遂げてきました。

本稿では、TOFイメージセンサーの代表格であるダイレクト方式とインダイレクト方式のTOFセンサーについて、技術上の課題と解決法について、その概要を紹介します。

ダイレクトTOFイメージセンサー

ダイレクトTOFは、光の反射「時間」を直接計測します。
光の速度は、およそ3E8[m/s]。1[ps]の進行距離は0.3[mm]です。つまり、反射光の到達時間を[ps]オーダーで計測できれば、測定対象までの距離を(光は往復しますので距離としては半分の)0.15 [mm]の精度で測定できることになります。
電子回路でTOFを測定する技術にTime to Digital Converter(TDC)があります。回路内で大小のパルスを発生し、測定光の照射~反射の間に含まれるパルス数をカウントすることで、TOFを「パルス何個分」という形で、デジタルに表現します。

図1_TDC回路の波形例

図1 TDC回路の波形の例
(この図では、TOFは「Coarse2パルス+Fine1パルス」になります。)

ただ、動作が[ps]オーダー、つまり数百[GHz]のカウンタ回路となると、それなりの回路規模になってしまいます。それを全ての画素に備え、かつグローバルシャッターに同期して、一斉に動作させねばなりません。また、感度向上のための手段としては、反射パルスの一つ一つを確実に捕捉することが求められるため、センシング素子であるフォトダイオードの高感度化が必須です。市場では、例えばアバランシェ型フォトダイオードなどの導入事例が見られます。

TDCも、高感度フォトダイオードも、画素当たりの回路規模を増やす要因であり、高画素化は困難になります。また、特性の均一性や安定性の確保も難しいため、設計制約と製造コストの克服が課題です。

インダイレクトTOFイメージセンサーの原理

インダイレクトTOFは、計測した光の「量」から、間接的に時間を算出します。方法としては、大きく次の2種類があります。
まず、2-Phase法。これは、「露光量の比」から時間を算出します。

図2_2-Phase法の波形例

図2 2-Phase法の波形

タイミングを変えて2回撮影を行い、各々で補足された電荷量をQ1、Q2とします。パルス全体の光量はQ1+Q2で、距離に換算すると、光速c×パルス幅Lpwになります。例えば、上図のdに相当する距離は、単純にQ1とQ1+Q2の比から、以下で求まります。

位相差数式1
※分母の「2」は、光は往復しており、距離としては半分になるため。

放射パルスのタイミングは、イメージセンサーと同期しているため既知です。各フレームのタイミングも既知なので、上の式から、反射パルスのタイミングが特定できます。2-Phase法は、式が単純で計算がラクなのが利点ですが、2回の撮影の境界を、反射パルスに正確に当てる必要があり、パルス幅やタイミングを、測定環境に合わせて調整する必要があります。
また、実際にはQ1とQ2には暗電流や環境光が含まれており、これを補正するためのフレームの取得が別途必要です。都合、撮影は3回になります。

次に、4-Phase法。こちらは、「位相差」から距離を算出します。

図3_4-Phase法の波形例

図3 4-Phase法の波形

測光パルス周期の1/4ずつタイミングをずらしながら4回撮影し、その電荷量Q1~Q4から位相差を求めます。正弦波の位相差の公式を応用して、

位相差数式2
※測定光の周期 = 2×Lpwです。

こちらも、放射パルスのタイミングは既知で、各フレームの取得タイミングも既知ですので、同様に反射パルスのタイミングが特定できます。
式中で電荷量が全て差の形になっており、暗電流などのノイズ分は自動的にネグられるため、暗フレームの撮影は必要ありません。撮影のタイミング設定が2-Phase法ほどシビアではないこと、その割に測距の精度が良いことが特徴です。
何れも、各フレームで得られる電荷Qは、普通のイメージセンサーの「輝度」と同じです。画素の回路も同じものが使用でき、特別の工夫は必要ありません。輝度画面として得られた各フレームを、上の式に従って画像処理の要領でプロセッシングすることで、距離フレームを得ることができます。

インダイレクトTOFの高感度化

インダイレクトTOFは、センシング感度の向上を、素子の変更ではなく、動作上の工夫、具体的には、一種の多重露光を行うことで解決しています。例えば、まず、上の図3のフレーム1のタイミングで、パルスの照射と露光を繰り返し行います。グローバルシャッターによる画素内メモリノードへの電荷の取り込みも、露光動作の都度行います。これにより、電荷量Q1が、繰り返し蓄積されることになります。

図4_4-Phase法のフレーム1取得波形例

 

図4 4-Phase法のフレーム1取得波形例
「露光→取り込み」の動作を所定の回数繰り返した後、通常通り、フレーム読み出しを行います。以上で、フレーム1が取得されます。同様の動作を、フレーム2~4についても順次繰り返します。

図5_4-Phase法の全フレームの取得

 

図5 4-Phase法の全フレームの取得

インダイレクトTOFセンサーの特徴

インダイレクトTOF用のイメージセンサーの特徴としては、グローバルシャッターであること、多重露光シーケンスを備えていることは必須ですが、一番大切なのは、フレームの取得時間の制御性です。放射パルスに対して、フレームの取得タイミングを、いかに詳細かつ正確に制御できるかがキモになります。TOFに限らず、近年のCMOSイメージセンサーは、一般的に非常に高速になっていますが、インダイレクトTOFセンサーは、回路構成が通常のイメージセンサーとほとんど同じなので、この高速性を直接、タイミング制御性の向上に役立てることができます。

また、距離算出のプロセス自体は、「画像取得とその処理」つまり通常の撮像プロセスとほとんど同じなので、従来の撮像技術から多くを流用することで、TOFシステムを小型、安価に構成できます。さらに、データ密度が高いことも大きなメリットです。TOFイメージセンサーのデータ数は、例えば、メカニカルスキャン式のLiDARなどに比べて圧倒的に高密度です。さらに、インダイレクトTOFは、画素が通常のイメージセンサーと全く同じ構成なため、高画素化が容易です。高精細のカラー画像と同じドットに対して距離データも得られるので、AIプロセッシングなどへの親和性が高く、各種の計測や解析、判断などの精度向上に貢献できます。

☆Te2vのインダイレクトTOFセンサー BORA

Teledyneメーカーイメージ

  • グローバルシャッター、多重露光機能を備えたインダイレクトTOFイメージセンサー
  • 画素数は、TOFイメージセンサー最多の1.3Mピクセル
  • 撮像タイミングの詳細な設定が可能
  • 設定タイミングで自走するフリーランモード、外部トリガー同期のスレーブモードなど、各種のモードを装備

詳細はこちらをご参照ください。(メーカーサイト)
https://imaging.teledyne-e2v.com/products/standard-image-sensors/cmos-standard-image-sensors/bora/

※評価キットの用意がございます。デモや貸し出しなどは、ページ下部のWEBマガジンからのお問い合わせフォームより、お問い合わせください。

インダイレクトTOFセンサーの今後

インダイレクトTOFセンサーは、複数のフレームの取得と画処理を行うため、最終的な距離画像を得るまでに時間がかかります。そのため、被写体の動きが速く、各フレーム間でズレが生じた場合、通常の撮像と同じように、被写体ブレによる測距エラーが発生します。この課題には、画素のメモリノードのマルチ化が有効です。これまでの説明は、フォトダイオードの電荷を読み込むメモリノードが、各画素に一つの場合を想定していました。画素中にノードを複数に分割することにより、複数のフレームを同時に取得することが可能になります。フレーム間のタイムラグが無くなるため、被写体ブレが解消できます。

図6_マルチノードセンサーの画像取得波形イメージ

 

図6 マルチノードセンサーの画像取得波形イメージ

ただ、1画素当たりの回路規模が増えるため、画素の高密度化は困難になります。今後は、必要とされる画素密度や、被写体のスピードなどの要件から、メモリノード数や撮像モードの最適化を行うことになるものと思われます。
※Teledyne e2vのマルチノードTOFセンサーは、2020年中のリリースを予定しております。

ページトップへ戻る