はじめに 内視鏡検査
では、ミリ秒単位が重要です。外科医が 医療用内視鏡のカメラ モジュールを デリケートな組織に誘導するとき、または検査官がジェット エンジン内のボアスコープを操作するとき、先端を動かしてから画面上の画像を見るまでに顕著な遅れがあり、見当識障害やエラーが発生する可能性があります。その遅延が latencyです。これを減らすことは、リアルタイム制御と手と目の調整にとって不可欠です。この記事では、 内視鏡カメラ モジュールの遅延の原因 と、遅延を最小限に抑える方法について説明します。
内視鏡画像処理における遅延とは何ですか?
レイテンシは、シーンの変化 (カメラの移動など) からその変化がディスプレイに表示されるまでの時間です。これには次のものが含まれます。
センサーの露出と読み出し
画像信号処理（ISP）
データ送信
ディスプレイレンダリング
一般的な 高精細内視鏡の場合、総遅延は 30 ミリ秒から 100 ミリ秒を超えることがよくあります。リアルタイム タスクには 30 ミリ秒未満が適しています。 50msを超えると顕著になります。
レイテンシの原因とその修正方法
ステージ |
通常の時間 |
減らす方法 |
|---|---|---|
センサーの読み出し |
10～30ミリ秒 |
グローバル シャッター、高速読み出し、ROI の使用 |
ISP |
5～20ミリ秒 |
不要なフィルターをバイパスし、ホストにオフロードします |
伝染 ; 感染 |
5～15ミリ秒 |
USBの代わりにMIPIを使用し、バッファを最適化します。 |
画面 |
10～30ミリ秒 |
低遅延モニター、アダプターを回避 |
1. 高速センサー読み出しを選択する
センサー カメラ モジュール が最初のボトルネックです。ローリング シャッター センサーは行を順番に読み取ります。フル 1080p フレームには 20 ～ 30 ミリ秒かかる場合があります。には レイテンシを短縮する:
を使用します グローバル シャッター cmos カメラ モジュール 。すべてのピクセルが一度にキャプチャされ、5 ミリ秒未満で読み出されます。
関心領域 (ROI) を有効にする – 小さな領域のみを読み取り、読み出し時間を大幅に短縮します。
高速ピクセル クロックと複数のレーン (4 レーン MIPI など) を備えたセンサーを選択します。
の場合 医療用内視鏡カメラ モジュール、動いている組織を検査する場合にはグローバル シャッターが推奨されます。
2. ISP パイプラインの最適化
オンボード ISP (色補正、ノイズ低減、シャープ化) により遅延が追加されます。カットするには:
不要なブロックをバイパスします。たとえば、シーンが静的である場合は、一時的なノイズ低減をスキップします。
シンプルな ISP 構成を使用します (デモザイクとガンマのみ)。
ISP を強力なホストに移動します。ホストに予備の CPU がある場合は、そこで生データを処理します。
の場合 AI カメラ モジュール、生のベイヤー データを AI アクセラレータに直接供給し、ISP を完全にバイパスします。
3. 低遅延インターフェイスを使用する
MIPI CSI‑2 – 低遅延に最適です。プロトコルのオーバーヘッドはなく、メモリに直接書き込みます。通常の遅延は 5 ミリ秒未満です。
USB (UVC) – 数ミリ秒が追加されます。 USB 3.0 (高速アイソクロナス) を使用し、バッファ深さを減らします。
WiFi – リアルタイムでの使用は避けてください。 20 ～ 100 ミリ秒が追加されます。
の場合、USB 3.0 が使用できます。 高解像度内視鏡 ラップトップに接続された組み込みシステムの場合は、MIPI を使用します。
4. 表示遅延の削減
モニター自体により遅延が発生します。使用：
ゲーミング タイプのモニター。 1 ～ 5 ms の応答時間を持つ
直接 HDMI/DisplayPort – USB-to-HDMI アダプターを避けます。
モニター上の後処理 (モーション スムージングなど) を無効にします。
5. ソフトウェア バッファリングの合理化
ホスト ソフトウェアは多くの場合、複数のフレームをバッファリングします。レイテンシーを短縮するには:
単一のバッファー (Linux では V4L2、 MF_READWRITE ) を要求します。 Windows では
ソフトウェア レンダリングではなくハードウェア アクセラレーション レンダリング (OpenGL、DirectX) を使用します。
の場合 AI カメラ モジュール、ビデオをレンダリングするのと同じ GPU で AI 推論を実行します。フレームのコピーを避けます。
6. AI にハードウェア アクセラレーションを使用する
AI カメラ モジュール がフレームをクラウドに送信すると、100 ミリ秒以上のネットワーク遅延が追加されます。オンデバイス AI アクセラレータ (Google Coral、NVIDIA Jetson) を使用してワイヤ スピードで処理し、レイテンシを 50 ミリ秒未満に保ちます。
7. 遅延を測定する
高速カメラを使用して、内視鏡の先端とディスプレイの両方を記録します。物理的な動作 (LED の点滅など) とその動作が画面に表示されるまでのフレームをカウントします。対象:
医療用内視鏡カメラモジュール: <30 ms
工業用ボアスコープ: <50 ms
AI カメラ モジュール: <100 ミリ秒 (推論を含む) 検出付き
事例紹介
医療用内視鏡カメラ モジュール – ある腹腔鏡メーカーは、ローリング シャッター (30 ミリ秒) からグローバル シャッター (5 ミリ秒) に切り替え、USB の代わりに MIPI を使用することにより、遅延を 80 ミリ秒から 25 ミリ秒に短縮しました。
高精細内視鏡 – ボアスコープ メーカーは、オンボード ノイズ リダクションを無効にし (15 ミリ秒を節約)、低遅延ディスプレイを使用する (15 ミリ秒を節約) ことにより、遅延を 70 ミリ秒から 40 ミリ秒に短縮しました。
AI カメラ モジュール – リアルタイム ポリープ検出システムにより、推論がリモート PC からカメラ上の AI アクセラレータに移行され、エンドツーエンドの遅延が 120 ミリ秒から 45 ミリ秒に短縮されました。
シンシアの低遅延内視鏡カメラ モジュール シンシア
では、 内視鏡カメラ モジュール製品を設計しています。 遅延を重要なパラメータとして
内視鏡カメラ モジュール – グローバル シャッター センサー、MIPI インターフェイス、カスタム ISP 最適化。
高解像度内視鏡 – 高速読み出しを備えた 1080p および 4K モジュール。
レイテンシーの削減 – バッファー設定をカスタマイズし、パイプラインをバイパスします。
AI カメラ モジュール – 50 ミリ秒未満の推論を実現するオンモジュール AI アクセラレータ。
Cmos カメラ モジュール – 高速読み出しモードを備えた Sony IMX センサー。
医療用内視鏡カメラ モジュール – 滅菌可能、手術用の低遅延。
センサー カメラ モジュール – 遅延の予算に合わせてカスタム センサーを選択します。
まとめ 内
視鏡画像処理の遅延を短縮するには、センサーの読み出し、ISP、インターフェイス、ディスプレイ、ソフトウェアのすべての段階を攻撃します。を選択してください。 cmosカメラモジュール グローバルシャッターを備えたUSB よりも MIPI を優先します。 ISP を合理化またはオフロードします。低遅延モニターを使用し、ソフトウェアのバッファリングを最小限に抑えます。 の場合 AI カメラ モジュール、オンデバイス アクセラレーションによりネットワーク遅延が解消されます。が必要な場合でも、検査用の 医療用内視鏡カメラ モジュール 手術用の 高精細内視鏡が必要な場合でも 、待ち時間が短縮されることで安全性と効率が向上します。
低遅延の 内視鏡カメラ モジュールの 要件については、シンシアにお問い合わせください。
