Как уменьшить задержку при визуализации с помощью эндоскопа?

Введение
В эндоскопии важна каждая миллисекунда. Когда хирург проводит модуль камеры медицинского эндоскопа через деликатные ткани или инспектор управляет бороскопом внутри реактивного двигателя, заметная задержка между перемещением наконечника и просмотром изображения на экране может вызвать дезориентацию или ошибки. Эта задержка и есть латентность . Его уменьшение важно для управления в реальном времени и зрительно-моторной координации. В этой статье объясняется, откуда возникает задержка в модуле камеры эндоскопа и как ее минимизировать.

Что такое задержка в эндоскопической визуализации?
Задержка — это время от смены сцены (например, перемещения камеры) до появления этого изменения на дисплее. Он включает в себя:

• Экспозиция и показания датчика

• Обработка сигнала изображения (ISP)

• Передача данных

• Отображение рендеринга

Для типичного эндоскопа высокого разрешения общая задержка часто составляет от 30 мс до более 100 мс. Менее 30 мс подходит для задач реального времени; выше 50 мс становится заметным.

Источники задержки и способы их устранения

1. Выберите быстрое считывание данных с датчика.
Модуль сенсорной камеры является первым узким местом. Датчики рольставней считывают строки последовательно — полный кадр 1080p может занять 20–30 мс. Чтобы уменьшить задержку :

• Используйте с глобальным затвором модуль камеры CMOS — все пиксели захватываются одновременно, считывание менее 5 мс.

• Включить область интереса (ROI) — считывайте только небольшую область, что значительно сокращает время считывания.

• Выберите датчик с быстрой тактовой частотой пикселей и несколькими полосами (например, 4-полосный MIPI).

Для модуля камеры медицинского эндоскопа при осмотре движущихся тканей предпочтительнее использовать глобальный затвор.

2. Оптимизация конвейера ISP
Встроенный ISP (цветокоррекция, шумоподавление, повышение резкости) добавляет задержку. Чтобы разрезать его:

• Обходите ненужные блоки – например, пропустите временное шумоподавление, если сцена статична.

• Используйте простую конфигурацию ISP – только демозаика и гамма.

• Переместите интернет-провайдера на мощный хост — если на хосте есть свободный процессор, обрабатывайте необработанные данные там.

Для модуля камеры AI передайте необработанные данные Байера непосредственно в ускоритель AI, полностью минуя интернет-провайдера.

3. Используйте интерфейс с низкой задержкой

• MIPI CSI‑2 — лучше всего подходит для низкой задержки. Никаких издержек протокола, запись напрямую в память. Типичная задержка <5 мс.

• USB (UVC) – добавляет несколько миллисекунд. Используйте USB 3.0 (более быстрый изохронный режим) и уменьшите глубину буфера.

• Wi-Fi – избегайте использования в режиме реального времени; добавляет 20–100 мс.

Для эндоскопа высокого разрешения , подключенного к ноутбуку, допустим USB 3.0. Для встроенных систем используйте MIPI.

4. Уменьшите задержку отображения
Монитор сам по себе увеличивает задержку. Использовать:

• Монитор игрового типа со временем отклика 1–5 мс.

• Direct HDMI/DisplayPort — избегайте адаптеров USB-HDMI.

• Отключите постобработку на мониторе (сглаживание движения и т. д.).

5. Оптимизация буферизации программного обеспечения
Программное обеспечение хоста часто буферизует несколько кадров. Чтобы сократить задержку:

• Запросите один буфер (V4L2 в Linux, MF_READWRITE в Windows).

• Используйте аппаратный рендеринг (OpenGL, DirectX) вместо программного рендеринга.

• Для модуля камеры AI запустите вывод AI на том же графическом процессоре, который визуализирует видео, — избегайте копирования кадров.

6. Используйте аппаратное ускорение для ИИ.
, Модуль ИИ-камеры отправляющий кадры в облако, добавляет сетевую задержку более чем на 100 мс. Используйте встроенный в устройство ускоритель искусственного интеллекта (Google Coral, NVIDIA Jetson) для обработки данных на скорости проводной сети, сохраняя задержку менее 50 мс.

7. Измерьте задержку
Используйте высокоскоростную камеру для записи кончика эндоскопа и дисплея. Подсчитайте кадры между физическим движением (например, миганием светодиода) и его появлением на экране. Цели:

• Модуль камеры медицинского эндоскопа : <30 мс

• Промышленный бороскоп : <50 мс

• Модуль камеры AI с обнаружением: <100 мс (включая вывод)

Примеры случаев

• Модуль камеры медицинского эндоскопа . Производитель лапароскопов сократил задержку с 80 мс до 25 мс, переключившись со скользящего затвора (30 мс) на глобальный затвор (5 мс) и используя MIPI вместо USB.

• Эндоскоп высокого разрешения . Производитель бороскопа сократил задержку с 70 мс до 40 мс, отключив встроенное шумоподавление (экономия 15 мс) и используя дисплей с низкой задержкой (экономия 15 мс).

• Модуль камеры с искусственным интеллектом . Система обнаружения полипов в реальном времени перенесла выводы с удаленного ПК на ускоритель искусственного интеллекта на камере, сократив сквозную задержку со 120 мс до 45 мс.

Модули эндоскопических камер с малой задержкой от компании Secretre
В компании Sure мы разрабатываем продукты с модулями эндоскопических камер , ключевым параметром которых является задержка:

• Модуль камеры эндоскопа — датчики глобального затвора, интерфейс MIPI, настраиваемая оптимизация интернет-провайдера.

• Эндоскоп высокого разрешения – модули 1080p и 4K с быстрым считыванием.

• Уменьшите задержку — индивидуальные настройки буфера и обход конвейеров.

• Модуль камеры Ai — встроенные в модуль ускорители AI для вывода данных менее 50 мс.

• Модуль камеры Cmos – сенсоры Sony IMX с режимами быстрого считывания.

• Модуль камеры медицинского эндоскопа – стерилизуемый, с малой задержкой для хирургических операций.

• Модуль сенсорной камеры — выбор сенсора по индивидуальному заказу в соответствии с вашим бюджетом на задержку.

Резюме
Чтобы уменьшить задержку при визуализации эндоскопа, атакуйте каждый этап: считывание показаний датчика, интернет-провайдер, интерфейс, дисплей и программное обеспечение. Выберите модуль камеры cmos с глобальным затвором. Предпочитайте MIPI, а не USB. Оптимизируйте или разгрузите интернет-провайдера. Используйте монитор с низкой задержкой и минимизируйте программную буферизацию. Для модуля камеры AI ускорение на устройстве устраняет задержку в сети. Нужен ли вам модуль камеры медицинского эндоскопа для хирургических операций или эндоскоп высокого разрешения для осмотра, меньшая задержка повышает безопасность и эффективность.

Свяжитесь с искренним, чтобы обсудить требования с малой задержкой к модулю камеры эндоскопа .