Hogyan lehet csökkenteni a látenciát az endoszkópos képalkotásban?

Bevezetés
Az endoszkópiában minden ezredmásodperc számít. Amikor egy sebész az orvosi endoszkóp kameramodulját kényes szöveten keresztül vezeti át, vagy egy felügyelő egy sugárhajtóműben lévő boreszkópot navigál, a hegy mozgatása és a kép képernyőn való látása közötti észrevehető késés zavart vagy hibát okozhat. Ez a késleltetés késleltetés . Ennek csökkentése elengedhetetlen a valós idejű vezérléshez és a szem-kéz koordinációhoz. Ez a cikk elmagyarázza, honnan származik a késleltetés az endoszkóp kameramodulban , és hogyan lehet azt minimalizálni.

Mi a látencia az endoszkópos képalkotásban?
A késleltetés a jelenetváltástól (pl. a kamera elmozdulásától) a képernyőn megjelenő változásig eltelt idő. A következőket tartalmazza:

• Érzékelő expozíció és kiolvasás

• Képjelfeldolgozás (ISP)

• Adatátvitel

• Kijelző renderelés

Egy tipikus nagy felbontású endoszkóp esetében a teljes késleltetés gyakran 30 ms és több mint 100 ms között van. 30 ms alatti idő jó valós idejű feladatokhoz; 50 ms felett észrevehetővé válik.

A késleltetés forrásai és javításuk

1. Válasszon egy gyors szenzorkiolvasást
Az érzékelő kameramodul az első szűk keresztmetszet. A redőnyérzékelők sorban olvassák be a sorokat – egy teljes 1080p képkocka 20–30 ms-ig is eltarthat. érdekében A késleltetés csökkentése :

• Használjon globális redőny CMOS kameramodult – az összes képpontot egyszerre rögzíti, a kiolvasás 5 ms alatt.

• Érdeklődési régió (ROI) engedélyezése – csak egy kis területet olvasson, ami jelentősen lerövidíti a kiolvasási időt.

• Válasszon egy érzékelőt gyors pixel órával és több sávval (pl. 4 sávos MIPI).

esetén Orvosi endoszkópos kameramodul a mozgó szövetek vizsgálatakor a globális redőny előnyösebb.

2. Az ISP Pipeline optimalizálása A
fedélzeti ISP (színkorrekció, zajcsökkentés, élesítés) késleltetést jelent. A vágáshoz:

• Kerülje ki a szükségtelen blokkokat – például hagyja ki az időbeli zajcsökkentést, ha a jelenet statikus.

• Használjon egyszerű ISP konfigurációt – csak demosaic és gamma.

• Helyezze át az internetszolgáltatót egy nagy teljesítményű gazdagépre – ha a gazdagépnek van tartalék CPU-ja, dolgozza fel ott a nyers adatokat.

Az esetében AI-kameramodul a nyers Bayer-adatokat közvetlenül az AI-gyorsítóhoz továbbítsa, teljesen megkerülve az internetszolgáltatót.

3. Használjon alacsony késleltetésű interfészt

• MIPI CSI-2 – A legjobb az alacsony késleltetéshez. Nincs protokoll overhead, közvetlenül a memóriába ír. Tipikus késleltetés <5 ms.

• USB (UVC) – Néhány milliszekundumot ad hozzá. Használja az USB 3.0-t (gyorsabb izokron), és csökkentse a puffermélységet.

• WiFi – Kerülje a valós idejű használatot; 20–100 ms-t ad hozzá.

esetén az USB 3.0 elfogadható. nagyfelbontású endoszkóp Laptophoz csatlakoztatott Beágyazott rendszerek esetén használja a MIPI-t.

4. Csökkentse a kijelző késleltetését
A monitor maga növeli a késést. Használat:

• Gaming típusú monitor 1-5 ms válaszidővel.

• Közvetlen HDMI/DisplayPort – kerülje az USB-HDMI adaptereket.

• Tiltsa le az utófeldolgozást a monitoron (mozgássimítás stb.).

5. Szoftverpufferelés egyszerűsítése
A gazdagép szoftverek gyakran több keretet pufferelnek. A késleltetés csökkentése:

• Kérjen egyetlen puffert (V4L2 Linuxon, MF_READWRITE Windowson).

• Használjon hardveresen gyorsított renderelést (OpenGL, DirectX) szoftveres renderelés helyett.

• esetén AI kameramodul futtassa az AI következtetést ugyanazon a GPU-n, amelyik a videót is megjeleníti – kerülje a képkockák másolását.

6. Hardveres gyorsítás használata mesterséges intelligencia esetén
Az ai kameramodul , amely kereteket küld a felhőbe, 100+ ms hálózati késleltetést ad hozzá. Használjon eszközön található mesterséges intelligenciagyorsítót (Google Coral, NVIDIA Jetson) a huzalsebességű feldolgozáshoz, tartsa a késleltetést 50 ms alatt.

7. Mérje meg a várakozási időt.
Használjon nagy sebességű kamerát az endoszkóp hegyének és a kijelzőnek a rögzítéséhez. Számolja meg a képkockákat egy fizikai mozgás (pl. egy villogó LED) és a képernyőn való megjelenés között. Célok:

• Orvosi endoszkóp kamera modul : <30 ms

• Ipari boroszkóp : <50 ms

• AI kameramodul érzékeléssel: <100 ms (beleértve a következtetést)

Esetpéldák

• Orvosi endoszkóp kameramodul – A laparoszkópgyártó 80 ms-ról 25 ms-ra csökkentette a késleltetést azáltal, hogy redőnyről (30 ms) globális redőnyre (5 ms) vált, és USB helyett MIPI-t használ.

• Nagyfelbontású endoszkóp – A boreszkópgyártó 70 ms-ról 40 ms-ra csökkentette a késleltetést azáltal, hogy letiltotta a fedélzeti zajcsökkentést (15 ms megtakarítás), és alacsony késleltetésű kijelzőt használt (15 ms megtakarítás).

• AI kameramodul – A valós idejű polipészlelő rendszer a távoli számítógépről a kamerán belüli mesterséges intelligenciagyorsítóra vitte a következtetést, így a végpontok közötti késleltetést 120 ms-ról 45 ms-ra csökkentette.

A Sincere alacsony késleltetésű endoszkópos kameramoduljai A Sincere-nél
tervezünk, endoszkópos kameramodulokat amelyeknél a késleltetés kulcsfontosságú paraméterként szerepel:

• Endoszkóp kamera modul – Globális redőnyérzékelők, MIPI interfész, egyedi ISP optimalizálás.

• Nagy felbontású endoszkóp – 1080p és 4K modulok gyors kiolvasással.

• Csökkentse a késleltetést – személyre szabott pufferbeállítások és bypass folyamatok.

• Ai kameramodul – A modulon belüli AI-gyorsítók 50 ms alatti következtetésekhez.

• Cmos kameramodul – Sony IMX érzékelők gyors kiolvasási módokkal.

• Orvosi endoszkóp kameramodul – Sterilizálható, alacsony késleltetésű műtétekhez.

• Érzékelő kamera modul – Egyedi érzékelőválasztás a várakozási idő költségvetésének megfelelően.

Összefoglalás
Az endoszkópos képalkotás késleltetésének csökkentése érdekében támadjon meg minden szakaszt: az érzékelő kiolvasását, az ISP-t, az interfészt, a kijelzőt és a szoftvert. Válasszon egy CMOS kameramodult globális zárral. Inkább a MIPI-t az USB helyett. Egyszerűsítse vagy tehermentesítse az internetszolgáltatót. Használjon alacsony késleltetésű monitort, és minimalizálja a szoftveres pufferelést. Az ai kameramodul esetében az eszközön belüli gyorsítás kiküszöböli a hálózati késleltetést. Akár van szüksége orvosi endoszkóp kameramodulra műtéthez, akár nagy felbontású endoszkópra az ellenőrzéshez, az alacsonyabb késleltetés növeli a biztonságot és a hatékonyságot.

Az alacsony késleltetésű megbeszéléséhez forduljon a Sincere-hez endoszkóp kameramodul követelményeinek .