Kuinka pienennät endoskooppikuvauksen latenssia?

Johdanto
Endoskopiassa jokainen millisekunti on tärkeä. Kun kirurgi ohjaa lääketieteellisen endoskoopin kameramoduulia herkän kudoksen läpi tai tarkastaja navigoi boreskooppia suihkumoottorin sisällä, huomattava viive kärjen siirtämisen ja kuvan näkemisen välillä voi aiheuttaa suunnanmuutosta tai virheitä. Tämä viive on latenssi . Sen vähentäminen on välttämätöntä reaaliaikaisen ohjauksen ja käden ja silmän koordinaation kannalta. Tässä artikkelissa kerrotaan, mistä latenssi tulee endoskooppikameramoduulin ja miten se minimoidaan.

Mikä on latenssi endoskooppikuvauksessa?
Latenssi on aika kohtauksen muutoksesta (esim. kamera liikkuu) siihen muutokseen, joka näkyy näytössä. Se sisältää:

• Anturin valotus ja lukema

• Kuvasignaalin käsittely (ISP)

• Tiedonsiirto

• Näytön renderöinti

Tyypillisessä teräväpiirto-endoskoopissa kokonaislatenssi vaihtelee usein 30 ms:sta yli 100 ms:iin. Alle 30 ms on hyvä reaaliaikaisiin tehtäviin; yli 50 ms tulee havaittavissa.

Viiveen lähteet ja niiden korjaaminen

Valitse nopea anturin luku
Anturikameramoduuli 1. on ensimmäinen pullonkaula. Rullakaihtimen anturit lukevat rivejä peräkkäin – täysi 1080p-kehys voi kestää 20–30 ms. vähentämiseksi Latenssin :

• Käytä globaalia suljin CMOS-kameramoduulia – kaikki pikselit tallennetaan kerralla, lukema alle 5 ms.

• Ota kiinnostava alue (ROI) käyttöön – lue vain pieni alue, mikä lyhentää lukuaikaa merkittävästi.

• Valitse anturi, jossa on nopea pikselikello ja useita kaistoja (esim. 4-kaistainen MIPI).

Lääketieteellisen endoskoopin kameramoduulissa globaali suljin on parempi, kun tarkastetaan liikkuvaa kudosta.

2. Optimoi ISP Pipeline
Sisäinen ISP (värinkorjaus, kohinanvaimennus, teroitus) lisää viivettä. Leikkaaminen:

• Ohita tarpeettomat lohkot – esim. ohita ajallinen kohinanvaimennus, jos kohtaus on staattinen.

• Käytä yksinkertaista Internet-palveluntarjoajan kokoonpanoa – vain demosaiikkia ja gammaa.

• Siirrä Internet-palveluntarjoaja tehokkaaseen isäntään – jos isännällä on ylimääräistä prosessoria, käsittele raakadataa siellä.

Jos kyseessä on AI-kameramoduuli , syötä Bayer-raakadata suoraan tekoälykiihdyttimeen ohittaen Internet-palveluntarjoajan kokonaan.

3. Käytä matalan latenssin käyttöliittymää

• MIPI CSI-2 – Paras alhaiselle latenssille. Ei protokollaa, kirjoittaa suoraan muistiin. Tyypillinen latenssi <5 ms.

• USB (UVC) – Lisää muutaman millisekunnin. Käytä USB 3.0:aa (nopeampi isokroninen) ja vähennä puskurin syvyyttä.

• WiFi – Vältä reaaliaikaista käyttöä; lisää 20-100 ms.

Kannettavaan teräväpiirtoiselle endoskoopille USB 3.0 on hyväksyttävä. tietokoneeseen liitetylle Käytä sulautetuissa järjestelmissä MIPI:tä.

4. Pienennä näytön viivettä
Itse näyttö lisää viivettä. Käyttää:

• Pelityyppinen näyttö, jonka vasteaika on 1–5 ms.

• Suora HDMI/DisplayPort – vältä USB-HDMI-sovittimia.

• Poista näytön jälkikäsittely käytöstä (liikkeen tasoitus jne.).

5. Virtaviivaista ohjelmistojen puskurointi
Isäntäohjelmisto puskuroi usein useita kehyksiä. Viiveen leikkaaminen:

• Pyydä yhtä puskuria (V4L2 Linuxissa, MF_READWRITE Windowsissa).

• Käytä laitteistokiihdytettyä renderöintiä (OpenGL, DirectX) ohjelmiston renderöinnissä.

• Jos käytät AI-kameramoduulia , suorita AI-johtopäätös samalla GPU:lla, joka tekee videon – vältä kehysten kopioimista.

6. Käytä laitteistokiihdytystä tekoälylle
, Ai-kameramoduuli joka lähettää kehyksiä pilveen, lisää yli 100 ms verkkoviivettä. Käytä laitteessa olevaa tekoälykiihdytintä (Google Coral, NVIDIA Jetson) prosessoimaan langan nopeudella pitäen latenssin alle 50 ms.

7. Mittaa latenssisi
Käytä nopeaa kameraa tallentaaksesi sekä endoskoopin kärjen että näytön. Laske kehyksiä fyysisen liikkeen (esim. vilkkuva LED) ja sen näytölle ilmestymisen välillä. Kohteet:

• Lääketieteellisen endoskoopin kameramoduuli : <30 ms

• Teollisuusboreskooppi : <50 ms

• AI-kameramoduuli tunnistimella: <100 ms (sisältää päättelyn)

Tapausesimerkkejä

• Lääketieteellisen endoskoopin kameramoduuli – Laparoskoopin valmistaja leikkasi latenssin 80 ms:sta 25 ms:iin vaihtamalla rullasulkimesta (30 ms) globaaliin sulkimen (5 ms) käyttöön ja käyttämällä MIPI:tä USB:n sijaan.

• Teräväpiirtoendoskooppi – Boreskoopin valmistaja vähensi viivettä 70 ms:sta 40 ms:iin poistamalla käytöstä sisäisen kohinanvaimennuksen (säästö 15 ms) ja käyttämällä matalan viiveen näyttöä (säästö 15 ms).

• Tekoälykameramoduuli – Reaaliaikainen polyyppien tunnistusjärjestelmä siirsi päätelmät etätietokoneesta kameran tekoälykiihdyttimeen, mikä pudotti päästä päähän -viiveen 120 ms:sta 45 ms:iin.

Sinceren matalan latenssin endoskooppikameramoduulit
Sincere suunnittelee endoskooppikameramoduulituotteita, joissa latenssi on avainparametri:

• Endoskooppikameramoduuli – Globaalit suljinanturit, MIPI-liitäntä, mukautettu ISP-optimointi.

• Teräväpiirtoendoskooppi – 1080p- ja 4K-moduulit nopealla lukemalla.

• Pienennä latenssia – Räätälöidyt puskuriasetukset ja ohitusputket.

• Ai-kameramoduuli – On-moduulin AI-kiihdyttimet alle 50 ms:n päättelyyn.

• Cmos-kameramoduuli – Sony IMX -anturit nopeilla lukutiloilla.

• Lääketieteellinen endoskooppikameramoduuli – Steriloitavissa, pieni latenssi leikkausta varten.

• Anturikameramoduuli – Mukautettu anturin valinta vastaamaan viivebudjettia.

Yhteenveto
Voit vähentää endoskooppikuvauksen latenssia hyökkäämällä jokaiseen vaiheeseen: anturin lukemiseen, Internet-palveluntarjoajaan, käyttöliittymään, näyttöön ja ohjelmistoon. Valitse CMOS-kameramoduuli, jossa on globaali suljin. MIPI on parempi kuin USB. Virtaviivaista tai poista Internet-palveluntarjoaja. Käytä matalan viiveen näyttöä ja minimoi ohjelmistojen puskurointi. laitteen Ai-kameramoduulissa kiihdytys eliminoi verkkoviiveen. Tarvitsetpa sitten lääketieteellisen endoskoopin kameramoduulin leikkausta varten tai teräväpiirtoendoskoopin tarkastusta varten, pienempi latenssi parantaa turvallisuutta ja tehokkuutta.

Ota yhteyttä Sincereen keskustellaksesi matalan latenssin endoskooppikameramoduulin vaatimuksista.