De ce camerele AI schimbă modul în care sunt proiectate lentilele

Multă vreme, dezvoltarea camerei a urmat o logică destul de simplă:

Senzor mai bun → rezoluție mai mare → cameră mai bună.

Apoi AI a intrat în imagine.

Dintr-o dată, camera nu mai înregistra doar ceea ce s-a întâmplat.

Era de așteptat să înțeleagă.

O cameră de securitate ar putea avea nevoie să distingă o persoană de un vehicul. Un robot ar putea avea nevoie să recunoască un obstacol. O dronă ar putea avea nevoie să înțeleagă împrejurimile în timp ce se deplasează cu viteză mare.

Și acest lucru creează o problemă care nu primește suficientă atenție:

AI poate funcționa numai cu informațiile vizuale pe care i le oferă camera.

Un algoritm genial nu poate recupera detalii pe care sistemul optic nu le-a captat niciodată.

Acesta este motivul pentru care AI schimbă în liniște modul în care sunt proiectate obiectivele camerei.

AI nu face să dispară optica slabă

Este tentant să ne gândim că modelele AI din ce în ce mai puternice vor compensa camerele mediocre.

Uneori, fotografia computațională poate ajuta.

Reducerea zgomotului poate îmbunătăți o imagine.

Ascutirea poate face ca marginile sa para mai puternice.

Îmbunătățirea AI poate reconstrui detalii plauzibile vizual.

Dar există o diferență între a face o imagine să arate mai bine și a capta mai multe informații reale.

Dacă un obiect este neclar din cauza rezoluției optice slabe, software-ul nu poate recrea în mod fiabil detaliile fine originale.

Dacă o imagine de noapte nu conține aproape niciun semnal utilizabil, un algoritm nu poate inventa pur și simplu dovezi vizuale de încredere.

Acest lucru este deosebit de important pentru aplicațiile de securitate și industriale în care imaginea nu este vizualizată pentru divertisment.

Este folosit pentru a lua decizii.

Performanța la lumină scăzută devine o cerință AI

Una dintre cele mai mari provocări pentru camerele AI este lumina slabă.

Oamenii pot face adesea judecăți rezonabile în medii întunecate.

Sistemele de viziune computerizată sunt mai puțin îngăduitoare.

Pe măsură ce iluminarea scade, camerele se confruntă de obicei cu:

Zgomot crescut al senzorului

 Contrast mai mic

 Încețoșarea mișcării

 Pierderea informațiilor despre culoare

 Definirea marginilor reduse

Aceste probleme pot afecta direct detectarea și clasificarea AI.

Luați în considerare o persoană care se plimbă noaptea printr-o parcare.

Într-o scenă luminoasă, AI poate avea informații clare despre conturul persoanei, îmbrăcămintea, mișcarea și împrejurimile.

Într-o scenă slab iluminată, aceeași persoană poate deveni o siluetă zgomotoasă.

Algoritmul nu a devenit brusc prost.

Intrarea a devenit pur și simplu mult mai greu de interpretat.

Acesta este unul dintre motivele pentru care modelele optice cu deschidere mare și cu lumină scăzută devin din ce în ce mai relevante pentru sistemele de viziune AI.

Pixelii mai mici creează cerințe optice mai mari

Senzorii moderni continuă să crească densitatea pixelilor.

Acest lucru creează mai multe date de imagine, dar impune și cerințe mai mari asupra obiectivului.

Pixelii mai mici pot necesita ca sistemul optic să rezolve detalii spațiale mai fine.

Dacă obiectivul nu poate ține pasul, adăugarea de pixeli produce randamente descrescătoare.

Acest lucru este deosebit de important pentru camerele AI, deoarece sistemul poate depinde de caracteristici vizuale relativ mici.

Un om poate recunoaște un obiect din forma sa generală.

Un model AI se poate baza pe modele subtile, margini, texturi sau relații de culoare.

Prin urmare, obiectivul trebuie să ofere o imagine suficient de curată pentru ca aceste caracteristici să supraviețuiască întregii conducte de imagini.

Acesta este unul dintre motivele pentru care designul optic și selecția senzorilor trebuie să se realizeze din ce în ce mai mult împreună.

Lentilele cu unghi larg creează un compromis interesant cu AI

Camerele AI au adesea nevoie de un câmp vizual larg.

Roboții trebuie să înțeleagă mediul înconjurător.

Dronele au nevoie de conștientizare a situației.

Camerele de securitate trebuie să acopere suprafețe mari.

Așadar, de ce să nu lărgiți pur și simplu obiectivul?

Pentru că optica cu unghi larg introduce propriile provocări.

Pe măsură ce câmpul vizual crește, designerii trebuie să gestioneze:

 Distorsiuni

 Rezoluția marginilor

Iluminare relativă

Aberația cromatică

 Geometria imaginii

Un obiectiv foarte lat poate capta mai mult din mediul înconjurător, dar poate produce o calitate mai slabă a imaginii în apropierea marginilor.

Pentru vizionarea umană, asta poate fi acceptabil.

Pentru AI, poate deveni mai complicat.

Dacă obiectele din apropierea marginii imaginii sunt puternic distorsionate sau neclare, algoritmului i se cere să interpreteze informațiile vizuale care sunt deja degradate.

Acest lucru creează un compromis fundamental de design:

Mai mult câmp vizual față de mai multe detalii utilizabile.

Răspunsul corect depinde de aplicație.

Robotică: lentilele devin parte a sistemului de percepție

Creșterea IA întruchipată împinge această problemă și mai departe.

Un robot nu are luxul de a întreba:

„Poate cineva să aprindă, vă rog, luminile?”

Trebuie să funcționeze în mediul în care este dat.

Acel mediu poate conține:

 Umbre

Iluminare neuniformă

Suprafețe reflectorizante

 Spații înguste

 Mutarea oamenilor

Obiecte la diferite distanțe

Prin urmare, camera face parte din sistemul de percepție al robotului.

Pentru viziunea robotică, proiectarea lentilelor trebuie să ia în considerare:

 Câmp de vedere

 Distorsiuni

Performanță la lumină scăzută

 Rezoluție

Cerințe de percepție a profunzimii

 Dimensiunea și greutatea

Un obiectiv care produce o imagine frumoasă de laborator poate să nu fie neapărat obiectivul potrivit pentru un robot în mișcare.

Fiabilitatea în lumea reală contează mai mult decât un demo perfect.

UAV-urile și dronele au nevoie de un echilibru optic diferit

Dronele creează o altă provocare interesantă.

O cameră de dronă poate avea nevoie de:

Câmp vizual larg + greutate redusă + rezoluție bună + capacitate de lumină scăzută.

Este o combinație dificilă.

Un câmp vizual larg ajută drona să-și înțeleagă mediul.

Greutatea redusă ajută la eficiența zborului.

Rezoluția bună ajută la identificarea obiectelor.

Performanța la lumină scăzută devine importantă pentru zori, amurg, zbor în interior sau condiții meteorologice dificile.

Sistemele FPV adaugă o altă cerință:

Imaginea trebuie să pară imediată.

Încețoșarea în mișcare, expunerea slabă sau distorsiunea excesivă a imaginii pot afecta negativ percepția vizuală a pilotului.

Acesta este motivul pentru care proiectarea lentilelor dronei devine din ce în ce mai mult o problemă de optimizare, mai degrabă decât o simplă selecție a distanței focale.

Supravegherea AI trece de la detectare la înțelegere

Camerele de securitate oferă unul dintre cele mai clare exemple ale acestei tranziții.

Supravegherea tradițională a întrebat:

„S-a mișcat ceva?”

Supravegherea AI modernă întreabă:

 Cine s-a mutat?

Ce vehicul este acesta?

 În ce direcție se deplasează?

Ce obiect este transportat?

 Este comportamentul neobișnuit?

Ce s-a întâmplat înainte și după eveniment?

Cu cât analizele devin mai avansate, cu atât imaginea originală devine mai valoroasă.

Acesta este motivul pentru care imaginile pline de culoare în lumină scăzută atrage atenția.

Culoarea poate oferi informații utile pentru:

 Clasificarea vehiculelor

 Identificarea îmbrăcămintei

Recunoașterea obiectelor

 Înțelegerea scenei

Infraroșul rămâne extrem de util în medii foarte întunecate, dar atunci când este disponibilă lumina ambientală vizibilă, un sistem optic cu deschidere mare poate ajuta la păstrarea informațiilor care altfel ar dispărea atunci când o cameră trece la viziunea nocturnă monocromă.

Lentila devine o componentă de calitate a datelor

Aceasta este poate cea mai mare schimbare pe care AI o aduce ingineriei optice.

Din punct de vedere istoric, lentilele au fost adesea tratate ca componente imagistice.

Acum ar trebui să fie considerate din ce în ce mai mult componente ale calității datelor.

Camera captează date.

Lentila determină cât de multe informații optice utile ajung la senzor.

Senzorul transformă această informație în semnale electrice.

ISP-ul îl procesează.

Modelul AI îl interpretează.

Dacă prima etapă este slabă, fiecare etapă ulterioară trebuie să muncească mai mult.

Aceasta nu este întotdeauna o strategie bună.

De obicei, este mai bine să captezi informații mai bune la început decât să cheltuiești resurse de calcul enorme încercând să le reparăm ulterior.

Ce înseamnă acest lucru pentru proiectarea lentilelor?

Viitoarele obiective ale camerelor AI vor fi proiectate din ce în ce mai mult în funcție de cerințele aplicației, mai degrabă decât de specificații izolate.

Inginerii ar putea avea nevoie să ia în considerare:

Design optic specific senzorului

În loc să accepte pur și simplu un format de senzor, lentilele trebuie să se potrivească cu caracteristicile reale ale senzorului.

Performanță mai bună la lumină scăzută

Sistemele AI au nevoie de informații vizuale utilizabile chiar și atunci când iluminarea este limitată.

Performanță de margine mai consistentă

Sistemele cu unghi larg au nevoie de informații utilizabile în întreaga imagine, nu doar în centru.

Controlatdeformare

Unele aplicații pot tolera distorsiunile. Alții nu pot.

Stabilitate termică

Roboții, vehiculele, dronele și camerele exterioare pot funcționa în intervale mari de temperatură.

Optimizare specifică aplicației

Lentila de securitate ideală nu este neapărat lentila ideală pentru robotică.

Viitorul aparține sistemelor optice concepute în jurul jobului pe care trebuie să-l îndeplinească.

Ce învățăm la Optica Boshi

LaOptica Boshi, lucrăm în domeniul supravegherii de securitate, imagistică auto, imagistică medicală, dispozitive inteligente și alte aplicații optice. Această gamă de aplicații face un lucru deosebit de evident:

Nu există o definiție universală a „obiectivului bun”.

Un obiectiv cu unghi larg poate fi excelent pentru o cameră și complet nepotrivit pentru altul.

O lentilă de înaltă rezoluție poate fi inutilă pentru un sistem de monitorizare cu costuri reduse, dar esențială pentru viziunea artificială.

Un obiectiv cu deschidere mare poate fi critic pentru o aplicație de supraveghere nocturnă, dar mai puțin important într-un mediu industrial controlat.

Această abordare bazată pe aplicație este din ce în ce mai importantă pe măsură ce camerele devin parte a sistemelor AI.

Obiectivul ar trebui să fie proiectat în funcție de informațiile pe care AI trebuie să le primească, nu doar în funcție de specificațiile care arată impresionant pe o fișă de produs.

Viitorul: de la „a vedea clar” la „a vedea util”

AI schimbă scopul camerelor.

O cameră nu mai există doar pentru a produce o imagine atractivă.

Există pentru a oferi informații.

Asta schimbă prioritățile optice.

Întrebarea nu mai este doar:

„Cât de clar este acest obiectiv?”

Devine:

„Această lentilă oferă informații vizuale fiabile pentru sarcina reală a sistemului?”

Pentru securitate, asta poate însemna păstrarea aspectului unei persoane pe timp de noapte.

Pentru robotică, poate însemna menținerea recunoașterii obiectelor pe un câmp vizual larg.

Pentru drone, poate însemna echilibrarea percepției cu unghi larg cu performanța la lumină scăzută.

Pentru viziunea industrială, poate însemna rezolvarea consecventă a defectelor minuscule.

Revoluția AI poate fi condusă de algoritmi, dar algoritmii mai trebuie să se uite la ceva.

Și de aceea viitorul viziunii AI va fi modelat și de optică.