Poate software-ul să repare un obiectiv defectuos al camerei

Camerele moderne pot face lucruri impresionante.

Reducerea zgomotului poate face ca o imagine întunecată să pară mai curată. Algoritmii AI pot ascuți marginile. Software-ul poate corecta distorsiunile, ajusta culoarea și chiar poate genera detalii care lipsesc.

Deci, firesc, cineva în cele din urmă întreabă:

Dacă software-ul devine atât de bun, mai avem nevoie de un obiectiv scump pentru cameră?

Raspuns scurt:

Da. Foarte mult.

Software-ul poate îmbunătăți o imagine mediocră.

Nu poate transforma în mod fiabil informațiile optice proaste în informații optice bune.

Și această distincție contează mai mult ca niciodată, deoarece camerele sunt folosite pentru recunoașterea AI, robotică, supraveghere, imagistica auto și viziunea artificială.

Software-ul este foarte bun la curățarea mizeriei

Mai întâi să acordăm software-ului ceva credit.

Procesarea modernă a imaginilor poate face multe.

Dacă o imagine conține zgomot, algoritmii îl pot reduce.

Dacă distorsiunea lentilei este previzibilă, software-ul poate corecta geometria.

Dacă o imagine are un contrast ușor slab, clarificarea și îmbunătățirea contrastului local o pot face să arate mai bine.

Procesarea culorilor poate compensa, de asemenea, anumite caracteristici ale sistemului de imagine.

Acest lucru este incredibil de util.

De fapt, camerele moderne ar fi mult mai proaste fără imagistica computațională.

Dar există o limită importantă:

Software-ul poate procesa informații. Nu poate recupera perfect informații pe care sistemul optic nu le-a captat niciodată.

Aici intervine obiectivul.

Nu poți ascuți ceea ce nu a fost niciodată rezolvat

Imaginați-vă că fotografiați o plăcuță de înmatriculare de la distanță.

Senzorul are suficienți pixeli.

Aparatul foto este expus corespunzător.

Dar obiectivul nu poate rezolva clar caracterele mici.

Personajele ajung la senzor ca forme neclare.

Acum aplicați ascuțirea.

Marginile pot părea mai puternice.

Aplicați îmbunătățirea AI.

Rezultatul poate părea și mai convingător.

Dar există o problemă.

Detaliile fine originale nu au fost niciodată înregistrate corect.

Software-ul estimează cum ar fi putut arăta detaliul.

Pentru o fotografie ocazională, aceasta poate fi perfect acceptabilă.

Pentru aplicații precum recunoașterea plăcuțelor de înmatriculare, recunoașterea facială, inspecția industrială sau viziunea artificială, „pare plauzibil” și „conține informații de încredere” nu sunt neapărat același lucru.

Această diferență este importantă.

MTF este locul în care argumentul devine serios

Acesta este unul dintre motivele pentru care inginerii optici îi acordă atențieMTF (funcția de transfer de modulare).

MTF descrie cât de eficient un obiectiv păstrează contrastul la diferite niveluri de detaliu.

Un obiectiv cu performanțe slabe de înaltă frecvență poate avea dificultăți să reproducă structuri foarte fine.

Nici o cantitate de post-procesare nu poate face ca obiectivul să se comporte ca un sistem optic fundamental mai bun.

Software-ul poate crește claritatea aparentă.

Nu poate modifica capacitatea de rezoluție fizică a lentilei.

Acesta este motivul pentru care o cameră cu senzor de 8MP poate produce în continuare detalii dezamăgitoare dacă sistemul optic nu este capabil să profite de acești pixeli.

Puteți avea opt milioane de pixeli.

Nu puteți forța un obiectiv neclar să ofere opt milioane de detalii utile.

Dar îmbunătățirea imaginii AI?

Aici lucrurile devin deosebit de interesante.

Îmbunătățirea imaginii bazată pe inteligență artificială poate produce uneori rezultate remarcabil de convingătoare.

Dar există o distincție subtilă între:

recuperarea informatiilor

şi

generând un rezultat probabil.

AI poate deduce modele pe baza a ceea ce a învățat.

Acest lucru poate face ca o imagine să arate mult mai bine pentru un spectator uman.

Dar dacă camera este folosită pentru a lua o decizie obiectivă, inginerii trebuie să fie atenți.

De exemplu, dacă un sistem AI identifică un vehicul, citește text sau inspectează un defect de fabricație, este posibil ca detaliile generate artificial să nu reprezinte întotdeauna ceea ce a fost prezent de fapt în scenă.

Cu alte cuvinte:

O imagine frumoasă nu este automat o imagine de încredere.

Aceasta este o distincție care merită reținută atunci când proiectați sisteme de viziune AI.

Există câteva probleme pe care software-ul pur și simplu nu le poate anula

Luați în considerare câteva probleme optice comune.

Rezoluție slabă

Dacă obiectivul nu poate rezolva detaliile fine, software-ul are informații reale limitate cu care să lucreze.

Lumină insuficientă

O lentilă lentă într-un mediu întunecat poate forța senzorul să funcționeze la un câștig mare, producând zgomot și reducând detaliile utilizabile.

Software-ul poate reduce zgomotul, dar reducerea agresivă a zgomotului poate elimina și informațiile fine.

SeverăCromaticAberaţie

Software-ul poate corecta anumite margini de culoare previzibile, dar aberația optică severă înseamnă totuși că calitatea originală a imaginii a fost compromisă.

Performanță marginală slabă

Dacă colțurile unei imagini cu unghi larg sunt puternic neclare, clarificarea digitală le poate face să pară mai contrastante, fără a restabili detaliul lipsă.

Flare și Ghosting

Reflexiile puternice din interiorul sistemului optic pot contamina imaginea. Odată ce lumina nedorită sa amestecat în semnalul captat, software-ul are capacitatea foarte limitată de a o separa perfect.

Acesta este motivul pentru care designul optic încă contează.

Cea mai bună cameră utilizează atât optica, cât și software

Răspunsul real nu este:

Optică vs. software.

Este:

Optica + software.

O cameră bine proiectată oferă software-ului un bun punct de plecare.

Lentila oferă:

 Rezoluție suficientă

Transmisie adecvată a luminii

 Distorsiuni controlate

 contrast bun

Performanță stabilă la margine

Potrivirea adecvată a senzorului

Apoi, procesarea imaginii poate lua acea bază optică puternică și poate face imaginea finală și mai bună.

Acest lucru este mult mai eficient decât a cere software-ului să salveze un sistem optic fundamental slab.

Gândește-te la asta ca la gătit.

Software-ul este condimentul.

Un algoritm bun poate îmbunătăți o imagine bună.

Dar dacă ingredientele sunt deja arse, probabil că adăugarea mai multor condimente nu este soluția.

Acest lucru contează și mai mult pentru camerele AI

Pentru fotografia tradițională, o imagine ușor imperfectă poate fi pur și simplu neatractiv.

Pentru viziunea AI, consecințele pot fi mai grave.

Algoritmii AI depind de caracteristici vizuale, cum ar fi:

Marchii

 Forme

 Texturi

 Contrastul

 Culoare

 Limitele obiectelor

Dacă sistemul optic distruge aceste caracteristici înainte de a ajunge la senzor, sistemul AI primește o intrare mai slabă.

Acest lucru poate afecta performanța de detectare și recunoaștere.

Acesta este motivul pentru care designul optic ar trebui considerat din ce în ce mai mult parte a sistemului AI - nu doar o componentă atașată la partea frontală a unei camere.

Deci, poate software-ul să repare o lentilă proastă?

Depinde de ceea ce înțelegeți prin „remediere”.

Software-ul poate corecta anumite caracteristici optice previzibile.

Poate îmbunătăți contrastul.

Poate reduce zgomotul.

Poate clarifica imaginile.

Poate corecta distorsiunea.

Dar software-ul nu poate înlocui complet:

Rezoluție optică bună.

Transmitere bună a luminii.

Aliniere optică bună.

Bun control al aberațiilor.

Cel mai bun algoritm de procesare a imaginilor din lume mai are nevoie de fotoni pentru a lucra.

Și acei fotoni trebuie să călătorească mai întâi prin lentilă.

La Boshi Optics, abordăm dezvoltarea lentilelor camerei din acel punct de pornire: sistemul optic trebuie să ofere informații utile înainte ca software-ul să înceapă să le proceseze. Cu capabilități de proiectare optică, producție, asamblare și testare optică, Boshi Optics dezvoltă lentile pentru aplicații, inclusiv camere de securitate, viziune AI, imagistica auto, drone, imagistica medicală și alte sisteme de camere.

Pentru că în cele din urmă, software-ul poate îmbunătăți o imagine.

Dar obiectivul decide ce informații ajung acolo în primul rând.