Image Signal Processor (ISP), funzionamento e caratteristiche

Tutti i giorni usiamo tutti un file stanza su base giornaliera; Sia a dedicato o integrato webcam per tenere videoconferenze, una fotocamera reflex per scattare foto o la fotocamera integrata nello smartphone, questo elemento è diventato quasi indispensabile nella nostra vita. Ma ti sei mai fermato a pensare a come catturare ciò che vediamo nella vita reale in un'immagine digitale? Molto a che fare con il ISP, processore del segnale di immagine , ed è di questo che parleremo dopo.

Molti anni fa, chi aveva una webcam sul proprio PC era privilegiato, ma oggi è integrato in spazi piccoli come il bordo dello schermo di un laptop o di uno smartphone. Ciò è stato possibile perché l'ottica è stata notevolmente ridotta mentre la qualità delle immagini catturate è stata migliorata, e questo grazie a un piccolo processore chiamato ISP che tutte incorporano.

Processore del segnale di immagine

Qual è l'ISP (Image Signal Processor) delle telecamere

L'ISP è un piccolo processore integrato nella fotocamera (nel caso degli smartphone può essere integrato nel SoC), e per capire come funziona bisogna sapere che i pixel sono sensibili alla luce tra alcuni insiemi di lunghezze d'onda; essenzialmente, sono indipendenti dal colore. Il modo per ottenere un'immagine a colori è mettere un filtro sopra, di solito un filtro di colore con motivo bayer, e quindi interpolare il colore dei pixel adiacenti. Pertanto, il sensore CMOS della fotocamera non rileva il rosso, il verde e il blu per ogni pixel, ma piuttosto rileva un colore diverso per ciascuno di essi ed è il processore dell'ISP che indovina il colore a seconda di quello accanto.

ISP

Questa si chiama dimostrazione ed è il lavoro principale dell'ISP davanti alla telecamera. Inoltre, l'ISP si occupa di tutte le attività generali di una fotocamera come l'autofocus, l'esposizione o il bilanciamento del bianco, ad esempio. Recentemente è stata aggiunta la funzione di correzione delle imperfezioni dell'obiettivo come la vignettatura o l'ombreggiatura del colore impartita da un sistema di lenti imperfetto, insieme a cose come la ricombinazione HDR, la riduzione del rumore, i filtri, il rilevamento dei volti e la conversione tra spazi colore. .

Ovviamente tutta questa ultima parte fa si che nel caso in cui il produttore della telecamera lo voglia, può assegnare all'ISP tutte le funzioni di configurazione dell'immagine che poi utilizziamo nel software, sebbene abbiano anche la possibilità di rendere tutto o automaticoApple) o che le opzioni siano configurate dall'utente a proprio piacimento. Questo è ciò che consente, ad esempio, di sfocare lo sfondo nel tuo file Skype videoconferenze.

Opzioni ISP Skype

Perché questo processore è importante?

Poiché gli smartphone sono diventati il ​​principale dispositivo per catturare immagini e video nella vita quotidiana delle persone (e negli ultimi tempi anche le webcam, anche se si tratta di quelle integrate nei laptop) questa serie di funzioni che consideriamo basilari Poiché l'autofocus è diventato sempre più importante, i produttori hanno stato costretto a migliorare l'ISP e ad aumentare il numero di compiti che è in grado di svolgere.

In questo momento, l'esperienza utente e l'interfaccia della fotocamera stanno cambiando rapidamente di generazione in generazione e vengono integrate funzioni sempre più serie nel senso che richiedono un maggiore utilizzo delle risorse (come l'esempio di sfocatura dello sfondo di Skype che abbiamo messo prima), così come il controller di un file SSD, l'ISP di una telecamera giocherà un ruolo sempre più importante al di là di ciò di cui sono capaci le ottiche o dei Megapixel che hanno la fotocamera.

Per i video dobbiamo aggiungere anche un altro fattore a questa equazione, l'encoder. Il modo in cui funziona è molto simile, sebbene l'ISP normalmente lavorerà con sottocampioni del sensore CMOS della fotocamera a seconda delle capacità del sensore. L'encoder prende queste immagini e le comprime in un formato e bit rate a scelta dell'OEM o dell'utente (fondamentalmente questo è attualmente H.264), e sebbene non tutti gli encoder siano uguali, dovrebbero funzionare insieme all'ISP per poter registrare video.

Allo stesso modo, il video viene registrato a una risoluzione più alta e con effetti aggiunti in tempo reale, e questo è qualcosa che crea un carico sul processore della fotocamera di cui non tutti sono capaci. In breve, con l'avanzare della tecnologia, vengono aggiunte più funzioni alle telecamere e il loro processore viene sovraccaricato, quindi è importante che il loro sviluppo continui ad andare in base all'evoluzione del settore, altrimenti rimarremo bloccati dove siamo.