Görüntü Sinyal İşlemcisi ISP

Akıllı telefon kamera deneyiminin önemli bir parçası da Görüntü Sinyal İşlemcisi (ISP)’dir; bu, akıllı telefonun yonga seti/CPU’sundaki silikonun bir parçasıdır.Telefonun yazılımı ve işletim sistemiyle birlikte, hem görüntü yakalama sırasında hem de yakalanan görüntülere ek geliştirmeler ve özel efektler sağlar. Bunlar arasında yüz algılama, filtreler, panoramik sahne yakalama ve nesne tanımlama yer alır. Telefonun dahili GPS yonga seti varsa, görüntüler çekildiği yerin GPS koordinatlarıyla coğrafi olarak etiketlenir.

Görüntü işlemcisi , görüntü işleme motoru , görüntü işleme birimi ( IPU ) veya görüntü sinyal işlemcisi ( ISP ) olarak da bilinir ve dijital kameralarda veya diğer cihazlarda görüntü işleme için kullanılan bir tür medya işlemcisi veya özel dijital sinyal işlemcisidir (DSP).  Görüntü işlemcileri, hızı ve verimliliği artırmak için genellikle SIMD veya MIMD teknolojileriyle bile paralel hesaplama kullanır. Dijital görüntü işleme motoru çeşitli görevler gerçekleştirebilir. Gömülü cihazlarda sistem entegrasyonunu artırmak için genellikle çok çekirdekli işlemci mimarisine sahip bir çip üzerinde sistemdir .

Görüntü sensöründe kullanılan fotodiyotlar doğaları gereği renk körüdür: yalnızca gri tonlarını kaydedebilirler . Resme renk katmak için, Bayer filtresi tarafından belirlenen desene göre kırmızı, yeşil ve mavi ( RGB ) olmak üzere farklı renk filtreleriyle kaplanırlar.  Her fotodiyot , görüntünün tam olarak bir pikseli için renk bilgisini kaydettiği için, bir görüntü işlemcisi olmadan her kırmızı ve mavi pikselin yanında bir yeşil piksel olurdu.

Ancak bu süreç oldukça karmaşık olup birçok farklı işlemi içerir. Kalitesi büyük ölçüde sensörden gelen ham verilere uygulanan algoritmaların etkinliğine bağlıdır. Matematiksel olarak işlenmiş veriler, kaydedilen fotoğraf dosyası haline gelir.

Yukarıda belirtildiği gibi, görüntü işlemcisi belirli bir pikselin renk ve parlaklık verilerini değerlendirir, bunları komşu piksellerden gelen verilerle karşılaştırır ve ardından piksel için uygun bir renk ve parlaklık değeri üretmek üzere bir demosaicing algoritması kullanır. Görüntü işlemcisi ayrıca kontrastın doğru dağılımını tahmin etmek için tüm resmi de değerlendirir . Gama değerini ayarlayarak (bir görüntünün orta tonlarının kontrast aralığını yükselterek veya düşürerek), insan derisindeki veya gökyüzünün mavisindeki gibi ince ton geçişleri çok daha gerçekçi hale gelir.

Gürültü, herhangi bir elektronik devrede bulunan bir olgudur . Dijital fotoğrafçılıkta etkisi genellikle, aksi takdirde düzgün renkli bir alanda, açıkça yanlış renkteki rastgele noktalar olarak görünür. Gürültü, sıcaklık ve pozlama süreleriyle artar. Daha yüksek ISO ayarları seçildiğinde, görüntü sensöründeki elektronik sinyal yükseltilir, bu da aynı zamanda gürültü seviyesini artırarak daha düşük bir sinyal-gürültü oranına yol açar . Görüntü işlemcisi, gürültüyü görüntü bilgilerinden ayırmaya ve onu kaldırmaya çalışır. Bu oldukça zor olabilir, çünkü görüntü, gürültü olarak ele alınırsa bazı tanımlarını kaybedebilecek ince dokulara sahip alanlar içerebilir.

Her pikselin renk ve parlaklık değerleri enterpolasyon yoluyla belirlenirken, oluşan bulanıklığı gidermek için görüntü keskinleştirme işlemi uygulanır. Derinlik, netlik ve ince detayların izlenimini korumak için , görüntü işlemcisi kenarları ve konturları keskinleştirmelidir. Bu nedenle, kenarları doğru bir şekilde algılamalı ve bunları aşırı keskinleştirmeden, düzgün bir şekilde yeniden üretmelidir.

Görüntü işlemci kullanıcıları, endüstri standardı ürünler, uygulamaya özel standart ürünler (ASSP) veya hatta ticari isimlerle anılan uygulamaya özel entegre devreler (ASIC) kullanmaktadır: Canon’unki DIGIC, Nikon’unki Expeed, Olympus’unki TruePic, Panasonic’inki Venus Engine ve Sony’ninki Bionz. Bazılarının Fujitsu Milbeaut, Texas Instruments OMAP, Panasonic MN103, Zoran Coach, Altek Sunny veya Sanyo görüntü/video işlemcilerine dayalı olduğu bilinmektedir.