我們常說,成像技術與摩爾定律是背道而馳的,即工藝越先進,圖像傳感器上的像素越小,并不意味著性能越好,有時甚至成像質量會變差。不過,有一點趨勢是肯定的,即智能手機這些年拍照,是越來越強的,像素也的確是越來越小。當然,手機攝像頭的圖像傳感器總面積這些年一直是在變大。 但如今的1億像素的手機,對比當年的1200萬像素和4100萬像素的較量,似乎全然不是一個量級,1億像素拍照的畫質體現也沒比4800萬像素的手機好到哪去。甚至還有堅持“祖傳”1200萬像素手機拍照能力“叫座”的“奇怪”現象...
進入信息化時代,自從夏普發布第一款帶攝像頭的功能手機開始,人們對手機的相機功能的追求一直未曾停止,以至于時至今日,各大主流廠商的新機發布會上,拍照畫質都會作為主講重點之一。
一般來說,提高拍照像素,是手機廠商提升照片畫質最常用、最直觀體現差距的方法之一。相比起軟件向的優化,通過直接升級相機傳感器,能給照片畫質帶來立竿見影的效果。
自從諾基亞2012年就在手機實現4100萬像素相機后,“千萬級像素”成為了宣傳手機拍照能力的關鍵詞之一,不過提升畫質一直靠“堆像素”真的可行嗎?
來自面包板社區的明星博主——歐陽洋蔥就這一角度,結合自身經驗發表了自己的看法。
我們常說,成像技術與摩爾定律是背道而馳的,即工藝越先進,圖像傳感器上的像素越小,并不意味著性能越好,有時甚至成像質量會變差。當然了,摩爾定律更具體的定義其實不是這么說的,但我們姑且就這么信了。
不過我們知道手機這些年的拍照是越來越強的,像素也的確是越來越小——之前探討1 億像素圖像傳感器的文章其實就提到過這個問題,這也是這些年手機圖像傳感器實質上的發展趨勢,甭管多少媒體喜歡大談單像素尺寸這件事,像三星如今的圖像傳感器像素尺寸做到了 0.7μm——雖然還沒有應用到 1 億像素的圖像傳感器上。
當然了,手機攝像頭的圖像傳感器總面積這些年一直是在變大的,起碼從 10 年前的對角線 1/3 英寸,變成了現在的 1/1.33 英寸——這個轉變其實還是巨大的。其實圖像傳感器變大,也就意味著拍攝一個相同的場景,光圈、快門、iso 參數相同時(或者說照片亮度一致),則實際的光通量是明顯更多的。從直覺上來看,拍照一定更好——畢竟吃了更多的光,光總量變大,也就意味著前端的散粒噪聲會更低。
但好像 1 億像素的手機,拍的照片其實也沒比 4800 萬像素的手機厲害到哪里去;跟當年的 1200 萬像素和 4100 萬像素的較量,似乎全然不是一個量級。或者說,如果我們拋開什么光學/混合變焦、超廣角這些多攝加成不說,當代手機的 28mm 主攝拍下的照片,其實也就那么回事:你說好能好到哪里去,壞又能壞到哪里去?
698 873 >
前一陣還有朋友說想買個拍照好的手機,問我應該買哪款。其實以手機“攝影”框定的范疇,即便華為、小米之類的廠商把手機拍照吹破天際,如果同樣是 0 塊錢的手機,它們的成像質量差異真的會大到哪里去嗎?所以我跟他說:你喜歡哪個,就買哪款吧,你又不搞什么嚴肅攝影,沒事難道還跟別人去拼一拼寬容度、邊角失色的問題不成?
畢竟這會兒早不是十多年前,手機拍照幾乎就只有蘋果一家能把自動白平衡做好;也不是十年前,諾基亞手機的解析力和信噪比可以把同時代競爭對手拋到天邊去。
dxomark 在 3 月份發布的一篇文章,我覺得特別能回答為什么 1 億像素手機拍照其實也不過爾爾。這篇文章中提到,智能手機 10 多年來,成像質量提升超過 4ev(stop);其中 1.3ev 是來自圖像傳感器/光學技術的提升;有 3ev 是來自圖像處理器(soc 的 isp、npu 之類),或者說智能手機的處理能力提升。
總體,智能手機拍照越來越好,是攝像頭光學系統(包含圖像傳感器技術提升),以及圖像數字信號處理能力的雙重提升。而后者占了大頭;前者有價值,但在手機這個門類的產品中,其提升相對緩慢——這其實也符合相機市場的發展,單畫質提升速度,完全不可能像半導體技術發展那樣瘋狂。
圖像傳感器(光學系統)的技術提升
dxomark 認為,近 10 年 aps-c 畫幅的圖像傳感器,以 dxomark 針對圖像傳感器的測試標準來看,其性能提升是 1.3ev。那么手機拍照 4ev+ 的程度是怎么做到的?
從光學系統來看,對于手機來說,bsi 背照式 cmos 圖像傳感器技術,算是一個偉大的發明(即便它也是相機->;手機攝像頭的技術下放,不過相機從 bsi 技術上的獲益遠少于手機),其實質就是把像素內部的色彩 filter 與感光層(光電二極管)之間的電路層,移到后方去。我們所知,bsi 解決的主要問題是串擾,而且還能提升光的利用率。
感覺背照式和堆棧式,已經是基礎教育級別的名詞了吧...
698 524 >
實際上 bsi 這個工藝改進本身不光是提升像素感光能力,也在于因為光電二極管離上層更近,則傳感器能夠從更多的方向獲取光子,它帶來的價值包括:
光圈因此可以做的更大(更偏角度的光);鏡頭也因此可以和傳感器靠得更近,也就可以用更大的傳感器;而且鏡片可以更“平”,在增加額外光學組成部分,以及更長的有效焦距時也更具彈性,也不會讓手機的攝像頭模組太厚。
這么看來,bsi 對于手機拍照的貢獻也算是延續至今啊,還影響到了光學系統設計。不過如 dxomark 所說,這么多年的發展,無論是像素阱結構調整,還是什么 ram 堆棧技術、cu-cu 互聯之類,cmos 制造工藝提升、圖像傳感器總尺寸越來越大,其貢獻限定在 1.3ev。
圖像處理器的技術提升
就圖像處理來看,下面這張圖,第一張是用無數年前的尼康 d70s 拍的 raw 照片,iso3200;第二、三、四、五張,分別針對這張原始照片應用了 dxo labs 的 optics pro 3/5/7/9 軟件做后處理(也就是不同時期的軟件后處理)。能夠看出隨著時代發展,不管是算力提升還是算法提升,都對原有相同光學硬件基礎的成像做了怎樣的提升,就表明圖像處理這些年還是十分重要。
400 1027 >
能夠直觀體現手機拍照提升的是下圖,在低照度(5 lux)下從 iphone 5s 開始,一直到 iphone 11 pro max 拍攝的不同照片。按照 dxo 所說,圖像處理器在其中提升比重占得明顯更大,包括現在引入多張堆棧、ai 之類亂七八糟的技術——這本身就需以圖像處理器算力提升為基礎。
698 194 >
我之前翻譯過好幾篇谷歌 ai blog 相關成像技術的文章,都是將機器學習應用到計算攝影的成果介紹,前一陣才發了一篇谷歌如何利用 dual pixel + dual camera + 機器學習實現背景虛化的文章,有興趣的同學可以去看一看。這些主要建立在圖像處理技術提升的基礎上;而且足夠谷歌在 computational photography 領域發一大堆的 paper。
谷歌在 computational photography 的成像技術介紹上最為透明,無論是 hdr+(高寬容度多張堆棧)、night sight(夜拍模式)、super res zoom(抖動實現的超分辨率數字變焦),還是把機器學習應用到夜間模式的自動白平衡之類,它們對于當代手機拍照畫質的提升顯得十分顯著。即便老一輩革命家們其實總是特別喜歡說,你這技術幾百年前相機就用上了,你這是技術下放。
其實無論包括蘋果、華為在內的廠商,在這些問題上的解決方案有多大差別,它們的核心都是圖像處理的提升,包括用于圖像處理的硬件算力提升,和軟件算法提升。它們如 dxomark 所說,貢獻了 3ev 的畫質提升。
698 451 >
1億像素的圖像傳感器,在 computational photography 面前,可能在實際產出的收益上,并不會顯得十分巨大——于是,我們才說,這更是一個比拼 post processing 的時代。要不然大家都拿一樣的一億像素圖像傳感器,還哪來差異化競爭?
畢竟現在不像過去那樣,諾基亞隨隨便便就去跟東芝訂個獨家的 1/1.2 英寸的圖像傳感器(808pureview),光學系統還有蔡司參與設計,就把別家手機拍照打到滿地找牙。那是十年前的傳奇了,圖像處理器算力也遠不如現在,那會兒都沒人聽說過 ai 拍照。如今的華為,即便有索尼的圖像傳感器獨家定制資源,它到底有多“獨家”都很值得打個問號,更別說,在圖像處理器上誰技高一籌的問題。
當然其實在光學系統方面的努力,也包括了多攝之類的。不過這些提升,尤其是多攝的圖像合成實現更好的畫質,本身和信號處理又是分不開的——所以算是兩者的相輔相成吧。
最后文章與文首呼應一下:既然手機拍照,圖像處理帶來的效益更大,那么其實手機拍照是否也可以很勉強地說,是符合了摩爾定律的發展規律的。畢竟要做圖像處理,靠的就是數字芯片的發展。那么其實現在手機拍照越來越好,顯然 7nm 的驍龍、麒麟之類的就十分有意義,重要性不亞于攝像頭本身...那還不是要跟摩爾定律掛鉤了嗎?
最后的最后,相機(單反/微單)領域,由于專業攝影職能和手機拍照的差別,其“計算”屬性顯得并沒有那么重要,畢竟攝影師有自己的創作意圖,而且還需要花大量時間去做人工的照片后期,自然不可能允許照片一拍下來就有濃重的飽和度和對比度。
來源:面包板博主
以上是網絡信息轉載,信息真實性自行斟酌。