兩年前,谷歌推出首款Pixel智能手機,提升了我們對手機所期望的圖像質量的標準。
於此同時,從iPhone 7開始,雙攝成為主流方案,通過硬件堆疊來獲取更好的成像效果。這種路子被華為發揚光大,在其最新發布的華為Mate 20上甚至塞進了三個攝像頭。
但谷歌依託自己AI算法的優勢,用單一攝像頭實現了非常好的成像效果和豐富的功能,給行業展示了一種全然不同的解決方案。
在國外權威媒體The Verge的評測中,相比只有單攝像頭的Pixel 3,3攝的Mate 20 Pro並沒有展現出明顯的優勢。
近日,谷歌的Pixel又推出了一個革命性的功能,這個被稱為“Night Sight”的功能,能讓手機在不需要要任何硬件輔助的情況下,達到夜視儀般的夜景拍攝能力。
在過去,夜景拍攝需要一個穩定架,它能保證相機能獲得比平常更多的曝光量,同時不讓照片糊成一片。
Night Sight不僅僅是手機的長時間曝光模式,谷歌通過將曝光分成連續拍攝的幀,然後使用算法將其重新組合成單個圖像。
Pixel 3系列
在拍攝之前,Google的Night Sight相機就會進行大量的多因素計算,使用公司所稱的運動測光。Pixel會考慮很多因素:它自己的運動,被攝物體在場景中的運動,以及可用於確定要拍攝多少次曝光,以及它們應該有多長時間的光量。
Night Sight照片最多需要6秒鐘,最多15幀才能拍攝一張圖像,如果手機完全靜止,谷歌每次曝光的限制為1秒,如果是手持拍攝則為三分之一秒。
這意味著,如果使用三腳架,Pixel可以6秒完成一次曝光,如果手持,最多可以進行15次更短的曝光,所有這些曝光都會合成一張照片。
下圖:夜視功能開啟
在夜景拍攝中,白平衡的修正是一個難點。為了判斷Night Sight中的白平衡,谷歌正在使用一種新的,更復雜的基於深度學習的算法。在訓練時,谷歌給AI提供了兩種圖片,一種是曝光不當的照片,一種是矯正了白平衡後的照片,然後去教導AI:後面的照片更好!
在技術層面上,該軟件正在研究每張照片的直方圖如何隨著不同的色調而變化(直方圖是照相中非常重要的一個參數圖表,可以直接指導攝影師調整曝光)。
Google稱這種方法為Fast Fourier Color Constancy(FFCC),並發表了一篇關於此主題的白皮書。以下是FFCC早期論文的引用,總結了核心技術:
“著色圖像僅通過對數色度空間中的平移來影響圖像的直方圖。這種觀察使我們的卷積方法能夠進行色彩校正,我們的算法學會在這個2D空間中定位直方圖。“
用更詩意的表述來說,機器學習的不僅僅是顏色,谷歌將其描述為“學習了圖片所固有的東西。”
谷歌對這種替代色彩校正方法的信心,不足pixel在相機裡默認開啟,但公司對於改功能在夜間的表現表示滿意,谷歌希望在明年把這個技術引入白天的拍照中。
下面來看幾個實例,你會注意到這張照片中的滑板,白平衡得到了修正,滑板失去了暗淡的黃綠色調,重新獲得了白色,桌子光滑的表面得以突顯,細節變得更清晰。
而在這張照片中, Night sight的照片不僅提升了整體照片的亮度,還大大減少了天空中的噪點,讓整個畫面的色彩更加透徹。
Pixel的前置自拍相機也加入了Night Sight,其效果比開啟閃光燈要更柔和,主體和背景的光分佈也更自然。
Google夜視的每個方面都是動態和自動的。如果手機檢測到場景足夠黑暗,它會顯示嘗試夜間模式的建議,你點擊它,然後這個模式就自動啟動了。
它的操作非常“傻瓜”,提供給用戶唯一可控的點就是對焦和通常的曝光滑塊,而相機會在後臺自動調整需要捕獲的幀數和快門速度。
但梧桐樹的照片,也展現了它的幾個限制之一:照片不再像是在晚上拍攝的,最終成片的效果和人眼當時看到的真實場景也有很大出入。
在還原真實場景和保留最多的圖像信息這兩者中,谷歌選擇了後者,畢竟這是一個可以選擇性開啟的功能。
另一個限制是,夜視更適合拍攝靜物。和長曝光不同,Night Sight依然能夠在照片中清晰地還原出移動相對較慢的物體。但如果一輛汽車駛過,那麼它八成會是模糊的,它也不能很好地處理取景框中的燈照。
夜視在非常黑暗的場景下能發揮它的最大作用,如果你在北京上海的夜晚散步,你會很快意識到路燈和店面可以讓大多數地方被照亮。但是進入一個沒有燈光的公園,一個煙霧繚繞的酒吧,或一個黑暗的房間,Night
sight就能展現出足夠驚人的效果。
Night Sight展現出的其實是一種趨勢,即用軟件算法來實現多張照片合成,以超越單張照片的效果。通過這種方式,手機的拍照可以彌補天生的硬件不足,在很多方面趕上甚至超越單反。
Pixel 3和iPhone XR也都能通過單一攝像頭,拍出非常逼真的大光圈虛化效果,並支持在後期進行背景虛化效果的調整,這是另單反等專業設備都嫉妒的黑科技。
算法的另一個特點就是各種濾鏡、光效、美顏,這些功能可以通過相機自身,或者APP來實現,這從很大程度上減少了專業單反修圖的過程,讓拍照更加趣味化和多元。
手機鏡頭的調教取向,也從模仿單發,儘可能還原本真的階段,慢慢變成了更加濃墨重彩的調教風格,讓照片的顏色更加鮮豔,更加討眼,而AI的加入,讓相機可以進行場景的識別,針對不同的場景進行不同的調節。
再加上手機快速的分享功能,大大放大了照片的媒體屬性,提高了照片附加值的同時,反過來也刺激了用戶本身對拍照這件事的喜愛。
以前,智能手機對傳統攝影器材的衝擊往往是媒體屬性和功能性(濾鏡等)上的優勢,而單反通過它更大的感光元件、更大的光圈、更好的快門控制等,牢牢佔據著畫質的領地。
不過,通過攝像頭數量的增加,參數的逐年提高,手機相機的成像素質越來越好;算法和軟件的不斷升級,AI的加持,則讓手機有了超越消費級相機的可能性。在手機相機硬件逐漸趨同化的當下,AI也成了做出差異化和競爭優勢的關鍵,從這個層面來說,谷歌依然是引領者。