特朗普究竟用不用 iPhone 拍媒体照?

百家 作者:CSDN 2018-10-02 11:08:02

iPhone 手机的强大照相功能,已经使得所拍照片,可以作为海报来使用。那么,苹果新手机的相机,究竟有多优秀?美国政要是否也会使用苹果手机来拍照呢?本篇文章即将为你揭秘!



苹果最新图像系统,可媲美单反相机的质量


苹果最新的图像系统使用了硬件、软件、神经引擎和大量的计算,来产生媲美单反相机的质量。

在苹果公布了一系列新的iPhone产品和令人惊叹的摄影功能几分钟之后,我在Apple Park访客中心邂逅了明星摄影师Pete Souza

不知为何,Souza并没有被像我这样崇拜他的技术和才智的粉丝包围,要知道他可是拍下了里根和奥巴马两位总统的名人摄影师,他的才华从Instagram上可见一斑。于是我试着跟他打了招呼。

“您好,是Pete Souza吗?”当时Souza正在低头看他的iPhone,寻找在哪儿能打到Lyft。他抬起头来,在午后的阳光下眯着眼睛,说:“是我。”

后来Souza在电话中告诉我,苹果请他参加iPhone XS的发布会,但他并不知道苹果想让他干什么。他说,“管它呢,去了再说吧。”

在访客中心的门外,Souza和我开始比较苹果的新产品iPhone XS、XS Max和XR的新相机功能。

iPhone XS型号的双1200万摄像头的规格,与第一代iPhone X几乎没有变化:两个垂直排列的1200万像素摄像头,一个是f1.8广角,一个是f2.4双倍变焦,此外还有个700万像素的前置摄像头,是其TrueDepth模块和传感器技术的一部分。

但是,这几个摄像头的背后,是新的图像传感器、镜头,以及A12 Bionic芯片组带来的崭新的图像信号处理器。

像我一样,Souza对人像模式下能够在拍照之后,调整背景模糊效果的功能感到很惊讶,更神奇的是,不论前置还是后置双摄像头,都支持这一功能。他告诉我,消费者应该不会记住界面上显示的光圈数字。

后来,Souza在电话里说,“我觉得消费者在用这个功能时,完全不会理解它什么意思。”不过他也说,消费者能理解最终的效果,因为“往一个方向拖动,背景就会变得模糊,另一个方向会让背景变得清晰。”

“我喜欢团队做出的这个决定,它是对摄影艺术、及巧妙利用镜头特性的作品的尊重。”当我问起景深编辑器中的光圈数字时,苹果的全球市场高级副总裁Phil Schiller如是说。

Schiller和苹果相机硬件高级总监Graham Townsend、苹果软件副总裁Sebastien Marineau-Mes,在iPhone XS发布会当天下午坐在一起,揭秘苹果的iPhone技术中的一部分,即他们的摄影、视频捕捉硬件、软件的设计和开发。

消费者在手机上和照片编辑软件中,看到的光圈数字,并不仅仅是在模拟单反相机中的曝光控制。Schiller告诉我,Apple创建了一个精确的模型,来模拟真实的镜头和光圈数字的行为。

在真实的相机中,f数字越大,表示光圈越小,景深越长。换句话说,f1.4可以实现前景清晰、背景模糊的效果,相反,f16会让前景背景中的一切都很清晰。

在智能手机上,第一次实现这种摄影技术,是2016年发布的iPhone 7 Plus及其人像模式,它利用双摄像头系统拍摄的两张图像(及一些算法)来创造背景模糊的效果。

这项技术本身的目的,是让iPhone摄影的业余爱好者,将普通的照片变成专业级别的照片。但是,它只能实现双层景深,同期许多其他基于智能手机的人像模式照片都是如此。

前景对象所在的的照片聚焦,背景所在的照片模糊。三星第一个实现了可调整的模糊,可以在拍照过程、或后期处理中使用,但三星的Live Focus依然把图像当成两张来看。


像真正的镜头一样


使用新的iPhone XS和XS Max后,我们明白的一点是,景深滑块几乎在前景和背景之间,捕获了无限的平面,苹果称之为“镜头建模”。

“我们将镜头的模型转成数学模型,然后应用到图像上。”Mariuneau-Mes说,“之前从没有人这样做过,他们只是在模糊背景而已。”

而后期处理方面,不论你使用iPhone XS的前置700万像素单摄像头自拍,还是使用iPhone XS或XS Max的双摄像头拍人像,或者使用iPhone XR的后置1200万像素单摄像头,后期处理都能正常工作。

简单来说,苹果采用了三种截然不同的景深信息捕捉技术,来获得同样的景深编辑效果。

Townsend介绍说,他们使用了三种不同的信息来源:TrueDepth模块中基于点阵的深度传感器,XS和XS Max后置的双1200万像素摄像头的立体图像,以及XR上几乎完全由算法组成的解决方案。

最值得一提的,是苹果的景深编辑技术,它可以让你在不改变曝光量的前提下改变光圈。

在传统的单反摄影中,任何光圈大小,都必须匹配正确的快门速度。较小的光圈意味着曝光不足,而若使用较大的光圈,如果不相应地增加快门速度,就会让照片曝光过度。

但是,在iPhone XS中只需要前后调整景深,就能调整模糊程度,同时保持曝光量不变。这需要大量计算,但Marineau-Mes说一切计算都是实时进行的。


追求专业品质


Souza在华盛顿特区的自然历史博物馆测试iPhone XS时,这样描述景深编辑功能:“太棒了,太棒了。”

他在博物馆的真人大小的史前人类微缩景观上,测试了人像模式。即使是透过玻璃柜,其效果也非常赞。“能够改变光圈大小同时保持聚焦……我用的是舞台光(人像模式中的设置之一)来降低背景亮度,但人像的眼睛依然能保持锐利。”他说。

Souza还说,“我认为这可以媲美……我用的佳能85mm镜头,加上最大光圈,就那种效果。”

Souza作为一名苹果和iPhone爱好者,他不像那些经常换手机的人,这位63岁的摄影师,说他从没用过其他品牌的手机。

他说,在拍摄奥巴马时,会使用单反(他解释说“这些照片会成为国家历史档案”),但他总是会带着iPhone(从5到7),来拍摄休闲的照片。他还说,“我用iPhone拍了几百张雪景照片、玫瑰园照片,里面都没有人物。”

显然,专业摄影师能够理解智能手机摄影的限制。即使有了多摄像头、望远功能和后期处理,手机也很难取代,全幅35mm传感器和55mm或更大的镜头。

但这并不能阻止苹果尝试的脚步。苹果在多个方面,尝试将专业摄影的功能,交给几百万iPhone用户,并将图像捕捉(包括照片和视频),作为一个系统来解决。

“我们不是硬件公司,也不是软件公司。我们是系统公司。”Townsend说,并强调苹果能在大量消费级电子设备中,脱颖而出的关键在于,他们拥有整个技术栈的控制,能够完成软硬件方面,从设计到开发的几乎一切工作。

“我们能够设计一切,从光子第一次进入镜头开始,直到它成为捕获的文件中的一个点。只有苹果才能设计并组合一切。”Townsend说。

苹果这样做的部分原因是,图像这种复杂系统中,正常工作的组件,并不一定会一直正常工作。苹果喜欢从第三方定制部件,是出了名的,但他们想做更多。

为了创造双摄像头系统,苹果必须保证两个镜头,处于精确的位置和角度。

“我们的标准很严格。”Schiller笑着说。

如果某个合作伙伴,表示无法按照苹果的规格制造,苹果就会寻找相机制造专家来制造。苹果说,他们与制造商一起改进设备。

“我们的重要目标是第一台手机、第100万台手机和第1000万台手机的规格,在人类能做到的极限内尽可能接近,为此我们付出了巨大的努力。虽然我们并没有经常提到这一切……但是,世界上的任何两台手机之间,不会有大的差异,这一点对我们十分重要。”Townsend说。

在内部,苹果的硬件和软件团队经常一起开会,来定义他们要用新型A12 Bionic芯片(该芯片花了三年时间开发),和在iPhone XS等新硬件上开发的图像功能。

“架构上,开发HDR的决定,是在讨论芯片架构一开始就确定的。”Townsend说。

即使如此,不同的部件,也可能在不同的时间到达。因此,既有事先制定好的架构计划,也有随时的调整。

此外,苹果的HEIF格式,带来了更高的质量和更小的文件。如果A12的开发始于三年前,而当时有两三代iPhone相机系统正在开发,那么必须作出调整,让图像处理芯片(ISP)匹配最新的镜头和图像传感器。

幸运的是,Marineau-Mes说他的团队,仍然能对ISP(A12芯片的一部分)进行编程,以适应iPhone XS、XS Max和XR中的镜头和传感器。

当然这会有代价。“我们要在镜头中实现,才能得到更好的图像,但也同时要在ISP中实现。”Sebastian Marineau-Mes说。

这种跨部门的合作,在苹果图像处理皇冠上的第二颗明珠——Smart HDR的开发过程中极其重要。

传统HDR利用一对曝光时间不同的图像,来捕获照片的暗区和高光区。由于照片千差万别,即使是最好的HDR照片,一些细节(也可能是很多细节)也不得不丢弃。

否则最终合成的图像,会包含显著的噪声,特别是在运动摄影中。此外,HDR还会导致快门延迟,这意味着运动摄影几乎不可能使用。

在我对iPhone XS和XS Max的测试中,Smart HDR能在高难度的情况下,拍摄出高质量的图像,能碾压仅一岁的iPhone X。

正如Schiller在Keynote演讲中所说,每张照片上都要经过上千亿次操作,才能实现现在的效果,但一切都从ISP和它的高性能开始。

Marineau-Mes告诉我,相机首先会用不同的光圈,在1/30秒内捕捉两张图像。这两张图像被传递到软件流水线、和A12的神经引擎中,开始对图像进行分析。

但Smart HDR并不会止步于此。“原始图像会以30fps的速度捕捉(也就是说每1/30拍摄两张照片),然后在之后的几百毫秒内进行合成。”Marineau-Mes指出。

A12芯片内部的神经引擎,不仅会分析每帧图像的曝光,还会分析各个图像元素。它能识别出面部特征并寻找运动。如果系统检测到运行,就会寻找运动最锐利的那一帧,将其加入图像中。

类似地,对于带有红眼的照片,不仅是简单地修复红眼部分,还会尝试用没有红眼的帧进行替换,或用没有红眼的帧中的眼睛颜色来修复。

早些时候,苹果给我展示了一张照片,是一个扎着脏辫的男人站在湖里。逆光很严重,尽管我能看到他的身形。他的头发正在甩动,所以脏辫飞出水面,水珠飞到了空中。

如果这张照片让我用单反来拍,我会将快门设置到至少500fps,但光圈大概在f11左右,以保证一些景深。我还会提高ISO来获得足够的光线,但这很可能会导致大量的噪点。

但这张捕捉时机和曝光都很完美的照片,是用iPhone XS拍的。

“我们会设置一个参考帧,并用多个帧的信息进行混合。”Marineau-Mes说。我看到的这张照片是由多帧合成的。一些帧包含了最终照片的一部分,如极其锐利的头发和水珠。

“在合成帧的时候,如果各帧的图像一样,就能得到极低的噪声和更好的细节。”他解释道。

Marineau-Mes说,这需要极其强大的ISP和神经引擎,并需要同样强大的GPU和CPU支持这些处理。

所有这一切,在你按下iPhone相机应用的虚拟快门按钮之前就开始了。Schiller说,这就是为什么用户在iPhone XS、XS Max和XR的屏幕上看到的与最终照片没有太大差距的原因。

Schiller说,“你需要这一切。对于用户来说,一切都必须是实时的。”

我问他们,收集这些信息会如何影响文件大小,他们回答说,苹果的HEIF格式,能实现更高的质量和更小的文件尺寸。

“我们的相机是为真实的人在真实的需求下设计的。”Townsend说。“他们没有三脚架,也不=在实验室中。他们要求的是,不用多想就能拍出漂亮的照片。”

Townsend说,有时,苹果的工程师,会偶然地得到更好的图像技术。去年,苹果加入了闪烁检测,它能找出光源的闪烁频率,并尝试在静态照片和视频中减少闪烁。

虽然白炽灯和日光灯的闪烁频率是恒定的,很容易确定曝光时间,但现代的节能LED的频率各不相同,特别是那些会变色的灯。

今年,苹果工程师继续扩大频率识别的范围,以进一步消除闪烁。但在这个过程中,他们发现能够立即识别出,画面中的太阳(Townsend说,“因为太阳不闪烁”),从而能够立即将白平衡,调整为自然光。

“我们的工程师在努力实现那个功能的过程中,发现了这些信息。所以,这是从闪烁检测中得到的额外奖励。”Townsend说。


视频和新技术


所有这些图像捕捉功能,都可以用在视频上,因此视频也会进行实时的逐帧分析,从而在任何光照条件下,都能产生足够的细节。

在我来看,有了这些技术,苹果甚至可以将景深编辑器,应用到视频上,给日常拍摄的视频,也加上专业级的失焦背景,但当我问起Schiller时,他只是说苹果不会对未来的计划做任何评论。

不论是视频还是静态招聘,最终的结果,是苹果的更高水准的照片,甚至可以说是一切智能手机的最高水准的照片。

Townsend告诉我,人们说“我不敢相信这照片是我拍的”。这证明了苹果达到了更高的目标。

“我们的相机是为真实的人在真实的需求下设计的。”Townsend说。“他们没有三脚架,也不在实验室中。他们要求的是不用多想就能拍出漂亮的照片。”

回到Souza的手机的话题上。他的新书《Shade》将于十月开售,这是本关于奥巴马和特朗普的对比影集。

他告诉我,他对iPhone的拍照能力感到十分震惊。“我对于iPhone能拍摄到的微距感到很震惊。iPhone最小的聚焦距离比单反相机还要好,除非你装了微距镜头。”

那天早上,Souza打印了一组他用iPhone XS拍摄的照片。他说他认为这些照片看起来像是用单反拍摄的。

我给Souza发邮件问了最后一个问题。如果总统要他去拍照,他会用iPhone来拍官方照片,还是依然使用单反?

“单反。”他回答,估计这个回答会粉碎一些苹果粉的梦吧。“虽然我还是会用iPhone拍照发到Instragram上。”

而许多像Souza一样的摄影师,在选择随身携带的iPhone、还是昂贵的单反时进行的衡量,可能正是苹果最希望消除的吧。

原文:https://medium.com/s/story/inside-apples-iphone-xs-camera-technology-50d47ba7be8f

作者:Lance Ulanoff,科技专家,记者。

译者:弯月,责编:胡巍巍

推荐阅读:

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接