酷应用

因为手机里有儿子的「裸照」，Mark 被警察找上了门

百家作者：AppSO 2022-08-29 13:28:54

你可能错过的新闻：iPhone 14 机模曝光、苹果目标是产品不用地球任何资源、奥迪将在 2026 年加入 F1、NASA 发射「猎户座」绕月飞船、Xbox 或推全新多人订阅服务……

上着班聊着天， Mark 突然就被警察找上门了。

因为他的手机被发现有一张手机里含有儿童性器官的照片，于是 Mark 被怀疑是一个针对儿童下手的性犯罪者。而且警方发现，这张照片居然来自 Mark 的儿子……

一个变态的恋童癖形象大概已经开始在你脑海里构建起来。

先别急着愤怒，事情很快出现了反转。原来这张照片是 Mark 儿子生病后，为了让医生了解病情而拍摄的，而且 Mark 也从未公开发布过这张照片。

那么警方是如何得知的呢，是 Google 的 AI 系统检测到了 Mark Android 手机里的照片，并判定他为犯罪嫌疑人，转而向警方举报，并禁用了他的 Google 账号。

在美国，Google 全家桶的普及程度大概相当于微信，也就是说 Google 这一番操作，直接让 Mark 从线上到线下全方位社死。

更为可怕的是，和 Mark 一样被平台检测到异常顺便举报的人，远不止一个。

孩子线上问诊的照片，让他被认定为罪犯

Mark 的孩子在学习走路时患上了腹股沟炎症。由于疫情严重，当时大部分人都在居家隔离，Mark 只能选择线上问诊，提供孩子腹股沟的照片，试图帮医生更好地做出诊断，医生也根据描述的病情、展现的照片开出了处方。

但就是这些照片出了问题，Android 手机里的照片自动同步到了云端，Google 系统将这些照片识别为了儿童性虐待内容 CSAM（Child Sexual Abuse Material）。

在被识别后，Mark 的网络使用瘫痪了一半，因为他被封了。Gmail，用户用来登录其它平台的账户邮箱；Google Fi，用户的移动虚拟运营商，打电话上网都用得上；Google Photos，再也无法访问，里面有你家人的照片回忆……这些通通被封了。因为 Google 觉得你涉嫌儿童性犯罪，所以封了你的账户顺便「替你」报了警——平台封号后向国家失踪与被剥削儿童中心（NCMEC）提交了一份报告，这份报告引发了警方的调查。

10 个月后，这位父亲收到了旧金山警局的通知，他们根据 Google 提供的照片报告对他进行了全方位的调查。

为了更好调查潜在的儿童性犯罪嫌疑人，警方还向 Google 发出了搜查令，要求提供 Mark 所有账户信息，视频、照片、位置数据、互联网搜索报告等内容。对 Mark 来说，这真的是无妄之灾，要是警察调查大张旗鼓一些，恐怕连工作都没法做了。

好在仔细的调查后，警方确认了这位父亲并不存在任何针对儿童的性犯罪行为。

这位父亲很清白，但 Google 很死板。即便是提供了经过警方证实的无罪报告，也无法让他成功向 Google 申诉找回账户。他曾经留在自己账户中的照片信息都已被完全锁定，无法再看到。能看到的只有 Google 的提醒——

你的账户因含有严重违反 Google 政策且可能非法的有害内容而被禁用。

申请解封是没有用的，你只能换邮箱、换电话，在数字世界从头开始。《纽约时报》报道了这样两个普通用户，他们都为孩子网上问诊拍摄了儿童性器官相关的照片，从而被判定违规封号，直到今天都无法找回自己的账号。

他们甚至不是特例。2021 年，Google 向 NCMEC 的 CyberTipLine（举报儿童性侵项目）报告了 621583 起案件。NCMEC 则向当地执法部门公告了 4260 名潜在受害者，请求警方协助调查，在这些孩子受到进一步伤害时解救他们。

听上去是一个技术及时制止犯罪、预防犯罪的好故事，但当这个名单里包含和 Mark 孩子一样只是问诊的未成年时，就是「抓住一千，也错抓一个」的悲伤故事了。

在所有技术侦查领域中，唯有儿童性犯罪例外

只是虽然有错抓，Google 明显也不打算改。不仅不解封经过警方认证的清白用户账户，也不打算停止这个会有缺陷的审查机制。

Google 发言人 Christa Muldoon 就表示：「我们遵循美国法律定义什么是 CSAM，并使用哈希匹配技术和人工智能的组合来识别它，再从我们的平台上删除它。我们的儿童安全专家团队会审查标记内容准确性，还会咨询儿科医生确保我们能够识别用户可能寻求医疗建议的情况。」

问题在于，Google 的审核团队并没有医学专业背景，在审查每个案例时也不一定都会咨询专业的儿科医生。所以错判在这个过程中可以说是难以避免的，唯一能够降低这种错判影响力的只有专业机构的判定和执法机构的二次审查。

但对于被误判的人来说，这真的是无妄之灾。因为这种误判，你的重要账号被锁了；因为这个判断，你被警察调查了；因为这些错判，身边人看你可能也会戴上有色眼镜。

电子前沿基金会 EFF 的技术项目主任 Jon Callas 对媒体表示 Google 的做法是有侵入性的。「这正是我们都担心的噩梦——他们要扫描我们的家庭相册，然后我们就会遇到麻烦。」

但这不是 Google 才会遇到的问题，因为几乎所有科技巨头在关乎 CSAM 内容时都有异常积极的行动。Amazon 和 Facebook 和 Google 一样有人工智能+人工的审核机制，发现有嫌疑的用户业余酌情删除或禁用 URL、图像、聊天功能，严重的封禁帐户。2021 年，亚马逊也向 NCMEC 提交了 33848 份 CSAM 报告。至于隐私问题，在这个技术打击犯罪的故事里似乎被忽略了。

在捍卫用户隐私的故事中，苹果拒绝「协助解锁」的故事最让人印象深刻。

当时美国福利机构内发生了一起严重的恐怖袭击枪击案，凶手在逃亡途中被击毙。警方在调查中发现凶手与中东「伊斯兰国」极端组织通过手机的加密通信进行联系，只是由于手机设有密码，法院也只能要求 iPhone 生产商苹果公司协助政府解锁。但苹果公开宣布拒绝遵行这道命令，理由是为了保护用户隐私：「如果政府动用《所有令状法案》让解锁 iPhone 变得更容易，它就有能力侵入任何人的设备并取得其数据，政府就可以延伸这种侵犯隐私的做法。」