首页 人工智能正文

索尼展示了首款组合图像传感器和AI芯片

2020-05-15_061555.jpg

索尼已开发出一种有趣的新混合技术:硬件中内置有AI处理系统的图像传感器,使其成为一个集成系统。随着图像和代码的不断融合,这种方法的好处和应用潜力巨大。

这个想法在概念上很简单。您可以像今天在任何手机或相机中一样使用传统的CMOS图像传感器,然后将其堆叠在逻辑芯片上,该逻辑芯片不仅用于拉出传感器上的像素,而且用于操作从这些传感器中提取信息的机器学习模型。像素。

结果是单个电子组件可以在将照片发送到其他地方(例如主逻辑板,GPU或云)之前对照片进行大量有趣的处理。

需要明确的是,图像传感器已经具有伴随处理器,它们可以完成像素分类,将其压缩为JPEG等常规工作。但是他们非常专注于快速执行一些常见任务。

正如该公司所解释的那样,索尼芯片能够处理更复杂的过程和输出。例如,如果暴露于野外的狗中,则芯片可以立即对其进行分析,而无需发送完整的图像,只需报告“狗”,“草”以及它可以识别的其他任何东西。

2020-05-15_061649.jpg

它还可以进行本质上即兴的编辑,例如裁剪照片中的所有内容,但裁剪出它可以识别的部分并被告知要报告,例如,只开花而不是茎。

这种系统的好处是,它可以在数据进入主设备的存储或处理管道之前将所有不必要或不需要的数据丢弃。一方面,这意味着使用更少的处理器功能,但它也可能更加安全。

公共场所的相机可能会抢先模糊人脸或车牌。智能家居设备可以识别个人,而无需保存或发送任何图像数据。可以合并多次曝光以形成相机视场的热量或频率图。

您可能期望具有集成AI流程的芯片会产生更高的功耗或延迟,但是Xnor(最近被Apple收购)等公司已经表明,此类任务可以非常快速地执行,并且成本极低。

尽管更复杂的处理仍将是更大,功能更强大的芯片的权限,但这种首过验证能够产生大量有价值的数据,并且经过适当设计,可以证明对攻击或滥用更为健壮。

目前,索尼的“智能视觉传感器”仍然只是一个原型,可以订购进行测试,但不能批量生产。但是由于索尼是全球领先的图像传感器提供商之一,因此很可能会以一种或另一种形式进入很多设备。

版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

评论