by Li Han, Guo Lili , Tsinghua University
随着人工智能的快速发展，自动驾驶、实体智能等无人系统不断在现实场景中推广应用，引发新一轮技术革命和产业变革。视觉感知作为信息获取的核心手段，在这些智能系统中发挥着至关重要的作用。然而，在动态、多样化和不可预测的环境中实现高效、精确和强大的视觉感知仍然是一个开放的挑战。
在开放场景中，智能系统不仅要处理海量数据，还要处理各种极端事件，例如突发危险、隧道入口剧烈的光线变化、夜间行车场景中的强闪光干扰等。
传统视觉传感芯片受“功率墙”和“带宽墙”的限制，在处理这些场景时常常面临失真、故障或高延迟的问题，严重影响系统的稳定性和安全性。
为了应对这些挑战，清华大学类脑计算研究中心（CBICR）重点研究类脑视觉传感技术，并提出了一种创新的互补传感范式，包括基于图元的表示和两个互补的视觉通路。
基于这些结果的研究论文“A Vision Chip with Complementary Pathways for Open-world Sensing”被选为《A Vision Chip with Complementary Pathways for Open-world Sensing》的封面文章 自然 在 2024 年 5 月 30 日刊中。
受人类视觉系统基本原理的启发，这种方法将视觉信息分解为基于原始的视觉表示。通过结合这些基元，它模仿了人类视觉系统的特征，形成了两条互补且信息完整的视觉感知通路。
基于这一新范式，CBICR开发了全球首款类脑互补视觉芯片Tianmouc。该芯片实现了每秒 10,000 帧的高速视觉信息采集、10 位精度和 130 dB 的高动态范围，同时减少了 90% 的带宽并保持低功耗。它不仅克服了传统视觉传感范式的性能瓶颈，而且能够高效处理各种极端场景，保证系统的稳定性和安全性。
利用Tianmouc芯片，团队开发了高性能软件和算法，并在开放环境中运行的车载感知平台上验证了其性能。在各种极端场景下，该系统均表现出了低延迟、高性能的实时感知，展示了其在智能无人系统领域的巨大应用潜力。
天茂的研发成功是视觉传感芯片领域的重大突破。它不仅为智能革命的推进提供了强有力的技术支撑，也为自动驾驶、实体智能等关键应用开辟了新途径。
结合中银院在天机芯片、工具链、类脑机器人等类脑计算芯片、类脑机器人等领域的技术基础，天谋的加入将进一步完善类脑智能生态系统，有力推动通用人工智能的进步。
更多信息： Zheyu Yang 等人，一种具有开放世界传感互补途径的视觉芯片， 自然 （2024）。 DOI：10.1038/s41586-024-07358-4
期刊信息： 自然
由...提供 清华大学
