1. 从“模仿人眼”到“超越人眼”：CMOS图像传感器的范式转移
在半导体行业，ISSCC（国际固态电路会议）的全体会议向来是技术风向标。2021年第二天的议题，恰好精准地戳中了图像传感领域一个长期存在的思维定式：我们为什么一定要让图像传感器模仿人眼？这个问题的提出，本身就意味着一次深刻的范式转移。从业十几年，我亲眼见证了CMOS图像传感器（CIS）从手机里的一个噱头，演变为驱动无数行业变革的核心引擎。早期的设计目标非常直接——追上并超越胶卷，然后在色彩、动态范围、低照度性能上无限逼近甚至超越人眼视觉。这当然没错，也成就了今天智能手机上令人惊叹的拍照效果。但Albert Theuwissen博士的演讲点醒了我，也点醒了整个行业：硅基传感器的物理特性，决定了它的感知边界远不止于400-700纳米这个狭窄的可见光波段。将CIS的设计哲学从“模仿生物视觉”解放为“拓展机器感知”，这背后是整个应用生态的重新想象。
我们早已习惯了用手机拍猫、拍美食、拍风景，传感器对于大众而言成了一个透明的、被严重低估的黑盒。但在这个黑盒内部，是一场光学、材料、模拟电路、混合信号设计、数字电路乃至先进封装技术的交响乐。设计一颗高性能CIS，需要让不同领域的顶尖工程师在同一个硅片上达成共识，其复杂度和协同难度，不亚于设计一颗最顶级的应用处理器。而当我们跳出“拍出好看照片”这个消费级目标，将视野投向工业、医疗、自动驾驶和科学探测时，就会发现，可见光只是信息宇宙中的一个片段。近红外传感器能穿透雾气与细雨，让自动驾驶汽车的“眼睛”不再受天气蒙蔽；短波红外能让静脉血管在屏幕上清晰显现，为无创医疗诊断打开新窗。这种从“为人眼服务”到“为机器智能服务”的转变，才是CIS技术未来十年最性感的叙事。
2. 技术演进的核心驱动力：堆叠与智能集成
索尼在CIS领域的持续创新，为这个行业指明了非常务实的一条路：堆叠（Stacking）与智能集成。他们最早将图像信号处理器（ISP）Die与像素阵列Die通过TSV（硅通孔）技术堆叠在一起，这不仅仅是节省了面积。更关键的是，它极大地缩短了模拟像素信号到数字处理单元之间的物理路径，降低了噪声，提升了数据吞吐率，这才让智能手机能够实现多帧合成、实时HDR、高速连拍等复杂计算摄影功能。这可以看作是一次“紧耦合”的架构革命。而Theuwissen博士提到的索尼在ISSCC 2021上发表的论文（9.6号），则将这种堆叠逻辑推向了一个新高度——直接将卷积神经网络（CNN）处理单元与1200万像素背照式传感器堆叠在一起。
这个设计思路极具前瞻性。传统的图像处理流程是：传感器采集原始数据 → 通过串行接口（如MIPI CSI-2）传输到应用处理器（AP）的内存 → ISP或NPU进行处理。这个过程涉及大量的数据搬运，功耗和延迟都是问题。而将CNN处理器与传感器“贴身”放置，意味着在数据模数转换之后，立刻在传感器内部进行初步的、特定的智能处理（例如，只提取图像中的边缘信息、人脸特征点或运动矢量），然后仅将处理后的、数据量大幅精简的“信息”或“元数据”输出给主处理器。这不仅仅是提速，它从根本上改变了系统的分工：传感器不再是“ dumb ”的数据采集器，而是一个具有初步感知和理解能力的“智能前端”。
注意：这种近传感处理架构对芯片设计提出了严峻挑战。首先，CNN运算单元会产生热量，而热量会导致像素产生热噪声，影响图像质量，必须在热设计与电路设计上做精细的隔离与平衡。其次，用于图像处理的逻辑工艺（如28nm、16nm）与用于追求极致量子效率的像素工艺（往往需要更大的特征尺寸和特殊的掺杂工艺）存在差异，3D堆叠中的晶圆键合与互联技术是关键。
2.1 从“看见”到“感知”：多光谱与超视觉
超越人眼视觉，具体怎么实现？核心路径之一就是拓展感知的光谱范围。人眼是三色（RGB）视觉，而现代CIS通过微纳光学结构（如彩色滤光片阵列CFA和微透镜）来模拟。但如果我们改变CFA的材料呢？
- 近红外（NIR）增强：许多硅基传感器本身对近红外光（约700-1100nm）就有一定的响应，但为了让人眼看到的彩色图像更纯净，通常会加装红外截止滤光片（IR-Cut Filter）。去掉或使用可切换的滤光片，传感器就能在夜间或雾霾天借助红外补光灯“看清”环境。这在安防监控和自动驾驶中已是成熟应用。
- 短波红外（SWIR）：波长在1-3微米左右。这个波段的光可以穿透硅，因此需要采用铟镓砷（InGaAs）等III-V族化合物材料来制造传感器。SWIR的魔力在于它能穿透某些塑料、布料，并能清晰分辨不同材质的含水量。在工业分拣（区分不同种类的塑料）、农产品检测（水果糖度、病变）以及我之前参与的一个半导体晶圆缺陷检测项目中，SWIR成像提供了可见光完全无法替代的信息维度。
- 事件相机（Event-Based Camera）：这完全是颠覆“帧”的概念。它模仿生物视网膜，每个像素独立工作，只报告亮度变化（事件）及其发生的时间戳，而不是输出完整的图像帧。这意味着它具有极高的时间分辨率（微秒级）、极低的延迟和功耗，并且在高速运动场景下不会产生运动模糊。在机器人视觉和自动驾驶领域，用于处理高速运动的物体，是传统全局快门或滚动快门传感器的完美补充。
这些技术都不是凭空出现的，它们背后是材料科学、光学设计和读出电路设计的共同进步。例如，为了在单个芯片上同时获取可见光和红外信息，业界发展了像索尼的“双增益像素”或“像素内嵌光电转换层”等技术，让一个像素单元能同时处理不同波段的光子。
3. 射频感知：另一种维度的“视觉”革命
如果说CMOS图像传感器的演进是让“眼睛”看得更广、更智能，那么Dina Katabi教授团队的工作，则是在创造一种全新的“感官”——利用无处不在的无线电波进行感知。这项技术的精妙之处在于，它重新定义了“无线电”的功能边界：从单一的数据通信通道，转变为集通信与感知于一体的复合媒介。
其物理基础是射频信号与人体及环境相互作用的非线性效应。当Wi-Fi或特定频段的无线电波在空间传播时，遇到人体（主要是水分子）会发生反射、散射和多径传播。人体细微的动作，如胸腔的起伏（呼吸）、心脏的搏动甚至血液的流动，都会对这些射频信号的相位、振幅和传播路径产生极其微小但可检测的调制。通过部署多个发射和接收天线（MIMO），并设计精密的算法来分析这些被扰动的信号，就能在无需任何可穿戴设备的情况下，重构出人体的呼吸频率、心率、睡眠阶段甚至跌倒动作。
3.1 系统实现的关键挑战与设计考量
实现这种非接触式射频感知，在电路层面面临着几个核心挑战：
- 极高的灵敏度与动态范围：由生命体征引起的信号调制可能比噪声电平还要微弱。这就要求接收机链路具有极低的噪声系数（NF）和极高的线性度。通常需要采用多级低噪声放大器（LNA）和精心设计的滤波网络，在放大微弱信号的同时，抑制强干扰信号（如直接的路径反射）。
- 相位噪声与频率稳定性：感知依赖于对射频信号相位的精确测量。因此，系统的本振（LO）必须具有极低的相位噪声。任何LO的频率漂移或相位抖动都会被误认为是目标的微动。在实际设计中，往往会采用锁相环（PLL）结合高性能压控振荡器（VCXO）或温补晶振（TCXO）来提供纯净且稳定的本振信号。
- 宽带与多天线处理：为了分离不同空间路径的信号并定位目标，系统需要工作在较宽的带宽上，并支持多天线阵列。这直接转化为复杂的射频前端设计（每个天线通道都需要独立的LNA、混频器、滤波器）和巨大的基带数据处理量。ADC需要有足够的采样率和分辨率来数字化这些信号，后续的DSP或FPGA需要实时运行波束成形、MIMO解码和特征提取算法。
- 环境干扰抑制：真实环境充满干扰，如其他人的移动、家具的晃动、其他无线设备的同频干扰等。算法上需要通过自适应滤波、空时处理和机器学习模型来区分出感兴趣的生命体征信号。在硬件上，可能需要采用跳频或超宽带（UWB）技术来规避干扰。
我曾在参与一个智能家居健康监测原型项目时，尝试过基于商用Wi-Fi芯片进行呼吸检测。最大的感触是，虽然理论可行，但民用Wi-Fi芯片的射频性能和访问底层信道状态信息（CSI）的权限限制，使得检测结果极不稳定。Katabi教授团队的成功，很大程度上源于他们是从射频芯片架构开始进行端到端的定制化设计，从而能够获取最原始、最高质量的信号数据。
4. 隐私与伦理：创新必须背负的责任
Theuwissen博士在演讲最后呼吁的“负责任创新”，以及Katabi教授工作所引发的隐私担忧，绝不是技术专家们的杞人忧天，而是我们每一个从业者在设计之初就必须嵌入到产品架构中的核心约束。
对于智能图像传感器，问题在于：当摄像头不仅能记录画面，还能通过内置的AI实时分析画面中的人物身份、行为、情绪甚至生理状态（如通过微表情和脉搏估计心率）时，数据在哪里处理？如何处理？如何存储？索尼将CNN集成在传感器内的设计，实际上提供了一个隐私友好的技术思路：敏感数据在本地、在传感器内部就被处理并丢弃，仅上传匿名化的分析结果（如“客厅有异常移动”而非一段视频），这符合“隐私设计”原则。
对于射频感知，情况可能更微妙。因为它可以在不告知用户、甚至在用户毫无察觉的情况下（比如隔墙）进行持续监测。这就对技术应用场景提出了严格的伦理和法律边界。
实操心得：在规划任何涉及感知技术的产品时，我现在的习惯是同步启动一项“隐私影响评估”。我们会问自己几个问题：1）我们收集的最小数据集是什么？能否更少？2）数据在哪个环节被匿名化或脱敏？3）用户是否有明确的知情权和选择权（如物理开关）？4）系统是否设计了防滥用机制（如无法在特定敏感区域启用）？把这些问题作为技术需求文档的一部分，和功耗、性能指标并列，才能从源头规避风险。
5. 融合与未来：多模态感知系统的构建
未来的感知系统，绝不会是单一传感器的独角戏。CMOS图像传感器提供了丰富的纹理和色彩信息，事件相机提供了高速的动态信息，射频传感器提供了穿透障碍和生命体征信息，此外还有激光雷达的点云深度信息、毫米波雷达的速度信息等。真正的“智能”，来自于这些异构、异质传感器信息在时间和空间上的精准融合。
这给电路和系统设计带来了终极挑战：异构集成与协同处理。我们面临的将不再是一颗复杂的SoC，而是一个可能包含硅基CIS、III-V族SWIR传感器、射频收发芯片、模拟计算单元和多个专用AI加速器的“超级异构集成”系统级封装（SiP）。它们之间需要通过超高带宽、低延迟的互连（如硅中介层、嵌入式桥接）进行通信。
更关键的是，处理流程需要从传统的“传感→传输→集中处理”转变为“在网处理”或“传感器内计算”。每个智能传感器节点先进行本地预处理和特征提取，然后通过高速总线（如PCIe或更先进的互连协议）将特征数据流送给中央融合处理器，进行最终的决策。这种架构能最大限度地减少数据搬运的能耗，降低系统延迟，并保护数据隐私。
6. 给工程师与创业者的建议
回顾ISSCC Day 2的这些内容，对于身处这个行业的我们，无论是做芯片设计、系统集成还是应用开发，都有一些明确的启示：
- 深入物理层：无论是CIS还是射频感知，性能的极限最终都取决于对物理原理的深刻理解。光电转换效率、载流子扩散、射频传播模型、噪声来源……沉下心去啃这些基础，才能在架构设计时做出正确的取舍。
- 拥抱异构与集成：别再只盯着单颗芯片的PPA（性能、功耗、面积）。未来的竞争力在于如何将不同工艺、不同功能的芯片或模块，以最优的方式集成在一起，并设计高效的互连与协同处理架构。先进封装技术（如CoWoS、InFO）的知识变得和电路设计一样重要。
- 算法与硬件协同设计：这是老生常谈，但也是永恒真理。Katabi团队的成果，一半归功于创新的射频硬件，另一半归功于那些能从噪声中提取生命体征的先进算法。在设计传感器时，就必须与算法团队紧密合作，明确硬件需要提供什么样的数据接口和质量（比如，是否需要保留信号的相位信息？ADC的精度和采样率要多少？），才能让整个系统效能最大化。
- 将伦理设计纳入流程：如前所述，隐私和安全不是事后补丁，而是设计约束。在项目初期就组建包括法律、伦理专家在内的跨学科团队，对产品可能带来的社会影响进行评估，这正在成为领先科技公司的标准操作流程。
技术赋予我们“看见”和“感知”的超能力，而如何负责任地运用这种能力，是比追求更高像素、更低功耗更严峻，也更有意义的挑战。这或许就是这场演讲留给行业最清晰的信号：我们的征途，是星辰大海般的信息世界，但手中的罗盘，必须刻上伦理与责任的刻度。
