Koç University 光子 AI 将图像处理卸载给光，但能耗优势仍未得到证实
Koç University 的光子 AI 研究人员展示了两套将图像处理卸载给光学系统的方案，尽管光学核心周围仍依赖电子设备。其中一套系统在保留色彩信息的同时，在皮肤图像基准测试中达到 98% 的准确率。另一套则利用光纤激光器，在多个数据集上获得了 85% 至 99% 的准确率。
这些结果为可持续 AI 研究人员提供了比单纯构建更大型电子加速器更具体的替代方向。然而，它们尚未证明两套系统的总能耗低于现代 GPU 部署。摄像头、光调制器、激光器、控制电子设备和数字分类器仍是整个工作流程的一部分。
这一差距才是故事的核心。Koç University 已证明，物理光学系统能够执行有用的变换，而不只是传输数据。下一场较量并非孤立意义上的光与电之争，而是专用光子处理与完整、高度优化的电子计算系统之间的竞争。
Koç University 光子 AI 将两类工作负载转移至光学系统
这项研究将一个重要处理阶段从软件转移到物理光学硬件中，但并未取代整条 AI 流水线。
这项报道所述的研究来自伊斯坦布尔 Koç University 的助理教授 Uğur Teğin 及其学生，结合了发表于 Communications Engineering 和 Communications Physics 的两项独立研究。
第一套系统面向多通道数据，尤其是彩色图像。许多光学机器学习实验会将彩色图像转换为灰度图，以简化输入。这会在分类开始前减少通过光学系统的信息量。
Teğin 与硕士生 Fatma Nur Kılınç 采取了不同路径。他们的可编程光子神经网络保留红、绿、蓝三个通道，并对其进行联合处理。
光子神经网络是一类利用受控光传播执行与机器学习相关数学变换的硬件。它并不一定会复现数字神经网络的每一层。
研究人员将数据编码到一种可编程空间光器件上。随后，光线穿过一套对通道进行混合和变换的光学装置。摄像头捕获所得图案，并将其提供的特征交给一个简单的数字分类器。
这一差异很重要。光学设备负责特征提取，即将原始输入转换为更容易区分类别的表示形式。最终决策仍由电子系统完成。
根据这项多通道研究，该架构还从物理测量结果中学习，而非完全依赖理想化模拟。这使其能够适应失准、光学像差、制造差异、灰尘和热漂移。
这些不完美因素往往决定了一个看似可信的光子学模拟与可用设备之间的差别。光学模型在纸面上可能表现良好，但实体版本的行为可能不同。直接在硬件上进行优化，能将这种不匹配纳入学习过程。
在 HAM10000 皮肤病变数据集上，研究人员报告称，经优化的 RGB 处理实现了 98% 的分类准确率。预印本中的详细结果显示，原始像素基线为 67%，提升了 31 个百分点。
在完成通道混合优化后，该系统在 STL-10 自然图像基准测试上也达到 90%。在相同光学架构下，RGB 处理的表现始终比灰度处理高出五到六个百分点。
第二项研究则将另一类操作转移到了物理系统中。Teğin、Dilem Eşlik、Kılınç 和 Bahadır Utku Kesgin 使用连续波多模光纤激光器作为非线性光学处理器。
非线性使处理器能够建立比直接加权求和更复杂的关系。现代神经网络依赖非线性变换来区分简单线性方法无法识别的模式。
研究人员先将图像编码为相位图案，再将其送入激光腔。多模干涉和增益饱和将输入转变为稳定的强度图案。摄像头记录这些图案，供线性分类器使用。
该装置在涉及可回收废弃物、天气、卫星图像、视网膜扫描和皮肤病变的基准测试中实现了 85% 至 99% 的准确率。这篇光纤激光器论文称，与深度神经网络相比，它所需的可训练参数少了多个数量级。
因此，这两套系统解决的是互补问题：一套保留并优化多个信息通道；另一套则通过激光腔的行为提供非线性特征变换。
它们共同表明，光学硬件不仅能加速预先确定的矩阵运算，还能将信息塑造成更便于下游分类任务处理的形式。
可持续 AI 硬件需要的不只是更快的 GPU
推动光子 AI 的压力来自电力、热量和数据移动，而不是电子芯片突然失效。
AI 基础设施目前仍以图形处理单元和其他电子加速器为主。这些系统可编程，拥有成熟的软件支持，并通过既有供应链制造。
当计算规模扩展到更大的模型和集群时，其弱点便会显现。在内存、处理器和网络接口之间移动数据需要消耗能源。电阻也会产生热量，从而增加冷却需求。
国际能源署估计，数据中心在 2024 年消耗了 415 太瓦时电力，约占全球总用电量的 1.5%。
其能源展望预计，到 2030 年这一数字将达到约 945 太瓦时。AI 是推动这一增长的最大因素，尽管其他数字服务也会带来贡献。
这一预测并不意味着仅 AI 就会消耗全部预计总量。但它确实说明，硬件效率如今会影响电网规划、数据中心建设、运营成本和部署进度。
IEA 还估计，一座典型的 AI 导向数据中心用电量可与 10 万户家庭相当。正在建设中的最大型设施，耗电量可能达到这一水平的 20 倍。
在全球电力消耗成为主导问题之前，地方约束可能已先行出现。数据中心往往集中在光纤、土地、客户和电力基础设施充足的地区。在发达经济体中，建设新的输电线路通常需要四到八年。
光子处理通过利用光的物理行为，瞄准了其中一部分压力。光子不带电荷，因此让其穿过光学结构可避免电子电路中部分由电阻带来的损耗。
光还支持波长、空间、相位和偏振等维度上的并行处理。单条光路可承载多个信息通道，而无需让每个通道依次经过相同的电子运算流程。
这些特性使图像数据成为早期光子系统的理想对象。原始信号在摄像头传感器将其转换为电子像素之前，本身就是光学信号。在这种转换之前或附近处理部分信息，可能减少后续数字计算工作。
潜在应用场景包括机器视觉、医学成像、工业检测、遥感和自主系统。这些场景都需要从视觉输入中快速作出决策，有时还受到严格的功耗或延迟限制。
不过，更高的光学并行度并不会自动带来更低的系统级能耗。激光器需要电力，空间光调制器需要控制信号，摄像头必须采集输出，而电子硬件还要负责准备输入并解读结果。
因此，Koç University 的两项原型应被视为工作负载卸载系统。它们将特定变换从数字软件转移到光学物理过程之中。
这种方式与加速器的发展历史相似。GPU 并未消除中央处理器，而是接管了与其并行设计相匹配的运算。随后，专用 AI 芯片又将更多矩阵计算转移到专门构建的硬件上。
光子加速器寻求的是另一种分工。它们旨在处理那些并行光传播可带来显著优势的操作；电子处理器则将继续承担控制流、内存管理、通用软件，以及需要高度数值灵活性的任务。
最有说服力的可持续性论据，将取决于整个工作负载的总能耗，而非单独光学步骤的效率。研究人员必须计算数据准备、转换、光生成、检测、冷却和辅助电子设备的能耗。
即使在尚未获得这些测量结果前，实验室装置仍可能具有价值。它可以识别哪些操作能够顺畅映射到光学系统，以及哪些硬件问题阻碍部署。
Koç University 的贡献正在于此。其系统在应对真实硬件缺陷的同时，扩大了有用光学变换的范围。但它们尚未解决数据中心能耗争论。
Koç University 光子 AI 实际如何处理图像
其机制是将光的传播转化为特征提取，再将更简单的分类问题交还给电子系统。
多通道系统从图像或其他多维输入开始。软件将数据映射到一个可编程光学器件上，该器件控制光场不同部分的传播方式。
该器件保留 RGB 通道，而不是将其压缩为单一灰度表示。这使光学系统除了形状和纹理外，还能够利用颜色关系。
光线经过多次受控变换。干涉会根据波的振幅和相位对其进行组合，同时产生反映大量输入关系的输出图案。
随后，摄像头测量强度图案。这些测量结果转化为数值特征，供岭分类器使用；岭分类器是一种带正则化的相对简单线性模型。
分类器本身并不负责独自发现所有有用的图像结构。光学变换已经重新组织了数据，使类别更易于区分。
研究人员使用贝叶斯优化来调整六个通道混合参数。贝叶斯优化会根据早期实验结果选择有前景的配置，从而减少测试每一种组合的需求。
他们还采用了一种受自组织临界性启发的硬件在环方法。该过程扰动更大的光学相位空间，并使用真实装置的测量结果评估变化。
根据研究预印本，第二种优化处理了 22,500 个参数。在一项报告的任务中，它大约经过 75 次迭代后收敛。
这两种方法针对不同层面。通道混合改变信息进入系统的方式；硬件优化则改变光线传播所经过的物理相位配置。
两种方法在各自的实验中均额外提升了约六到七个百分点。这样的相似性值得关注，因为一种方法只调整六个变量，另一种则探索数千种变量。
这表明，精心设计的输入结构可能与大规模硬件搜索同等重要。它也提醒我们，不能将原始的光学并行性本身视为充分条件。
光纤激光系统利用了不同的物理效应。多模光纤能够同时支持多种空间光模式。在激光腔内，这些模式通过干涉和增益动力学相互作用。
输入图像被编码为相位图案。随着该图案在腔内循环，腔体会将其映射为更高维的光强分布。
增益饱和提供了关键的非线性响应。当光学放大接近极限时，输出不再与输入成正比变化。
这种非线性行为有助于区分复杂类别。即使原始像素并不容易分离，最终图案也能使图像类别可通过线性决策边界进行识别。
研究团队采用连续波激光，而非超短高功率脉冲。这一选择支撑了其关于物理处理器更紧凑、潜在功耗更低的论点。
不过，已发表的准确率数值仍需谨慎解读。准确率取决于数据集、训练划分、预处理、类别平衡以及比较模型。
某项医学图像实验中达到 98% 的结果，并不意味着该装置在临床实践中能够以 98% 的可靠性诊断皮肤疾病。这项工作评估的是机器学习基准，而非已部署的医疗产品。
第一项研究还将光学特征与由同一简单分类器处理的原始像素进行比较。这控制了分类器容量，但与完整的现代视觉模型并非同类比较。
作者承认，由于模型容量、训练数据和计算成本存在差异，与深度学习进行直接比较较为复杂。他们的核心主张涉及光学特征提取，而非宣称其普遍优于数字模型。
这是理解所报告结果的恰当框架。这些光学系统以有限的数字训练产生了有价值的表征。它们并未在准确率、能耗、成本和规模上击败所有电子替代方案。
这一机制也揭示了集成工作必须着力的方向。除非数据直接来自光学传感器，否则数据起初存在于电子系统中。它必须被编码为光、完成处理、被检测，然后回到电子工作流。
每一道边界都会增加延迟、能耗、校准需求以及潜在的信息损失。一个成功的产品必须在光学阶段获得超过跨越这些边界所付出代价的收益。
转换损耗让光子 AI 仍落后于通用 GPU
最重要的未解问题是：在计入每一个转换与控制组件后，完整的光学系统是否仍能胜过经过优化的电子系统。
当单独考察某一项光学操作时，光子计算往往颇具吸引力。光可以快速传播、组合众多通道，并以很低的增量能耗完成某些数学运算。
但实际部署的计算机无法孤立地运行这项操作。它需要内存、软件、输入编码、输出检测、错误管理，以及与现有处理器的接口。
加州大学欧文分校电气工程教授 Maxim Shcherbakov 将电光转换视为核心障碍。激光器必须由电子信号调制，而探测器又要将结果转换回电子数据。
他的光子学评估认为，通用光子处理器仍落后于标准 GPU。他认为，近期更有前景的方向是专用边缘应用。
这一判断与 Koç University 的实验相符。两个系统都面向结构化分类任务，均未运行通用大语言模型，也未替代完整的 GPU 软件栈。
边缘系统可能提供更清晰的切入点，因为部分输入本就以光的形式到达。相机、显微镜、医学成像仪或遥感设备，都有可能在生成完整电子表征之前处理光学信息。
这减少了转换次数。信息进入通用处理器、内存系统或网络连接之前，数据量也可能因此降低。
视觉传感器可以在镜头附近识别有用特征，再仅传输紧凑表征。其价值来自更低的延迟和更少的下游工作，而不是在玻璃中重建 GPU。
云数据中心则面临更高标准。其硬件必须支持多种模型、张量尺寸、数值格式，以及快速变化的软件框架。
光子硬件通常通过专用化来获得效率。固定的光学行为可以针对匹配的操作实现极高速度，但当算法发生变化时，往往难以重新利用。
可编程调制器提高了灵活性，却也增加了控制复杂度。校准可能因温度、振动、组件老化或微小机械变化而漂移。
Koç University 基于硬件的优化直接应对了其中部分问题。从测量结果中学习，使系统能够吸收理想仿真所遗漏的不完美因素。
这是一项工程优势，但持续重新校准同样消耗时间和能量。商业评估必须衡量适应发生的频率，以及两次校准周期之间会发生什么。
精度是另一项压力点。电子加速器支持定义明确的数值格式和成熟的误差分析。模拟光学测量则包含噪声和器件差异。
部分机器学习工作负载能够容忍较低精度。另一些则会在重复操作中放大微小误差，尤其是在大量光学与电子阶段相连时。
已发表的实验采用光学变换，随后接入数字分类器。这种有限结构降低了误差在多层光学处理中累积的风险。
扩展该方法可能引入新的权衡。更多通道或许提升吞吐量，但也可能产生串扰。更大系统需要更多探测器、控制元件、封装与对准工作。
制造的重要性将不亚于实验室物理学。实用的加速器必须能在不同设备之间可重复实现、长期稳定、兼容生产流程，并可在计算系统内部维护。
能耗证据仍是当前公告中最大的缺口。光纤激光论文将其处理器描述为紧凑、低功耗，而多通道论文则提到潜在的效率优势。
两份公开摘要均未提供与匹配 GPU 工作负载相比、经过独立验证的完整能耗比较。它们没有完整核算光源、调制器、相机、控制器和分类器。
这一缺失并不否定研究本身。它限制了读者应从中得出的结论。
这些系统展示了利用光进行计算，并报告了强劲的分类结果。它们尚未证明在商业条件下，每个正确分类样本的端到端能耗更低。
因此，首要竞争对手并非另一间光子学实验室，而是成熟的电子技术栈，包括其软件成熟度、制造规模、灵活性以及持续的效率提升。
只有在有价值的工作负载上胜过完整技术栈，光子 AI 才算获胜。更快的光学内核只是开端，并非最终结果。
三项信号将显示光学计算能否扩展
下一阶段需要系统级能耗测量、集成硬件，以及在小型实验室分类器之外的工作负载上进行可信测试。
第一个信号是端到端能耗基准。研究人员应报告整个装置每次推理或每个处理样本的焦耳数。
这一测量必须包括激光器、光学调制、相机、数字控制、预处理、校准和下游分类器。电子方案的比较应在相近准确率和延迟下完成同一任务。
如果 Koç University 或独立团队发表这类结果，可持续 AI 的主张将变得更有力。如果转换后光学节能优势消失，其价值主张将收窄至延迟或专用传感。
测量边界也必须明确。只报告光传播期间的能耗，会遗漏让处理器能够运行的组件。
第二个信号是物理集成。两套已报道系统均使用配备相机与控制设备的实验室光学装置。研究人员指出，紧凑的芯片集成器件是重要的前进方向。
集成可以缩短光路、降低对准敏感性，并减少封装要求。它还可以让这项技术更容易与传感器和电子处理器结合。
成功的集成原型不必替代 GPU。它可以展示一个稳定的光学前端，并将其接入现有机器学习工作流。
值得关注的是脱离受控实验室环境的运行，特别是在温度变化或振动条件下。长期准确率与校准频率将揭示自优化是否能解决实际漂移问题。
第三个信号是更广泛的工作负载验证。当前研究涵盖若干图像与结构化数据基准，这为其多样性提供了有用证据。
下一轮测试应包括流式传感器数据、更大规模输入、延迟测量，以及与现代数字特征提取器的比较。医学或工业试验也需要具有代表性的数据和独立评估。
已部署的边缘实验比又一项孤立的准确率纪录更能强化论证。它将展示光学处理器如何与内存、通信、功耗限制以及不断变化的输入条件交互。
最可能的路径是混合式，而非全光学式。光将处理与其物理特性相匹配的特定变换，而电子设备则保留内存、编排和通用决策功能。
这种分工依然可能意义重大。即使系统其余部分仍为电子式，从数百万次重复操作中移除一个高成本阶段，也能减少热量和能耗。
它也改变了开发者评估新兴 AI 硬件的方式。若不考虑集成成本、数值精度、利用率和软件支持，光学峰值吞吐量几乎说明不了什么。
企业买家应询问设备是否能加速其实际工作负载，而不是光在理论上是否比电子更快。他们还应要求获取墙插端的测量数据。
随着这一领域不断扩展，开发者和研究人员面临文档管理问题。研究结果往往分散在预印本、期刊论文、硬件说明、基准细节和后续更正之中。
一个可搜索知识库可以帮助工程团队保留这些细节，并在一致的评估边界下比较各种主张。
Koç University 的光子 AI 研究值得关注，因为它在保留色彩并引入非线性处理的同时，将有用的图像变换移入物理硬件。
其最强的成果并非已经定论的可持续计算主张，而是为探寻光学硬件究竟在哪些场景真正值得与电子设备并肩部署，提供了一条更清晰的实验路径。
决定性的证据将来自全系统测量、集成原型和真实工作负载。在此之前，正确的问题应当具体明确：当某个处理阶段转移到光域时，它究竟能节省多少能源，才足以证明围绕它所需的一切投入是合理的？
