8月8日,记者从清华大学官方微信平台获悉,清华大学电子工程系方璐教授课题组和自动化系戴琼海院士课题组首创了全前向智能光计算训练架构,研制出“太极-II”光训练芯片。由此,实现了光计算系统大规模神经网络的高效精准训练。
据了解,这项研究成果以“光神经网络全前向训练”为题,已在线发表在最新一期的《自然》期刊。该成果有望成为训练光学神经网络和其他光学计算系统时广泛采用的工具。
当前,如何制造出满足人工智能发展、兼具大算力和高能效的下一代AI芯片,已成为国际前沿热点。而具有高算力低功耗特性的智能光计算备受关注。光计算天然具有高速和低功耗的特性,利用光的全前向传播实现训练能够极大地提升光网络训练的速度与能效。相较于模型推理而言,模型训练更需要大规模算力。然而,现有的光神经网络训练严重依赖GPU进行离线建模并且要求物理系统精准对齐。正因如此,光学训练的规模受到了极大限制,高性能光计算的优势也由此受到束缚。
记者了解到,今年4月,方璐、戴琼海课题组宣布研制出全球首款大规模干涉衍射异构集成芯片——太极(Taichi),首次将光计算从原理验证推向了大规模实验应用,以160TOPS/W的系统级能效为大规模复杂任务的“推理”带来了曙光,但未能够释放智能光计算的“训练之能”。而在此次科研成果中,该课题组找到了“光子传播对称性”这把钥匙,将神经网络训练中的前向与反向传播都等效为光的前向传播。由于不需要进行反向传播,太极-II架构不再依赖电计算进行离线的建模与训练,大规模神经网络的精准高效光训练终于得以实现。
据介绍,经过太极系列在内的光计算领域的不懈努力,智能光计算平台将有望以更低的资源消耗和更小的边际成本,为人工智能大模型、通用人工智能、复杂智能系统的高速高能效计算开辟新路径。