会计系跨一级学科学术沙龙

主 题：处理时序数据的神经网络方法与分布式并行训练技术

主讲人: 廖名学（中国科学院自动化研究所高级工程师）

协调人: 吴武清 汝毅

时 间：2021-12-01 10:00

地 点：线上腾讯会议

语 言：中文

地点：腾讯会议 https://meeting.tencent.com/dm/KIQ2GxrTUyph 

会议 ID：903 812 087

密码：1201

讲座摘要:

金融领域的数据之间通常具有很强的时序关系。在挖掘时序数据关系方面，相比其他机器学习方法，神经网络方法是目前应用较为广泛的重要方法。着眼于工程实践，结合计算与训练的需要，从选择激活函数、损失函数，建立时序关系等方面，介绍各类处理时序数据的神经网络方法，并讨论实现金融数据大规模预处理模型的可能性。针对神经网络训练系统多用户并发使用的现实需要，讨论可扩展的神经网络分布式并行训练技术研究与系统建设的基本要素。从数据并行、模型并行、流水线并行架构及其相应的稀疏通信、混合精度、环规约等算法层面，介绍训练系统的主要实现技术。从系统磁盘IO、网络通信、张量计算等方面，介绍训练系统构建需要考虑的主要因素。最后，结合中科院自动化所研制的分布式并行训练系统，介绍大规模、多用户、标准化等训练方法的进展情况及其应用方法。

主讲人简介:

廖名学，博士，毕业于中科院软件所，先后在中科院软件所、中科院自动化所担任工程师、高级工程师与研究生导师工作。研究方向为大数据智能、专用AI基础平台与支撑技术研究，作为项目负责人主持国家级项目二十余项，在GlobeCOM、CrownCOM等重要国际会议和期刊上发表论文三十余篇，授权专利十余项，合作出版专著两部，致力于通信电台、雷达探测等领域大数据与智能应用技术，获科技进步奖二等奖一项。