1月12日，阿里巴巴，致远研究院，清华大学和其他联合研究小组发布了一种新的超大规模预训练模型“文辉”。进行认知。该模型不仅可以增进对AI的理解，而且可以基于常识来实现AI的创建。将来，它将应用于诸如文本理解，人机交互以及视觉问答等场景。与传统的AI训练需要手动注释数据不同，面向认知的预训练语言模型提供了一种新的学习思路，即AI首先自动学习大量的语言，文本和图像数据，并记住并理解信息和人类语言表达。规律之后，进一步学习专业领域知识，使AI可以同时掌握常识和专业知识。 “文辉”号此次发布的是中国最大的预训练模型，参数为113亿。它采用了Ali开发的高性能分布式框架，以统一多个并行策略。它使用模型并行性，管道并行性和并行性。数据并行训练执行分布式训练。 “文辉”突破了多模式理解和多模式生成的两个主要问题，可以轻松理解文本和图像信息，并可以完成创造性的任务。例如，您只需要输入诗歌的标题，朝代和作者，而“ Wenhui”则可以输入。可以自动生成古诗。目前，“文辉”已基于认知推理支持多种自然语言和跨模式应用程序任务，并且一些应用程序将很快启动。该模型可以根据诗歌标题，朝代和作者自动生成诗歌。 2020年达鲁玛学院的十大技术趋势提到：AI在诸如“听，说，看”等感知智能领域已达到或超过人类标准，但其逻辑推理能力仍处于起步阶段，即多模式预言。训练模型是实现从感知智力到认知智力的飞跃的关键基础。佛法学院智能计算实验室负责人周敬仁说：“预训练语言模型是过去70年来最具创新性的自然语言模型之一。其模型设计比传统模型困难得多。达摩学院的研究团队将继续克服算法和系统工程问题，并将人工智能加速发展为认知智能。作为最早投资认知智能研究的国内技术公司之一，阿里巴巴拥有超过30项研究成果被列入国际顶级会议，并获得了世界人工智能大会最高奖项SAIL奖，清华大学联合获得了第二名。国家科学技术进步奖。它的图神经网络框架GraphLearn已在全球范围内开源，可以降低模型的计算能力和存储资源消耗，并缩短算法开发和在线周期。