近期,以“生成式人工智能”(GenerativeAI)为核心技术的聊天机器人ChatGPT火爆全球。围绕网友普遍关心的话题,2月14日,科大讯飞副总裁、研究院执行院长刘聪接受新华网专访,阐述什么是ChatGPT,它强在哪里?会对未来世界带来哪些颠覆性影响?以下是专访实录:
ChatGPT是什么?它强在哪里?
美国人工智能公司OpenAI于2022年11月30日发布的ChatGPT通用型对话系统,能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,能更精准地理解用户意图及实现类人的回复,能更精确、更加可控地完成撰写邮件、视频脚本、文案、代码等任务,甚至在人类的合适引导下可以完成逻辑推理、新知识快速学习等复杂任务。
ChatGPT本质上是一个由浮点数参数表示的深度神经网络大模型(目前版本含约1750亿个参数),所以仍然属于深度学习的框架。深度学习自2006年被提出,2010年左右陆续被应用于以语音识别、图像识别为代表的感知技术领域,极大地推动了人工智能技术和产业的发展。ChatGPT的推出是深度学习提出后又一个里程碑式的技术革命,将为以自然语言处理为核心的认知智能技术发展提供新的“历史机遇期”。大模型技术从2018年开始兴起,近年来国内外也发布了多个模型参数庞大的深度神经网络大模型,但唯独这次的ChatGPT引发了全球学术界和产业界的热议和关注,关键原因是ChatGPT通过至少以下五个维度能力的显著提升综合实现了初步的“智慧涌现”:(1)海量高价值信息的全量在线记忆能力;(2)自然语言输入的任意任务和多轮对话理解能力;(3)复杂逻辑的思维链推理能力;(4)多角色多风格的长文本生成表达能力;(5)即时新知识学习应用与进化能力。此外,因为引入了代码作为训练语料,ChatGPT还额外产生了自动写代码和理解代码的能力。
我们这里挑选了一些ChatGPT在演讲稿写作、程序代码纠错、自由人机交互、即时新知识学习应用方面的代表案例,如下图所示。
综上来看,ChatGPT的能力之强已不仅是停留在单一场景的人机对话,而是一个同时具备多种能力的通用“对话式AI系统”。与传统认知智能需要针对各领域任务定制对应的系统不同,它不仅能完成多个场景、多轮的相当自然的人机对话,更为重要的是以自然语言交互式学习的“类人”新范式,能在多轮交互中以“类人”的方式交流、学习和进步,并可以自主、快速、不间断地学习各领域专业知识并达到人类专家水平。
在ChatGPT让许多人惊呼AI强大的今天,我们不妨回望一下1956年举行的达特茅斯会议。正是在这次会议上,人工智能的概念被正式提出,而这来源于参会的信息论创始人、诺贝尔奖获得者、图灵奖获得者等多位世界级顶尖科学家,凭借的是他们扎实的科学基础、理论分析能力以及前瞻性思考。
回归现实,作为长期深耕人工智能领域的一名科研人员,我想“求真务实”和“躬身入局”仍然是我们应当继承、并面对现在人工智能发展的正确态度。我们不仅要结合实际效果和技术原理客观理性地分析ChatGPT现有的技术水平,还要进一步思索未来的技术发展方向。
ChatGPT为什么这么强?
针对目前ChatGPT热潮,学术界已经有不少专家做了算法上的专业分析,而我们基于GPT系列模型的相关论文以及对实际效果的体验测试,结合科大讯飞在认知智能和深度神经网络大模型上的研发实践,经过深入分析后判断ChatGPT的智慧涌现主要可归因于其以下创新工作:
(一)基于海量高质量文本语料的无监督预训练。如instructGPT从原始45TB语料清洗得到570GB高质量训练语料,并通过预训练策略在大模型里实现了海量信息的有效“存储”。
(二)创新性地引入代码文本的训练策略。如instructGPT使用了GitHub的830GB代码文本数据,充分利用代码的函数定义和调用、变量远距离引用等体现程序员解题思路和逻辑的代码文本特性,有效增强了复杂逻辑思维链推理能力。
(三)基于数万个Prompt任务的统一生成范式有监督训练。如instructGPT收集了覆盖范围很广的数万个语言和知识相关的有监督任务数据集,并转换为统一的文本生成范式任务,提高了大模型对语义和知识表征的泛化及准确理解能力。
(四)基于人工反馈强化学习实现生成结果的优化。OpenAI公司雇佣了众包团队大规模开展了生成结果好坏的人工标注,并基于标注数据进行强化学习,使得大模型生成结果更加无偏见和符合人类预期。
ChatGPT的成功也向全世界明确揭示了深度神经网络技术继主导以语音识别、图像识别为代表的感知智能技术路线后,针对更难的以自然语言处理为基础的认知智能领域,也体现出了巨大的潜力。目前已经有很多
创新创业公司在做这方面的布局