邬贺铨：建议开放国家算力平台支持各类大模型训练

2023-07-06 11:44:55 来源 : 人民邮电报

(资料图片)

我国在算力总规模上虽可与美国相比，但跨数据中心的算力协同还面临体制机制的挑战，不少智算中心算力利用率和效率不高。不少单位各自独立研究大模型，难免低水平重复。ChatGPT的上线使我们看到了在AIGC上中美的差距，现在需要清楚认识和重视我们面对的挑战，进行实实在在的创新，将挑战化为机遇。

近日，中国工程院院士邬贺铨在接受媒体采访时表示，我国在大模型开发方面起步相对较晚，ChatGPT出来后，国内不少单位纷纷表示在研发生成式大模型，但研究主体数量多并不意味着中国在大模型上研发水平高。因此，他建议在国家科技与产业计划的协调下合理分工形成合力，开放国家实验室的算力平台支持各类大模型训练，同时建议组建算力联盟，集中已有高档GPU的算力资源，提供大模型数据训练所需算力。

邬贺铨表示，虽然已有中国公司声称可推出类似ChatGPT的聊天机器人，但就支持多语种能力方面目前不如ChatGPT，就中文对话能力方面及响应速度而言也还有差距。中国企业在获得中文语料和对中国文化的理解方面比外国企业有天然的优势，中国制造业门类最全，具有面向实体产业训练产业AIGC的有利条件。

邬贺铨认为，在算力方面，中国已具有较好的基础。据OpenAI报告，训练GPT-3模型所需的算力高达3.64EFlops／天，相当于3～4个鹏城云脑Ⅱ。按2022年年底的数据，美国占全球算力的36％，中国占31％，现有算力总规模与美国相比有差距但不大，而在以GPU和NPU为主的智能算力规模中，中国明显高于美国，我国不仅是大型互联网企业具有相当规模的算力，国家实验室和一些城市政府支持的实验室也有大规模的算力资源，可以说在训练大模型所需算力支持方面中国也能做到。据了解，鹏城实验室正在设计鹏城云脑Ⅲ，算力达到16EFlops，比GPT-3所用算力高3倍，预计耗资60亿元，将为人工智能训练持续提供强有力的算力支持。

仅有算力还是不够的。邬贺铨表示，我国大模型在一些方面还面临不小挑战：一是大模型的基础是深度学习框架，虽然国内企业也自主开发了深度学习框架，但市场考验还不够，生态还有待打造。二是将AIGC扩展到产业应用可能需要不止一个大模型，如何将多个大模型高效地整合，有标准化和数据融合的挑战。三是大模型需要海量数据训练，中国有数千年的文明，但丰富的文化沉淀绝大多数并未数字化，中文在ChatGPT训练所用到的语料中还不到0.1％。虽然我国互联网企业拥有大量电商、社交、搜索等网络数据，但各自的数据类型不够全面，网上知识的可信性又缺乏严格保证，中文可供训练的语料还需要做大量的挖掘工作。四是模型训练所依赖的GPU芯片以英伟达公司的A100芯片为代表，但该芯片已被美国限制向中国出口，国产GPU的性能还有待进一步考验，目前在算力的利用效率上还有差距。五是在中国从事AI研究的技术人员不算少，但具有架构设计能力和AIGC数据训练提示师水平的人才仍然短缺。

邬贺铨认为，ChatGPT的上线使我们看到了在AIGC上中美的差距，现在需要清楚认识和重视我们面对的挑战，进行实实在在的创新，将挑战化为机遇，在新一轮的AI赛道上做出中国的贡献。

邬贺铨进一步表示，我国在算力总规模上虽可与美国相比，但跨数据中心的算力协同还面临体制机制的挑战，不少智算中心算力利用率和效率不高。不少单位各自独立研究大模型，难免低水平重复，建议在国家科技与产业计划的协调下合理分工形成合力。建议开放国家实验室的算力平台支持各类大模型训练，同时建议组建算力联盟，集中已有高档GPU的算力资源，提供大模型数据训练所需算力。此外，需要基于大模型开发出各类面向行业应用的模型，尽快使大模型在产业上落地见效，在面向各行各业的应用中培养更多的人才。

标签：