热门推荐
让AI说中文,总共分几步?
2024-10-27 15:55  浏览:114

  上周,虎嗅旗下虎学研究栏目更新了《中文在人工智能大潮中注定落后吗?》这期节目,节目播出后,我们收到了来自各方面的讨论和质疑,问题主要分两类:

  其中一类就是有不少人工智能从业者指出我们对ChatGPT原理理解得不够透彻和准确,再一类就是大家对于“让人工智能说中文真的有那么难吗?”这件事依然有疑惑。

  比如这位朋友就觉得实际情况并没有视频中说的那么难

  比如这位朋友就觉得实际情况并没有视频中说的那么难

  于是节目组经过互相拷打,对这些问题进行了更深入的学习和讨论,形成了下面几个问题和答案,希望能对屏幕前的你有帮助。

  在这个AI浪潮里,希望我们都能保持思考和进步。

  如果你还没有看过视频,可以点击文章最后的视频号卡片观看。

  ChatGPT这样的大语言模型,理解的语言到底是什么?

  要解释这个问题,或许就需要知道ChatGPT到底是怎么“说话”的。这可以从GPT三个字母的全称,Generative Pre-trained Transfomer(生成型预训练变换器)得到答案。

  生成型,意思就是依靠上文,预测下文。而预训练变换器,则意味着它使用了Transfomer架构,也就是通过模仿人类的“注意力机制”,学习词与词之间的关系,并预测下一个单词。而对于ChatGPT来说,它使用的是一种自回归式的生成模式,也就是模型每生成一个字,都会加入到上文中进行下一次预测,这使得模型的学习能力和准确度都有显著提升。

  一个Transfomer架构的示例,图:jalammar

  一个Transfomer架构的示例,图:jalammar

  从结果来看,ChatGPT可以和我们用“语言”进行对话,从原理上看,ChatGPT是一个可以通过数学运算预测,完成“接下句”的工作的模型。我们完全可以说ChatGPT不知道它输出的“答案”背后到底是什么意思,但可以输出从“语言”角度上来讲正确的答案。

  GPT-4的中文挺好的,是怎么做到的?

  GPT-4发布以后,网友把我们视频中举的几个例子,比如说“我看完这本书花了三天了”给GPT-4看,发现它完全可以理解,非常厉害,我们试用了以后也发现,GPT-4在中文理解和输出上也已经有了很强的能力了。

  那它是怎么做的?GPT-3的论文里其实有部分解释ChatGPT的“few-shot学习”机制。简单来说,就是“举例子”。

  比如我要让AI翻译“上山打老虎”,我会在输入问题的时候,同时给他几个中译英的例子,像这样:

  Promot:上山打老虎

  example1:天王盖地虎 ---- sky king gay ground tiger

  example2:上阵父子兵 ---- go to battlefield together

  然后再让AI根据这个上下文进行输出,这个就叫In-contex learning,是OpenAI训练模型的具体手段。具体的原理目前恐怕一时半会儿解释不清楚,但从GPT-3的论文标题《Language Models are Few-Shot Learners》我们就能知道结果很明显:好用。

  到了GPT-4,它的多语言理解能力更强了,但这次论文里公开的技术细节很少,而且从某些角度来讲,ChatGPT能做到的,和大家能解释的内容开始逐渐发生偏差,我们也希望能借此机会和更多专业的朋友一起讨论这个问题。

  那中文语料不行,影响什么了?

  在原始视频中,我们指出中文语料差,导致语言模型在学习中文表达的时候遇到了很多的困难。但评论里其实也有朋友用GPT-4的例子说,有了前面提到的in-context learning机制,其实现在的大语言模型在掌握一门新语言的时候,不需要这门语言的庞大语料库了。

  在和一些从业者聊过后,也有朋友表示,不同语言对于AI来说都是数据,在大算力和深度学习面前,没有什么太大的区别。

  但我们可以了解一下ChatGPT本身选取语料的办法,根据论文显示,GPT-3模型用到的Token(NLP研究对于词语的一个单位)数量高达499B,也就是4990亿个。而GPT-4到底用了多少外文语料,OpenAI目前还没有公开。

  GPT-3论文里关于训练集的数据

  GPT-3论文里关于训练集的数据

  虽然说名师出高徒,但臭皮匠的数量足够,外加正确的学习方法,还是能出高徒的。

  那如果我们用文言文训练呢?

  在视频的评论区里很多人提出了这个有趣的问题!还有人说“文言文是不是人类最后的堡垒”,那我们火星文是不是也有机会……

  如果你理解了前面我们对于ChatGPT原理和训练过程的介绍,就会知道其实文言文可能对于数据模型来说,只是“要不要练,怎么练”的过程。

  如果我们想要一个会说文言文的AI,可能需要给他喂足够多的文言文语料,这背后带来更多的工作,比如说文献数字化、分类、提取……

  人工智能是个烧钱的生意,或许目前我们还不太需要一个会说文言文的AI?

  谁知道呢。

  那如何让AI说好中文?

  正如我们刚才所说,目前国内已经公开的大语言模型,其实只有文心一言一个,而文心一言其实也没有公开具体的训练和参数细节。但从公开的信息可以知道,文心一言用的也是Transfomer架构,但只是更偏向谷歌BERT的技术思路,而非ChatGPT的思路(说的不对的话请百度的同学后台私信我)。

  那既然如此,或许我们可以照猫画虎,通过ChatGPT和BERT的公开信息,梳理一个”工作表“——到底需要做什么,才能让AI说好中文。

  首先是语料,语料就仿佛是土壤,有好的土壤自然就有好的基础。或许我们需要一些除了维基百科之外的中文语料集来进行训练,同时或许也可以像OpenAI一样,先使用英文语料,再教会它翻译。

  其次就是训练方式方法,技术路线各家有各家的不同,但具体采用什么样的技术手段,一定会直接影响产品的最终表现。

  最后就是钱和时间。时间很简单,谁学说话不得花时间呢,其次就是钱。据估算,GPT-3训练一次的成本是500万美元,而整体成本更是突破数亿美元。

  这些都是白花花的银子。

  AI用英语训练,对多元文化的影响是什么?

  这似乎是一个不太被目前所讨论的问题,但正如好莱坞对全球文化的影响,如果人工智能真的会像一些人预期那样席卷全球,那么这基于英语的训练数据,是否会影响文化的多元性呢?

  在OpenAI公布的论文里我们可以知道,ChatGPT在进行RLHF(基于人工反馈的强化学习)时,寻找了40个承包商(contractor)进行”打标签“(labeling),这些承包商是什么背景的,我们暂时不得而知。

  GPT-4论文显示经过RLHF后做题得分有显著增加

  GPT-4论文显示经过RLHF后做题得分有显著增加

  又考虑到目前Transfomer和神经网络的黑箱特性,这些人工干涉的部分会对最终的模型产生什么影响,实际上是暂时不明确的。但从以往人工智能的实例来看,偏见普遍存在,而通过参数调整解决这个偏见,还是个难题。

  大语言模型会影响语言本身吗?

  早上看到一个笑话:

  有的公司在训练有意识的AI;

  有的公司在训练无意识的工人。

  (via 夏之空)

  现在各种”AI使用指南“正在如同雨后春笋般冒出来,从实际效果来看,至少可以确定的是,用ChatGPT学习外语绝对是可行的,像是翻译、润色、理解,这些都是大语言模型所擅长的。

  但也有人担心了,如果我们过度依赖大语言模型,我们会不会又从训练AI的人,变成被AI训练的人呢?如果AI底层有一些问题,那我们是否会受到影响呢?

  未来会怎么样?

  就在我写这篇稿子的时候,著名安全机构生命未来研究所(Future of Life Institute,FLI)发布了一封公开信,信中呼吁全球所有机构暂停训练比GPT-4更强大的AI至少六个月,并利用这六个月时间制定AI安全协议。

  目前这个公开信已经有1125名知名人士签字,包括伊隆·马斯克和史蒂夫·沃兹尼亚克。

  截至发稿时,这个公开信已经有1377位知名人士签字了

  截至发稿时,这个公开信已经有1377位知名人士签字了

  因为速度实在是太快了……就好像在人工智能的牌桌上,大家手里都是大王小王一样。

  正如公开信中所说,AI系统在一般任务上已经具备了与人类竞争的能力,那下一步是否就要取代人类了呢?

  我还是引用一下公开信的结尾吧,欢迎大家留言讨论:

  Let's enjoy a long AI summer, not rush unprepared into a fall.

  让我们享受一场漫长的AI夏天,而不是毫无准备地冲向深秋。(手工翻译,未使用AI)

  说在结尾

  就在发稿前,我们联系到了浙江大学计算机与技术学院的陈华钧教授,陈老师是做知识图谱、大数据、自然语言处理方向的专家。

  Q:中文语料不行对训练AI大模型来说有影响吗?

  A:未必会有很大的影响,毕竟对于AI而言,文字、图片、视频这些模态都不区别了,何况是语言。中文还是英文,对于AI都是数据而已。

  Q:那您觉得做中文语言大模型应该用什么思路呢?

  A:基础模型可以用英文语料来训,然后用中文语料来做增强训练,并进行中文提示工程和指令微调,我相信这是目前大多数国内团队搞大模型的技术路线。

  Q:这样的话岂不是会出现语义不同导致的理解偏差?

  A:我认为这不全是中文处理的问题(如车水马龙这类成语),解决办法可以是用一个知识图谱来约束生成模型,这些约束可以用来减少生成模型产生错误知识的问题,我们自己的很多实验也都证实了这一点。

  Q:那您觉得接下来会怎么样呢?

    以上就是本篇文章【让AI说中文,总共分几步?】的全部内容了,欢迎阅览 ! 文章地址:http://lanlanwork.gawce.com/quote/7674.html 
     行业      资讯      企业新闻      行情      企业黄页      同类资讯      网站地图      返回首页 阁恬下移动站 http://lanlanwork.gawce.com/mobile/ , 查看更多