生成式人工智能与大语言模型

ChatGPT 的发布引发了一场激烈的争议和对话。

支持者认为,当前和未来的人工智能工具将彻底改变几乎每个领域的生产力。

怀疑论者想知道,大语言模型是否真得具有创造性?像 GPT-4 这样的先进系统最终是否会那么有用?

第三种力量表示,ChatGPT之类的大语言模型可能只是通用人工智能的最初火花,可能像智人的出现一样对地球上的生命产生变革。

坦白地说,现在给出最终答案显然为时过早。这些争论和对话将会持续下去,甚至让人头晕目眩。

理解这个日新月异,甚至被称为“日日工业革命,夜夜文艺复兴”的飞速发展的领域的困难之一是,许多新术语,例如,“生成式人工智能”和“大型语言模型”(LLM),这些新术语时常被人们非常随意地使用的。

生成式人工智能和大型语言模型是一回事吗?

什么是生成式人工智能? 

在生成式人工智能(Gen AI)与大语言模型(LLM)这两个术语中,“生成式人工智能”的范围更广,指的是任何能够在训练后动态创建输出的机器学习模型。 

这种生成复杂形式输出(如十四行诗或代码)的能力是生成式人工智能与线性回归、k 均值聚类或其他类型机器学习的区别。

除了更简单之外,这些模型只能“生成”输出,即它们可以对新数据点进行预测。例如,一旦线性回归模型被训练为根据学习小时数来预测考试成绩,当你向它提供新学生学习的时间时,它就可以生成新的预测。

生成式人工智能有很多种类型,所以让我们花几分钟讨论一下主要类别:图像生成、音乐生成、代码生成以及其他一些类别。

什么是大型语言模型? 

我们已经介绍了生成式人工智能,现在让我们将注意力转向大语言模型 (LLM)。 

大语言模型是一种特殊类型的生成式人工智能。

与 MusicLM 或 DALL-E 不同,大语言模型接受文本数据训练,然后用于输出新文本,无论是销售电子邮件,还是与客户的持续对话。

关于如何训练大型语言模型的完整讨论超出了本文的范围,实际上也超出了自留地君的认知领域。

本质上,像 GPT-4 这样的大语言模型是从互联网获取大量文本数据的。

然后,它对该数据集进行采样,并根据已经看到的单词学习预测接下来会出现哪些单词。

所有现有的大型语言模型都是生成式人工智能。

今天(10月14日)下午2:30,有空欢迎扫码蹭课

“生成式人工智能”是生成新颖输出的算法的总称,当前的模型集就是为此目的而构建的。

2019年10月14日, Photo by Emily Chou