你知道什么是ChatGPT吗？你知道什么是大语言模型吗？大家好，今天我想跟大家聊一聊GPT和大语言模型。我们都知道GPT短短半年时间内就已经风靡全球，从3.5到4.0，从简单的语言输出到现在的视频输出，它的发展速度令人瞠目。我们都知道它是基于人工智能和大语言模型去完成的。它为什么可以回答我们千奇百怪的问题，那到底什么是大语言模型？

GPT是如何一步一步发展到今天这个位置的？它到底有着什么样的魔力能够让马斯克都觉得害怕？不知道屏幕前的你有没有提出过这样的问题。想了解GPT，就得先了解GPT背后的男人，就是大语言模型。

那么问题又来了，什么是语言模型？语言模型简称LM，是计算机科学和自然语言处理中一个非常重要的概念。它的主要目的就是预测和评估文本序列的可能性。说个恰当的比喻就是，你可以把语言模型想象成一个喜欢讲故事的老奶奶。当你跟她说一个词或者一个句子时，比如说你跟她说今天晚上小猫，老奶奶可能会基于她一生听到和讲过的所有故事，来预测下一句话，她可能会回答你：今天晚上小猫爬上了屋顶看星星。老奶奶知道的越多，她预测的故事就会越准确丰富和有趣。

其实早期的语言模型主要是基于这种统计方法，比如N-gram模型，他们通过统计大量的文本数据中的语词序列频率，来建立模型。随着深度学习的兴起，神经网络语言模型逐渐成为主流。

其实大家很早的时候，就接触到这些大语言模型了。比如说我们经常用到的机器翻译，语音识别，文本生成，这些东西都是基于早期的语言模型去完成的。它们通常是基于大量的语量库中的词序列，来统计频率。神经网络就不一样了，神经网络比如循环(神经网络RNN或卷经神经网络CNN)，它们是通过预测词序列的概率，一个是预测，一个是统计，它们的方向是完全不一样的。

同样它们都有很多致命的缺点，包括一些拟合风险时间限制计算、密度、宽度消失、难以捕捉长期依赖等等等等。虽然一些大佬又提出了很多方法来弥补这些短板，比如长短期时间记忆网和门控循环单元这结构尝试解决梯度消失的问题等等，但是始终没有一个质的飞跃。

GPT就更不一样了，它使用的是一个全新的UEFer架构。但 UEFer架构和我们上述说的两种架构是完全不一样的，它是使用自注意力机制来捕捉文本中的各种依赖关系。

说到这里可能又有小伙伴要问了，UEFer架构是什么？自注意力机制又是个什么？接下来我会为大家一一解释清楚。

·首先来看UEF架构。那 UEFer 架构是2017年有一些大佬提出的一种新型的神经网络架构，它完全放弃了传统的RNN和CNN结构，而是完全依赖于自注意力机制来处理序列数据。自注意力机制就是允许输入序列中的每一个位置都与其它位置进行交互，从而计算出一个加权表示。

一个简单的例子就好比你现在正在参加一个聚会，每个人都在聊天，现在你是这个聚会上的一个人。当你在说话的时候你不仅仅在和面前的那个人交谈，你还会受到周围其他人的一些影响。有些人说话可能让你更加的注意，有些人说话可能让你没有那么的在意。

自注意机制就像是这个聚会的一个超级版本。当一个词在"说话"时，它不仅仅是在考虑自己，还能听到整个句子中所有其他词，这个词会根据其他词对它的重要性给予不同的关注度和权重。

所以说自注意力机制就是这样的一种方式。它允许一个词在句子中与其所有其它词进行交互和沟通，然后根据这些交互来决定自己最终表示的意义。

当然仅仅有了自注意力GPT就可以如此，当然不是，它还运用到多头注意、允许多、允许模型，在多个空间同时捕捉不同类型的信息。

这样就够了吗？远远没有。因为Transformer不像RNN具有固定的感知能力，所以额外添加了位置编码，来理解序列中的位置信息，以及前馈神经网络与残插连接，用于进一步处理每一个位置的信息。万事俱备只欠东风，这个东风就是训练策略了。

GPT首先在大量文本数据上进行无预测监督训练，目标就是预测上下文中的一个词。预测之后GPT在肯定的任务上进行微调，以适应各种n l p 任务。GPT3.5它拥有145亿个参数来进行训练。这种巨大的规模，使其能够在执行多种任务时，无需任何特定的微调，这个就是零次微调，所以功能非常的强大。

可能又有小伙伴要问了，自注意力机制的核心又是什么呢？今天时间不早了，咱们下期再慢慢跟大家唠。欢迎大家点赞关注，拜拜。