【GPT-4模型训练细节全盘泄露：1.8万亿参数量，是GPT-3的十倍！】AI奇点网7月12日报道丨OpenAI在今年3月发布的大模型GPT-4几乎所有的模型架构、训练成本、数据集等大量信息被国外一家网站泄露光光。

据爆料人透露，GPT-4之所以采取闭源，是因为他们的训练策略与方法是完全可以复制的！世界上绝大多数的科技大厂只要掌握了方法论，就可以在短期内拥有与GPT-4一样强大的大语言模型。

根据泄露的信息，GPT-4的参数量是1.8万亿，GPT-3的10倍，总共有120层。

OpenAI通过一种批量授信认可的专家训练模型来保持整体训练成本的经济性。具体而言，GPT-4拥有16个专家模型，每个专家模型训练1110亿参数。这样的传递式推理（生成一个token字段）只需要动用到2800亿参数和560TFLOP算力的运算量，大大降低了超算的负担。

在数据集构成方面，GPT-4一共进行了13万亿的token数据集训练。

在训练策略方面，OpenAI采用8路GPU张量并行运算，因为NVLink架构的极限就这么大。但除此之外，爆料者还透露OpenAI采用15路并行管线。

在训练成本方面，OpenAI训练GPT-4的FLOPS浮点计算量约为2.15（e25次方），在两万五千张A100显卡上训练量90-100天，训练有效利用率仅为32%-36%，绝大多数的训练算力都被浪费了。