科普新知 | 三分钟了解ChatGPT

Generative Pre-trained Transformer生成型预训练变换模型

GPT是”Generative Pre-trained Transformer“生成型预训练变换模型的缩写，目的是为了使用深度学习生成人类可以理解的自然语言。目前我们讨论的GPT一般指的是GPT-3，显而易见，在之前还有GPT-2和GPT。

GPT-3是由人工智能公司OpenAI训练与开发，该模型设计基于谷歌开发的变换语言模型。GPT-3的神经网络包含1750亿个参数，为有史以来参数最多的神经网络模型。OpenAI于2020年5月发表GPT-3的论文，微软在2020年9月22日宣布取得了GPT-3的独家授权。

ChatGPT: 为对话而优化的语言模型

按照OpenAI官方的说法“我们已经训练了一个名为 ChatGPT 的模型，它以对话的方式进行交互。对话模式使 ChatGPT 能够回答连续的问题、承认错误、质疑不正确的前提并拒绝不恰当的请求。ChatGPT 是InstructGPT的兄弟模型，InstructGPT模型被训练为遵循对话中的指令并提供详细的响应。”

聊天机器人ChatGPT