主题讨论：关于ChatGPT，你怎么看？

近期，美国人工智能研究实验室OpenAI发布了一种基于人工智能技术的自然语言处理模型ChatGPT，它能够通过学习和理解人类的语言来与用户进行交流。由于其功能强大，智能表现远超此前同类产品，成功引发了破圈效应。ChatGPT上线仅5天，注册用户数就超过百万，截至目前，用户数已破亿，给全世界各个国家、各行各业都带来了不小冲击。针对这个全球热点，智能算法研究中心的老师和同学们各抒己见，开展了一次热烈的讨论。

Prof. Huang：

ChatGPT实际上是一个加了人机交互的搜索。与谷歌、百度等搜索引擎相比，它更强大的地方在于对自然语言处理的理解，即快速理解输入语句的正确语义，准确知道你真正的意图，可以找到更有深度、更多的内容。换句话来说，其实它并不是在搜索技术上的进步，而是在自然语言处理上的进步。只要知道你的意图，就能给你提供对应的信息。比补全信息更难得的是它能知道你想问什么。今天就请每位同学围绕ChatGPT，结合你们的研究或者你们能想到的后续改进，讲一讲自己的看法，然后大家可以进行讨论。

Zahid：

下面，我先讲一下我对ChatGPT的一些认识和了解。我查看了ChatGPT的官网，发现官网介绍中提到了训练ChatGPT的三个步骤，但在这三个步骤之前还有一个容易被忽视的前置步骤，即ChatGPT是在预训练模型的基础上训练得到的。预训练时使用的大规模数据集是ChatGPT的知识来源，而预训练之后训练ChatGPT的三个步骤则是对ChatGPT的微调，可以理解为我们在教会ChatGPT如何运用前面得到的知识来回答问题。

虽然目前还没有与ChatGPT相关的论文成果，但ChatGPT是通过在InstructGPT基础上换用更新的GPT模型和数据集进行训练所得到的，因此我们也可以从InstructGPT的论文中了解到ChatGPT的微调过程。微调过程中所使用的问答数据集可被划分成很多不同的类别，如讲故事、日常对话等，基本覆盖了常见的问答类型，因此ChatGPT才能在面对各种类型的提问时对答如流。

除了问答数据，ChatGPT的回答还有一个重要的影响因素——评价。ChatGPT的训练框架是强化学习，因此存在一个模块对ChatGPT的回答进行评价以决定对它的奖励或惩罚，引导ChatGPT生成评价较高的回答。而这一评价模块是通过拟合人类对部分问答数据的评价得到的，使该模块可以模拟人类的偏好对回答进行评分，最终引导ChatGPT生成符合人类偏好的回答。这一评价模块在ChatGPT中显得尤为重要，但我认为其训练过程可能会存在拟合不准确和引入偏见的问题，这将使得ChatGPT的回答不一定可靠。

Herbert：

上一个同学可能主要是从网络结构的角度分享了他的一些看法。我想从以下两方面说一下我的看法：一是可解释性问题。ChatGPT毕竟是基于深度网络的，其实它的可解释性不是特别强，如果应用到实际中，应该也会出现可解释性弱的问题。二是我认为ChatGPT在道德和伦理方面可能也存在一些问题。比方说有些学生利用ChatGPT完成作业，这违背了老师让学生通过写作业温习知识的初衷。此外，假设我们问ChatGPT对于自杀的看法，如果它给出一些负面的回答，也可能对整个国家或者社会产生不良的影响。关于ChatGPT的改进，我个人认为可以从深度学习的可解释性问题上做一些研究，尝试解决现存的一些弊病。

William：

我对ChatGPT的看法和刚才那位同学差不多，我也是考虑到它所引发的道德伦理方面的一些问题。现在已经有人用ChatGPT写论文，甚至把它当作论文作者。目前国际机器学习大会（International Conference on Machine Learning, ICML）等会议以及一些期刊已经禁止使用这种大型预训练模型来辅助写论文。ChatGPT无疑是人类科技发展史上一个比较强大的模型，但是它对伦理道德的挑战也是不容忽视的。

我认为可以从以下两方面对ChatGPT进行改进：首先，可以改进ChatGPT所使用的神经网络模型。现有的神经网络模型很难加入规则性的内容，不像“机器人三原则”这样的内容可以在程序里写定。正如上一位同学所说的，当前的神经网络几乎没有可解释性，很难将规则性的内容加入其中，因此ChatGPT如何应对伦理道德上的挑战是一个很大的问题。其次，我们不得不考虑ChatGPT可能对社会造成的影响。现在ChatGPT 给人们一种人工智能可以从各方面取代人工的危机感。未来可能出现ChatGPT2、ChatGPT3等更加强大的模型，可以自己进行算法设计和神经网络设计，甚至对神经网络进行可解释性分析，从而取代人工智能科学家，这也是我们可能面临的人工智能危机。

Conley：

在我看来，ChatGPT更像是一个知识表示编码和存储的大型机器。ChatGPT的创新很大程度上是工程层面的，而不是学术层面的。从知识的编码表示和存储上看，ChatGPT并没有做出太大贡献，它主要是把一些不同的模型、训练策略以及数据获取的手段整合到一起，最后形成一个通用的大型模型。

此外，我认为ChatGPT的成功也离不开其背后公司的宣传和推广。之前可能有一些研究所、学校或者公司做了功能类似ChatGPT的软件平台，但没有进行很好的宣传，功能上可能也不如ChatGPT强大，所以没有出圈。

在我们人类对话过程中，获取知识的过程不是平面的，而是立体的。比方说我跟你展开一个关于数学的讨论，我可能会从中联想到物理、化学、政治等其他学科的知识，甚至生活中的一些常识和变化。也就是说，我跟你在某个学科或者专业领域上的讨论可能会同时推动我在其他方面的一些进步。但是ChatGPT是用已有的一些模型去做知识表示的，我觉得可以尝试用图学习、因果学习等方式帮助ChatGPT建立更丰富、更高效的知识表示体系。目前对这种大模型的训练还是比较费时费力的，如果能够在知识表示和编码方面提高效率，或许可以促进大模型训练方式的改进，节省时间和算力资源。

另外，我查阅资料时发现，ChatGPT不光被运用在人机对话和问答方面，还被很多人用在编码和Debug上，而且在这方面表现突出。我认为ChatGPT对程序的理解和对日常对话的理解应该是不太一样的，我不太清楚这种理解上的差异是在学术上做了一些创新，还是在工程上做了一些突破，目前还没有查到相关资料，这是值得关注的。

Jane：

我也是从系统的角度来考虑的。我在资料上看到ChatGPT可以在一定程度上帮助开发者进行需求分解和设计决策，这和我的研究紧密相关。于是，我直接试用了一下ChatGPT，请它根据一段需求文本绘制一个活动图，结果是它会返回一个图片的URL地址，但是这个图片是不能显示的。我推测这并不是ChatGPT通过提取需求文本中的信息绘制的图片，而是根据它学习到的内容给出了一个与活动图相关的图片名称。ChatGPT是基于数据驱动的，但它可能并不具备真正的对复杂问题的推理能力。换句话说，ChatGPT具备广泛的知识面，能够很好地回答一些网上能搜索到答案的问题，但是并不能真正理解一些算数、算法等逻辑问题。比方说，如果你想让ChatGPT计算进行四则运算，那么它可以给出正确的结果；但是如果你想让它求解一道你出的小学数学相遇问题或者追及问题，那它就只能反馈给你一些通用的解法描述，还可能存在逻辑混乱的问题，更不用说帮你计算出正确答案了。这是我认为ChatGPT存在的最大缺陷和可以改进的地方。

Lawrence：

我也从工程和实验两方面讲讲我的看法。在工程上，由于先验数据中可能包含一些噪声，有些自然语言处理相关的模型可能会被“教坏”，在测试数据上的表现不如在训练数据上的表现，在对话中给出的回答不一定正确。如何去纠正这些错误，可能是在工程上可以去探索的一个问题。另外，在做实验时，我建议考虑以下两点：第一，如何获取训练用的数据集；第二，需要评估算力，比如训练一个模型所需要的时长，做好时间规划。

Mike：

我想分享一下关于ChatGPT版权方面的一些观点。之前AI绘画被批评就是因为其所使用的训练图片都是其他画手有版权的作品。其实文字也一样有版权。比方说，很多人在网上发布博客、文章等内容，如果其中使用了他人的内容，一般都会标注引用来源。由于神经网络的可解释性差，ChatGPT回答问题时使用的语句来源不明，我们难以说清楚它是否具有版权，在商用的情况下是否会引发侵权问题。所以，我觉得机器学习的可解释性可能不仅仅是一个锦上添花的东西，在一些版权相关或者对可靠性要求较高的应用上是十分必要的。我们需要明确AI所输出答案的来源和原因。

Zahid：

我除了从网络结构分析ChatGPT，还做了一些小测试和小实验。我发现ChatGPT在回答问题时结合了上下文信息，后面轮次的对话会跟前面的对话相关。此外，ChatGPT有时候是类似指令驱动的，我问什么，它就答什么。比方说，我尝试请它跟我下五子棋，它的回答是“可以”，然后就没有下文了，也没有任何提示。我假设存在一个棋盘网格，我接着输入一个坐标，说“我下好了”，它可能说“好，你下在这里，接下来该下一个人了”，然后又没有下文了。我说“该你下了”，它才可能会回应我一个下棋位置的坐标。我感觉它并没有真正理解自己接下来应该做什么。

不知道屏幕前的你对ChatGPT了解多少？欢迎将你的独到见解发布到评论区，跟我们一起讨论！