戳下方卡片→ 点击“...” → 点“设为星标 ★ ”不错过每篇好文章！
结论：差距很大，并且是全方位的差距。ChatGPT在GPT-4面前就是“小学生”对“大学生”一般的差距。
先看一些官方的测试结果，再给一些自己测的典型用例。
在本文介绍的所有测试中，ChatGPT都明显弱于GPT-4。
官方测试所涉及的能力：
视觉能力
代码能力
数学计算能力
工具使用能力
与人的交互能力
人类专业考试的能力
自己测的一些能力：
作为推荐算法的能力
实体抽取的能力
1. 微软的测试结果
这部分测试结果来自于微软针对GPT-4的研究论文《Sparks of Artificial General Intelligence: Early experiments with GPT-4 》。这篇论文测的是GPT-4的一个早期版本，它在训练阶段仍只用了文本数据，没有图像。所以从训练数据的类型来看，它和ChatGPT是一致的。
1.1 视觉能力
GPT-4的一个强大能力是它从纯文本中产生了视觉概念，但ChatGPT没有这种能力。
第一个测试方法是让模型用SVG（一种简易的图像格式）生成“汽车”、“卡车”、“猫”和“狗”。GPT-4和ChatGPT生成的图像如图1和图2所示。
1.2 代码能力
论文中有很多复杂的例子，比如让GPT-4按照文字描述写一个PyTorch的优化器；让GPT-4对一段代码进行单步运行；让GPT-4对一段伪代码进行单步运行并分析等等。在所有这些测试中，GPT-4都明显优于ChatGPT。这里挑一个简单一点的示例，代码也比较短，如下图所示。
1.3 数学计算能力
题目大致如下。有一群兔子，在每年年初时，它们的数量为变为原来的a倍。在每年年底时，这群兔子中有b只兔子会被抓走。假设最开始有x只兔子，三年后兔子总数时27x - 26，求a和b。
GPT-4和ChatGPT的解答分别如下：
很容易看到，GPT-4答的非常好。而ChatGPT基本没理解到题目的意思。
2. OpenAI的测试结果
这一部分结果来自OpenAI的GPT-4论文。
第一个测试是人类参与的专业考试，测试结果如下图所示。
图中的柱状表示百分位数。比如，第六列的Uniform Bar Exam（律师资格考试），ChatGPT（GPT3.5）大概是垫底的10%（蓝色柱子），而GPT-4是最高的10%（绿色柱子）。图中浅绿色表示没有视觉能力的GPT-4（没有用图像数据训练），深绿色表示有视觉能力的GPT-4。
第二个测试结果是传统的“刷榜”：在一些标准的数据集上测试GPT-4的能力。结果如下。
最左侧是数据集和任务的描述。结果的第一列和第二列分别是GPT-4和ChatGPT（GPT3.5）的结果。非常明显，GPT-4的能力强太多。
3. 测试用例
这部分列举两个自己写的测试用例，这些用例涉及的场景GPT可能会比现有方法更优。
3.1 推荐
GPT对场景、上下文的理解非常深刻，因此想到的第一个场景就是让它代替推荐算法来做推荐。当然推荐本身的范畴非常大，这里以商品为例，测一下GPT对场景的理解能力。
用例设计：小明购买了新房，所以他在过去一段时间里购买了很多居家用品。测试GPT能否推测出小明当前的生活状态（即将入住新家或准备搬家）。
ChatGPT的结果如下：
GPT-4显然对场景的理解更加深刻。但它仍然过于强调了3月8日这一天的鲜花（更可能是妇女节送花）。
虽然还不完美，但GPT-4一定会使现有的推荐算法、模式（电商、短视频等等）发生巨大变化。
网友评论