用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

​上周五,OpenAI刚刚宣布了惊爆的消息,ChatGPT可以联网,接入第三方插件了!

而除了第三方插件,OpenAI也介绍了一款自家的插件「代码解释器」,并给出了几个特别的用例:解决定量和定性的数学问题;进行数据分析和可视化;快速转换文件格式。

此外,Greg Brockman演示了ChatGPT还可以对上传视频文件进行处理。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

而一位叫Andrew Mayne的畅销作家、OpenAI的创意应用程序和科学传播者,立马就试了一把——把代码解释器(Code Inerpreter)接入ChatGPT。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

感受就是,太丝滑了!

以前用ChatGPT写代码时,总是需要把代码拿出来,再放到另一个环境里去测试。

而现在,根本不需要离开当前的界面,直接就可以在ChatGPT中开发了。

只要我们把这个代码解释器添加到数据分析、绘图功能中,就诞生了一个强到发指的编码和研究工具。

OpenAI全新插件系统:代码解释器

目前,代码解释器只能在少量的库上运行Python,而即使用最基础的库,它能做的东西也非常多,非常有趣。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

另外,除了生成代码,代码解释器(CI) 还可以分析输出,并将其用于另一个函数。

因此,我们可以将不同的代码串在一起,获取其中一个的输出,再提供给另一个。

这个吃豆人gif就是这么生成的:CI用算法生成迷宫,把迷宫变成方块,用算法找到出口,做成吃豆人的样子,然后生成gif。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

以下是Mayne使用ChatGPT的代码解释器插件,进行随机实验的一些示例。

创建机器学习模型 (某种程度上)

虽然目前ChatGPT无法将任何机器学习库加载到代码解释器中,但我们可以使用n-gram进行一些基本的统计文本生成。

如下例子中,通过给它提供一本书,要求它创建一个预测算法,然后预测文本序列中的下一个单词。

GPT用n-gram模型生成了算法:

下一个单词预测是一项自然语言处理任务,可以使用语言模型来解决。建立语言模型的一种简单方法是使用n-gram模型。

n-gram模型是一种基于统计的语言模型,它根据前n-1个单词来预测下一个单词。例如,如果我们选择n=3(即三元模型),则模型将基于前两个单词来预测下一个单词。

以下是一些代码,可以帮助您从头开始构建三元模型。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

声音

因为ChatGPT可以理解很多数学数据,并且CI能够生成可下载的文件,因此Mayne尝试了下用ChatGPT生成Shepard音调。这是一种独特的音调,能够个人造成一种音调在不断变高的错觉。

ChatGPT不仅顺利地完成了任务,还直接用CI生成了一个wav文件。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

打开听一下这个Sheperd音,感受就是,两个字——完美!

既然ChatGPT生成的Sheperd音这么完美,Mayne就更进一步,让ChatGPT来生成一个康威生命游戏的会话,然后转换为音乐。

(康威生命游戏是剑桥大学康威设计的计算机程序。这是一款图灵完备的零玩家游戏,意味着它的演化取决于它的初始状态,不需要进一步的输入。)

第一遍的时候,ChatGPT生成的音乐有点太随意,Mayne要求它生成更愉悦的音乐,于是ChatGPT应用了五声音阶,听起来果然不错。

game_of_life_pentatonic_slow音频:​00:0000:14​

ChatGPT的表现太过优异,Mayne大为兴奋,他已经开始设想一整张数学音乐专辑了,比如(斐波那契数列、Mandelbrot 集、元胞自动机)。

随后,他要求ChatGPT为《康威生命游戏》这首歌生成一个专辑封面。由于它没有连接到DALL-E,Mayne要求它从模拟帧生成图像。

专辑封面如下。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

二维码

而看着这张专辑封面,Mayne马上意识到或许可以用ChatGPT生成一个有效的二维码。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

Mayne让它为OpenAI的网站生成一个二维码,结果如下:

那么,ChatGPT可以创建一个以二维码结尾的康威生命游戏吗?

是的,它可以。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

图片

另外,Mayen发现,使用OpenCV和一个简单的面部识别算法(Haar Cascade 分类器),CI就能够创建一个函数,来进行人脸识别。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

使用OpenCV进行人脸识别

现在,ChatGPT可以自己打开和读取文件了,也就意味着理论上它可以使用这些数据生成新的东西。比如,把一张图转换为ASCII的形式。

上传图片:

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

转为ASCII:

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

生成动画

通过代码解释器,可以生成数据,并将其输出包括gif在内的不同格式。

首先,让它做一个弹跳块:

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

然后是暴风雪:

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

接下来是「生命游戏」,正是这款游戏启发了二维码模拟实验。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

试图让代码解释器使用矢量化的立方体来生成「旋转的立方体」。在尝试了其他方法之前,这是能够得到最接近的结果:

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

OCR

研究称,光学字符识别(OCR)是代码解释器中的一个库。通过用网站截图进行测试,果然可以识别。

将OCR与一个功能强大的语言模型GPT-4结合起来,可以为修复旧文档提供了一些有趣的可能性。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

上图可以看出,OCR能从整张图片中提取部分文本,但结果仍不完整,且带有噪声。

由此看来,在处理低质量或扭曲的图片时,OCR可能会有限制。如果你需要从图片中获取具体信息,同时也需要手动转录部分内容。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

日历邀请

尽管代码解释器没有访问ics库的权限,但它可以生成一个纯文本的日历邀请,然后让ChatGPT将其保存为.ics文件。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

画画

尽管已经有一些GPT-4生成可缩放矢量图像(SVG)的有趣例子。但我还是很好奇 ChatGPT 和代码解释器能对简单的图像块做些什么。

我让它画了一只猫,它创作了类似猫的东西。为了确保它不是凭记忆做出的,我要求它画一个蓝色的高顶帽和烟斗。虽然不完全是我想象中的高顶帽,但仍然是一个帽子,是蓝色的。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

一只戴着帽子、抽着烟斗的猫:

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

一只戴着「帽子里的猫」式样帽子,还有抽着烟斗的猫:

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

模拟器

通过使用Matplotlib库,我成功地让ChatGPT生成了内部行星轨道的模拟,并将其保存为gif。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

我接着思考能否让ChatGPT模拟一局跳棋,并设法移动了棋子,但是出于礼貌没有拿走对手的棋子。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

能否模拟一局象棋?首先我让ChatGPT创建自己的棋盘库(一个非常简单的棋盘库,有一些限制和不太合法的移动……),然后使用Unicode表示棋子,之后,它可以模拟一场游戏的开始,并将其保存为.gif文件。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

下面是我和ChatGPT进行象棋模拟时的对话。可以看到,我只是给了一些指示,ChatGPT和代码解释器做了剩下的工作。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

如上是Andrew Mayne对ChatGPT和代码解释器插件的一些探索。

网友看后点评,LLMs越来越像一位真正的程序员,不仅可以建议代码片段,还可以编写整块代码、运行代码,并给你输出进一步的指导和反馈。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

还有人表示,即使停下手下的事,也要看看这篇关于GPT-4代码解释器插件用例的文章。这完全是疯狂的,并将改变一切。

用ChatGPT秒建大模型!OpenAI全新插件杀疯了,接入代码解释器一键get

参考资料:

​https://andrewmayneblog.wordpress.com/2023/03/23/chatgpt-code-interpreter-magic/​

文章版权声明

 1 原创文章作者:7882,如若转载,请注明出处: https://www.52hwl.com/63196.html

 2 温馨提示:软件侵权请联系469472785#qq.com(三天内删除相关链接)资源失效请留言反馈

 3 下载提示:如遇蓝奏云无法访问,请修改lanzous(把s修改成x)

 免责声明:本站为个人博客,所有软件信息均来自网络 修改版软件,加群广告提示为修改者自留,非本站信息,注意鉴别

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023年7月17日 上午9:30
下一篇 2023年7月17日 上午9:30