Code interpreter插件让chatGPT睁开眼睛？！科研图片类数据处理马上迎来新变革！

分享 | 做科研的大师兄

我们上周分享了chatGPT的重磅插件code interpreter，错过的点下面文字链接跳转复习：重磅！chatGPT开放code interpreter插件，从此数据分析及作图有手就行！

通过上篇推文大家已经看到了code interpreter插件在科研数据处理中的强大之处，动动嘴就可以让chatGPT为你打工，进行数据整理和可视化甚至统计分析！

Bilibili video ID：BV1D14y1o7Xk

同样的，我们在上篇推文末尾给大家埋了一个伏笔，就是说code interpreter插件不仅允许我们上传数据表格到chatGPT进行数据分析可视化，而且还可以上传更多类型的文件，包括图片、视频、音频等格式。

相信看到这里，很多聪明的的小伙伴已经敏锐地察觉到了code interpreter在科研图片类数据处理中也可能有潜在用武之地！

本篇推文将一个模式化的图片（如下图）为大家展示一下code interpreter是否真的让chatGPT睁开了双眼，能够看到我们图片中信息并给出正确反馈！

我们使用上图所示测试图片（命名：微信图片_20230708203618.png；将不同大小、颜色的圆点放在一张图片），通过code interpreter上传输入给chatGPT（如何上传，参考上篇推文），然后针对图片进行提问，评估GPT的反馈。

当我们上传完成后，可以看到chatGPT已经接收到信息，并反馈得到一张名为‘微信图片_20230708203618.png’的图片，并且可以帮我们针对该图片进行分析和操作。

为了评估chatGPT是否真的能看到图中信息，我们先提第一个问题如下图。

通过反馈结果，看到chatGPT调用了code interpreter插件，回答图片中包含7个圆，非常正确！

接着我们再升级一个难度，继续第二次提问如下图。

通过反馈，我们看到chatGPT准确辨别出来图片中包含2个大小不同的黄色的圆，甚至圆的半径比例（没有现实比例尺作参考，所以只能给个相对比例）也给我们做了测量！

上面的测试可能太简单，没问题，我们直接再上一个难度—逻辑运算+计算！

通过反馈，可以看到code interpreter插件真正让chaGPT睁开了双眼，可以帮我们看到并正确提取图片中的信息！

虽然这里测试用的是最简单的模式图片，但已经让我们能够联想到科研中有不少图片类数据需要进行数据提取，比如荧光定位、细胞计数、染色定量定性等等应用场景。code interpreter如果能应用到这些场景中，将极大提升我们的科研效率分析结果的统一性和可信度。

Code interpreter帮助chatGPT识图的底层原理是调用python中的opencv等图像处理库来完成。出于安全性考虑，目前code interpreter暂时不允许联网，因此只能用一些简单的内置的图像处理python库，所以当我们实际使用中当然还会发现一点点不足，比如个别颜色识别失误等。相信后续code interpreter实现联网，就将具有随时下载最新最前沿的图像处理python库，届时才是chatGPT在科研图片类数据处理中大放异彩的时刻，我们共同期待！

关注大师兄，科研不迷路！