现在关于机器学习与人工智能的话题依旧火热,这几天(23年2月初),Gmail谷歌邮箱的创始人Paul Buchheit还在吐槽:“ChatGPT一类的人工智能 (AI) 将颠覆谷歌,ChatGPT虽然以目前的体量无法对谷歌造成伤害,但可能会改变人们获取信息的方式。”
这话能不能验证暂时放一边,光是通过这些表述,大家也能感受出来:科技巨头对新出现的技术还是非常警惕的……关于AI内容生成的工具,上期给大家推荐过一套在本地就能免费使用、没有出图内容限制的AI制图环境,但有不少朋友说还是太麻烦了,不会操作啥的。
那么今天就给大家带来一个新东西——InstructPix2Pix,不需要自己手动部署,可以在网页上直接体验,它是开源的,如果感兴趣的话也可以部署到本地环境慢慢玩,InstructPix2Pix是一套用来进行图像编辑的算法模型。
它可以让你输入文字来进行P图操作,不需要手动操作,最简单的就是像下面这样把一个物体变成另一个物体。
除了替换物体,它还可以更改图片的风格,修改背景等,在官网展示的图片上,可以看到在增加物体之后,在水中也会出现对应的倒影。
更换图片的风格,让照片有不同时间段拍摄的感觉。
在保持图片风格的前提下,对背景进行替换。
替换图片里某个元素的颜色以及材质。
体验InstructPix2Pix时,在生成图片前可以先调整预期输出图片的权重,如果你觉得输出的图片改变内容太小,还是太保守了,那么可以在下方的权重参数里面,将文本的权重调高,图片的权重降低。
目前这个项目的输入指令不支持中文,但是问题不大,大家配合翻译工具即可食用~下面就来看一下它的实际效果如何吧,有时候比如说我们找到一张壁纸,但是上面有些元素我们不喜欢,那么也可以通过这个工具将它删除,下面是随机找到的一张图片。
美丽的风景,但是我们不想要图像里的那个人,直接丢进InstructPix2Pix,给出要求:删除图片里的人。等待一段时间后,就能看到输出结果了,可以看到这个处理模型是知道哪个地方有人的,输出的图片一眼看上去...还确实看不出那里有人。
转变成动漫风格:
利用这个工具,你还可以探索一下现在的AI是如何理解这个世界的,比如下面这张图片,是一个月亮下的背影,属于插画风格的照片。
现在我们让AI来将月亮换成太阳,如果AI不知道整体的关系的话,将中间的月亮直接替换,就会非常违和,下面是InstructPix2Pix替换之后的效果。
效果令人意外,InstructPix2Pix不只是单纯的颜色替换那么简单,整体图片的颜色也很好地改变了!
这时候有小伙伴就说了,这图不行呀,怎么出现了两个太阳?那么细思恐极的地方来了,有两个太阳的场景在现实里是由于大气光学形成的“幻日现象”,不知道AI在这里是不是就是想要这种感觉。
当然,如果你觉得这个解释有点扯了,那么可以修正一下权重,或者重新点击一下生成,就能替换图片,多尝试一下,就能得到一张比较好的图片。
转换颜色:
在较复杂的图片环境里替换背景:
有时间的话可以体验一下这个工具,感觉还是挺有趣的,就像是在拿随机口味的巧克力。InstructPix2Pix从体验来看,更偏向于对已有元素修改操作,想让它更改动作的话还是有点困难,不过谷歌之前的实验室发布了一项图片处理技术,可以做到下面这样让狗狗改变姿态。
而InstructPix2Pix则是直接整出一只新的小狗坐下了,它是懂整活的。
在体验这类文字生成内容型的AI过程中,还可以帮你学会用确切的词语来表达自己的需求,有了这样的意识,在以后跟其他人交流时也会减少误解...对了,你说变猫娘?变不了
相信不久之后如果有人将这些智能算法整合起来,不只是图像方面,将更通用的模型覆盖接入到各类软件里面,也许就像Gmail创始人说的一样,能对大家未来使用软件的方式,产生一些意想不到的改变吧。
最后,附上提到的工具体验地址。
在 果核剥壳 公众号
回复20230203获取最新链接