出品 | 搜狐科技
作者 | 潘琭玙
5月31日,面向企业用户,钉钉斜杠“/”正式启动邀请测试,本次邀测开放了钉钉群聊、文档、视频会议及应用开发等场景,涉及文生文、文生图、摘要总结和应用生成等多种AI能力,输入“/”即可让AI自动进行开发应用、写文章、画画、整理纪要等。
4月18日,钉钉在2023春季钉峰会上宣布全面接入通义千问大模型,并实景演示了部分能力。今日,钉钉斜杠“/”能力首次对外开放,现阶段主要面向企业用户定向邀测与产品共创。
大模型将实现对生产力与生产关系的变革,与之功能价值相类似,协同办公的出现也正是出于解放生产力、提升效率的目的。此前,钉钉总裁叶军也在春季钉峰会上指出,在大模型接入后,钉钉能够将人从常规、低效的工作中解放出来,钉钉负责工作,使用者负责创造。
大模型与协同办公的结合将产生何种变革?被大模型所赋能的办公工具能够多大程度提升工作效率? 搜狐科技也第一时间拿到内测邀请码,从文档、IM、视频会议与应用开发的四个应用场景测评了钉钉斜杠“/”。
能帮打工人写策划案,无法理解夫妻肺片
在文档场景下,通过输入“/”即可触发钉钉智能助手功能,智能助手可以实现续写、总结生成摘要、润色、丰富、精简当前文档内容、改写语气,也可以在多种不同场景下进行辅助创作。
搜狐科技输入“公司新发布的一款儿童电话手表,强调定位准确性与隐私保护功能”,让其生成一篇营销策划,在36秒内,钉钉智能助手从目标受众、产品特点、市场定位与营销策略四个方面生成一篇约1000字的策划,框架结构完整,但内容上相对简单,较多无意义的套话。
因此,搜狐科技进一步使用“丰富内容”的功能,生成的内容以段落式为主,细化了产品功能,在分析市场定位上引用了部分数据。但搜狐科技搜索过后,并未找到数据的来源。
基于该主题,搜狐科技也测试了文生图的能力。在输入指令“儿童电话手表产品图”后,在30秒内钉钉智能助手生成了以下的图片。因提示词中“电话”的干扰,生成的四张图中,仅有第二张图符合“手表”的产品形态;但配色、图案上,符合了提示词中“儿童”的特征。
在文心一言生图功能遭遇滑铁卢的“夫妻肺片”、“鱼香肉丝”等关键词,钉钉智能助手也未能生成对应菜品。
另外,搜狐科技也就该营销策划的主题,测试了其文生表格的能力。在指令词“华为、小米、荣耀的儿童手表在2022、2021、2020三年分别的销量”中,钉钉智能助手并没有理解“2022、2021、2020三年”,但明确拆出了品牌与销量两个类目,并且填进了相应数据,只是数据都是错误的。这意味着,在实际操作中,用户能够利用其生成简单表格框架,但仍需自行搜集数据。
在文生文、文生图与文生表格的共同配合下,用户能够很快生成一篇有参考图与框架内容的营销策划方案,但具体内容仍需依据需求进行人工细化以及语言上的优化。
在内容写作上,搜狐科技从新闻稿撰写与创意故事撰写两个方面对钉钉智能助手进行了测试。在快讯新闻写作上,钉钉智能助手生成的内容几乎可以用于发布。在囊括新闻五要素之外,也补充了足够的背景资料。
在创意故事写作方面,搜狐科技以“今天是地球上所有人类生命中的最后一天”为题目,钉钉智能助手写出了一篇短小又有情节转折的故事,甚至创作出了引人深思的空间。
随手画表格生成应用无法实现,总结提炼能力较弱
在群聊场景中,搜狐科技主要测评了其应用开发功能,答疑机器人功能以及摘要功能。
在应用开发层面,钉钉此前称可以通过手绘表格并拍照识图,但搜狐科技使用以下简单手写表格连续测试三次,钉钉智能助手都没有实现正确识别。
但在制作成电子表格的图片后,钉钉智能助手成功识别,并在表格的基础之上,自行添加了更多的类目。
另外,钉钉智能助手能够创建与训练问答机器人,通过自动学习一篇钉钉文档的内容,智能生成对话问答。据悉,机器人可一次性学习数十万字中文的文档。邀测阶段,可稳定支持20万+中文的文档。
搜狐科技通过上传与搜狐科技峰会相关的文档让其学习,但在问答环节,机器人并没有回答出准确的答案。根据文档内容中提及的事实性信息,搜狐是于1998年由爱特信更名而来。
搜狐科技以更直接的信息,再次测试了其信息搜集能力。在提供的文档中,钉钉总裁叶军在搜狐科技峰会的演讲时间是13:30-13:50,这一次钉钉机器人准确定位了信息。
另外,搜狐科技上传了另一篇英文论文的摘要与介绍部分作为其训练文档,在对文档进行总结中,机器人并没有很好地提炼出核心观点。但在搜狐科技以中文提问文章中的一处具体事实性问题,机器人成功提炼出了英文文本的关键信息,并且以中文回答。可以说,在语言转换与信息提取方面,钉钉智能助手具备较强的能力。
在群聊摘要功能上,搜狐科技将一篇新闻报道的一部分以十条群聊的形式发送到群里,钉钉智能助手所生成的摘要内容中,存在语句上的不通顺。另外,像“把大模型的钉钉卷入其中”等语句意义不明,这也意味着在内容提炼方面,钉钉智能助手并没有强大的总结能力。相比起一篇文章,日常群聊的信息可能会更冗杂以及更分散,也更考验其抓重点的能力。
另外,钉钉本次邀测还开放了视频会议的会议摘要生成功能。在钉钉会议里,打开“录制-云录制”可以在会议结束后收到一条钉钉闪记的推送,自动生成一份完整的会议内容纪要,包括重点摘要、待办事项和速记内容。