人工智能技术的飞速发展,多模态大模型已成为全球AI产业的新趋势,被视为通向通用人工智能的“必经之路”,产业界正加速探索大模型的“智能涌现”。云知声作为人工智能独角兽企业,凭借其深厚的技术积累和创新能力,2023年5月推出山海大模型,今年云知声更进一步,推出山海多模态大模型,该模型通过整合跨模态信息,实现文本、音频、图像等多种形式的输入与输出,为用户带来实时多模态拟人交互体验。
山海多模态大模型基于云知声自主研发的山海大模型底座构建,通过精细化数据处理技术和多模态分析技术,实现了对海量图文数据的高效整合与利用。该模型能够自动识别并提取图片及其相关文本描述,评估图文匹配度,并重新描述图片以优化数据对齐。通过预设问答场景,山海多模态大模型能够将图文对齐数据转化为高质量的场景问答数据集,为用户提供更加丰富、准确和可靠的信息检索和问答服务。
近日,云知声山海多模态大模型UniGPT-mMed在国内权威多模态人工智能模型基准评测集MMMU中取得令人瞩目的成绩,以总分57的成绩问鼎,特别是在健康与医学细分赛道上,更是超越了GPT-4V。MMMU评测由IN.AI Research等多家机构联合构建,专注于考量人工智能在解决大学层次多学科问题时的多模态理解与推理能力。评测集覆盖了艺术与设计、商科、科学、健康与医学、人文与社会科学、技术与工程六大领域,共包含1.15万个精心设计的多模态问题,对模型的学科知识储备和综合分析能力提出了极高要求。
除了此次多模态大模型在MMMU评测中夺冠,云知声的山海大模型也硕果累累,在OpenCompass、SuperCLUE、MedBench、Flageval、SuperBench等评测中表现出色,稳居国内大模型第一梯队。特别是在医疗领域,基于山海大模型孵化的医疗大模型在CCKS 2023 PromptCBLUE医疗大模型评测中获得通用赛道一等奖,并在MedBench评测中全球领先,全面超越GPT-4,进一步巩固了云知声在医疗AI领域的优势地位。
云知声将继续深耕多模态大模型技术,推动“U(云知大脑)+X(应用场景)”战略布局,赋能千行百业的智慧化升级,为全球AI产业的蓬勃发展贡献力量。