蚂蚁集团最近也出来炸场了，9月推出了自研KAG框架，直接掀翻朴素RAG，提升了一倍性能！近日也终于开源。

这个KAG框架其实是一种知识增强技术，为了解决模型在理解和生成专业知识方面的不足。这种技术可以提高模型的性能和质量，让模型能更准确地回答涉及专业知识的问题，给我们提供更高效、便捷的知识服务。

因此在很多场景中，特别是智能问答系统、教育个性化等，知识增强是我们的首选，自然也成了研究热点，相关成果效果绝佳，比如AudioBERT方法，预测准确性提高了40%+；KnowAgent框架，保证性能的同时提升了12倍参数效率。

除此以外，还有一些很值得学习的知识增强新方法，我从中挑选了10篇，简单提炼了可参考的创新点，希望可以给同学们提供论文灵感。

扫码添加小享，回复“知识增强”

免费获取全部论文+开源代码

KAG: Boosting LLMs in Professional Domains via Knowledge Augmented Generation

方法：作者通过引入知识增强生成（KAG）框架解决传统RAG方法在专业知识服务中的局限性，重点在于利用知识图谱和向量检索互相增强，提升生成和推理性能。多跳问答任务验证了其优越性，显著提升了问答的专业性和准确性。

创新点：

• 引入了知识图谱与原始文本块之间的相互索引结构，增强了跨文档链接的能力。

• 设计了逻辑形式引导的检索方法，有效结合稀疏和密集检索技术，适应不同类型的查询，特别是需要多跳推理的问题。

• 大语言模型和知识图谱之间的双向增强，提高了生成和推理性能。

AudioBERT: Audio Knowledge Augmented Language Model

方法：论文通过一个高效的LLM数据生成管道引入首个用于评估语言模型听觉知识的基准数据集，发现文本预训练语言模型在听觉常识上不足，并提出通过自适应检索和利用听觉知识（使用可切换LoRA方法）注入听觉知识，提高多模态适应性。

创新点：

• 引入了首个用于评估语言模型听觉知识的基准数据集，称为AuditoryBench。

• 提出了AudioBERT，一种新颖的检索框架，用于将听觉知识注入预训练语言模型。

• 通过检测文本中需要听觉知识的部分，并利用CLAP模型检索相关音频。

扫码添加小享，回复“知识增强”

免费获取全部论文+开源代码

Knowagent: Knowledge-augmented planning for llm-based agents

方法：论文提出了一个名为KnowAgent的框架，通过整合外部动作知识来增强大型语言模型的规划能力，解决规划幻觉问题，采用知识自学习策略优化任务路径，实验结果表明KNOWAGENT在HotpotQA和ALFWorld数据集上的表现优于现有基准。

创新点：

• 引入知识自学习策略，通过迭代微调帮助模型深入理解动作知识。

• 通过动作知识库，约束模型的动作生成路径，提高规划路径的合理性。

• KnowAgent框架显著提升了模型性能，使250M参数的T5模型在MedQA-USMLE和StrategyQA测试中达到3B参数模型水平，提升了12倍参数效率。

Mllm is a strong reranker: Advancing multimodal retrieval-augmented generation via knowledge-enhanced reranking and noise-injected training

方法：论文提出了一种名为RagVL的框架，通过知识增强的重排序和噪声注入训练来改进多模态检索增强生成。研究采用了简单的指令模板进行重排序训练，并在生成过程中引入视觉噪声，以提高模型的鲁棒性。

创新点：

• 引入知识增强的重排序机制，通过调优的大型多模态语言模型来精确筛选与查询最相关的图像，显著提高检索和生成的准确性。

• 在训练过程中引入数据和标记级别的噪声，通过对比原始和失真输入的对数几率，增强模型的鲁棒性，减少多粒度噪声干扰，改善多模态检索增强生成的效果。

扫码添加小享，回复“知识增强”

免费获取全部论文+开源代码