Meta推Purple Llama AI检测套件，帮助开发者评估AI安全
2023-12-08 19:40:19 作者：姚立伟
Meta 推出 Purple Llama AI 检测套件，旨在帮助开发者检测和评估生成式 AI 的安全性。该套件提供了一系列工具，包括“CyberSec Eval”评估工具和“Llama Guard”输入输出安全分类器。Meta 表示，未来将会有更多的工具加入这一套件。
Purple Llama 套件是基于安全领域的“紫队概念”命名的，其作用是在攻击和防御策略中兼顾评估和缓解 AI 模型的潜在威胁。“紫队”是“攻击红队和防御蓝队”的结合，而 Purple Llama 套件能够量化大模型在网络安全风险指标，并评估代码漏洞等。
此外，Purple Llama 套件还能检查并过滤模型的输入和输出内容，以防止黑客对相关模型进行越狱行为。Meta 表示，在未来将会持续改进 Purple Llama 套件，并与微软、AMD、亚马逊、谷歌、英特尔、英伟达等公司合作，将 Purple Llama 评估套件整合进行业模型评估基准中。
这项新的 AI 检测套件为开发人员提供了更多可靠且高效的方法来确保他们所使用的 AI 模型具有较高的安全性。随着数字化时代的不断发展，对于像 Purple Llama 这样的工具的需求也将不断增加。因此，我们可以期待 Meta 将继续推出更多类似的创新产品，以满足用户对于安全性和高效性不断提升的要求。
