AI 联盟的成员包括 MLCommons、谷歌、微软和 Meta，计划在今年晚些时候发布一个用于测量生成式 AI 模型安全性的工具包。该 AI 安全基准测试大规模语言模型 (LLM) 是否表现出不当反应并评估其安全性。该基准为法学硕士提供文本问题，以引出与仇恨言论、剥削、虐待儿童和性犯罪相关的危险反应，并将这些反应评级为安全或不安全。
该基准还确定了与知识产权侵权和诽谤相关的问题反应。在发布LLM之前，AI供应商可以运行这些基准测试并将其提交给MLCommons进行安全评估，结果将被公开。企业、政府和非营利组织可以使用基准作为测试套件来识别人工智能系统的弱点，并为法学硕士的改变提供反馈。
MLCommons 以其 MLPerf 基准而闻名，该基准已成为衡量硬件上人工智能性能的标准，并在健康、科学和安全等领域开发人工智能衡量工具。人工智能系统的安全性已经受到广泛关注，下个月黑帽大会将举办人工智能安全会议。美国政府鼓励私营部门对人工智能开发采取安全第一的方法，并发布了一项行政命令，概述了联邦机构内负责任地开发和使用人工智能。
AI安全基准于去年初公布，概念验证模型0.5版于4月发布。目标是在 10 月 31 日之前发布稳定版本 1.0。最初的基准测试将评估聊天机器人式法学硕士的安全性，并有可能在未来扩展到图像和视频生成。
【新闻评论】
名为 MLCommons 的人工智能联盟宣布了一项评估人工智能安全性的新举措。该联盟包括谷歌、微软和Meta等主要科技公司。他们计划在今年晚些时候发布一个用于测量生成人工智能模型安全性的工具包。该工具包测试大规模语言模型 (LLM) 是否表现出不适当的响应并执行安全评估。
该基准为法学硕士提供了文本问题，旨在引发与仇恨言论、剥削、虐待儿童和性犯罪相关的危险反应。它还确定了与知识产权侵权和诽谤相关的问题反应。这些反应被评为安全或不安全，AI 供应商可以使用此基准来评估其 LLM 的安全性，然后再发布它们并将其结果提交给 MLCommons 进行发布。
这一举措是出于对人工智能系统安全性的广泛担忧而推动的。虽然人工智能提供的潜在好处是巨大的，但它也带来了毒性、错误信息和偏见等风险。需要行业标准安全测试来最大限度地降低这些风险，同时实现效益。
该基准旨在提供反馈以提高人工智能系统的安全性。企业、政府和非营利组织可以使用该基准作为测试套件来识别其人工智能系统中的弱点并对法学硕士进行更改。
然而，随着人工智能的快速发展，维护安全已成为一项艰巨的挑战。研究人员正在寻找通过恶意数据和模型毒害人工智能模型的方法。在这种情况下，追求安全就像追车一样，需要不断努力才能跟上不断发展的人工智能技术的步伐。
该基准测试的发布是确保人工智能技术安全的重要一步，但确保人工智能的安全需要随着技术的发展不断更新和改进。人工智能安全辩论引发了技术、伦理和法律领域的复杂问题，不同利益相关者之间的合作对于解决这些问题至关重要。