科学、创新和技术部消息，16家全球人工智能（AI）技术公司已经就一系列安全问题达成共识，这是一项具有历史意义的里程碑。这些新的承诺包括不开发或部署无法充分降低风险的AI模型，这些公司包括来自美国、中国和中东地区的公司。这一重要协议是在AI首尔峰会的开幕日（5月21日，星期二）达成的，是一次世界首次。
截至目前，中国的智谱科技（Zhipu.ai）和阿联酋的科技创新研究所（Technology Innovation Institute）等公司已经签署了新的“边缘AI安全承诺”。除了这两家公司外，还有以下16家AI技术公司也加入了这一倡议：
亚马逊（Amazon）
Anthropi
Cohere
谷歌 / 谷歌深度学习（Google / Google DeepMind）
G42
IBM
Inflection AI
Meta
微软（Microsoft）
Mistral AI
Naver
OpenAI
三星电子（Samsung Electronics）
科技创新研究所（Technology Innovation Institute）
xAI
智谱科技（Zhipu.ai）
这些AI技术公司将在尚未完成的情况下，每家公司都会公布安全框架，阐明他们将如何评估他们的边缘AI模型的风险，例如检查技术被不良行为者误用的风险。这些框架还将概述在严重风险未充分减轻的情况下，“将被视为不可容忍”的情况以及公司将采取的措施，以确保不会超过阈值。在极端情况下，这些公司还承诺“如果无法减轻风险，则不会开发或部署模型或系统”。
就这些阈值的定义而言，公司将从相关方，包括主要政府，那里获得意见，然后在2025年初法国AI行动峰会之前公布。签署了这些承诺的16家公司代表了世界上最重要的AI技术公司，包括来自美国和中国的公司，这两个国家是世界上最大的AI大国。
首相里希·苏纳克表示：
能够有这么多来自全球不同地区的领先AI公司都同意遵守AI安全方面的相同承诺，这是世界上第一次。这些承诺确保了全球领先的AI公司将就其发展安全AI的计划提供透明度和责任。这为制定AI安全的全球标准树立了先例，将释放这一变革性技术的好处。
英国的Bletchley峰会取得了巨大成功，我们与韩国共同在AI首尔峰会上取得了具体进展，延续了这一成功。
技术部长米歇尔·多兰表示：
只有当我们能够掌握风险时，人工智能的潜力才能得以释放。确保AI安全的责任在我们每个人身上，而今天的协议意味着我们现在从全球的AI公司那里得到了加强的承诺，并在全球范围内获得了更好的代表。在AI安全方面，英国是世界领导者，我将继续鼓励其他国家，让AI安全牢牢地置于全球议程之上，并充分利用Bletchley的影响力。随着更强大的AI模型投入使用，以及全球范围内更多的安全测试即将进行，我们正在带头应对AI风险，以便利用其对经济增长的变革性潜力。
韩国部长李表示：
确保AI安全对于维持近期人工智能技术的显著进展至关重要，包括生成式人工智能，在最大程度上实现AI的机遇和利益，但这不可能仅靠单个国家或公司的努力就能实现。在这方面，我们热烈欢迎全球AI公司与韩国和英国政府合作在“AI首尔峰会”期间制定的“边缘AI安全承诺”，我们期待公司在AI的整个生命周期中，包括设计、开发、部署和使用中，实施有效的安全措施。我们相信，“边缘AI安全承诺”将在全球AI行业生态系统中建立起最佳实践，并希望公司将继续与政府、学术界和民间社会进行对话，并在未来与“AI安全研究所”建立合作网络。
这些承诺是在六个月前在Bletchley Park与领先的AI科技公司达成的具有突破性的协议的基础上制定的，同时也构成了其他现有承诺（如美国的自愿承诺和广岛行为准则）的补充。
国际和平卡内基基金会总裁蒂诺·昆尔表示：
随着世界继续就边缘AI模型带来的机遇和风险进行探讨，政府、私人机构和公民社会都扮演着关键角色，必须找到有效的合作方式。在首尔峰会上宣布的安全承诺将在加强有效治理方面发挥核心作用，并帮助各国在创新和安全之间取得明智的平衡。
谷歌DeepMind公司法律总顾问兼治理负责人汤姆·卢说：
这些承诺将有助于在领先的开发者之间建立重要的边缘AI安全最佳实践。这一协议展示了专注于国际安全峰会的价值，在这里可以进行科学基础的讨论。
LinkedIn和Inflection.AI联合创始人雷德·霍夫曼说：
人工智能正在为人类生活和工作带来巨大改善。但是，正确导航风险也非常重要。这些承诺对于管理高级人工智能的最严重风险是一个重要的进步。”
我们赞赏英国和韩国确保全球开发者实施边缘AI安全最新标准。我们期待在未来的法国AI峰会上与其他公司一起讨论我们的安全框架。
智谱AI首席执行官彭张说：
通用人工智能（AGI）有望改变我们生活的许多方面，但是随着这一先进技术的出现，我们承担着确保AI安全的重要责任。随着我们深入探索AGI的领域，优先考虑发展健全的安全措施，使AI系统与人类价值观和道德标准保持一致，从而保护我们在AI驱动的世界中的未来，这是至关重要的。
世界领先的AI研究员、图灵奖获得者、国际科学报告关于先进AI安全的主要作者约书亚·本吉奥教授说：
我很高兴看到来自全球各地的领先AI公司签署了边缘AI安全承诺。特别是，我欢迎公司在极端风险情况下停止其模型，直到使其安全以及他们采取的提高风险管理实践透明度的步骤。
这种自愿承诺显然必须与其他监管措施相配合，但这无疑是建立一个国际治理体系的重要一步，以促进AI安全。
AI治理中心主任本·加菲尔克说：
这些承诺对于国际AI治理是一个至关重要且具有历史意义的一步。我期望它们将加快制定负责任的AI开发的共享标准，帮助公众判断个别公司在安全方面是否做得足够，并支持全球各地的知情政策制定。
亚马逊全球公共政策和总法律顾问大卫·扎波斯基说：
亚马逊很自豪地支持边缘AI安全承诺，这在很多方面是一个多年努力的结晶，以确保边缘AI的安全、安全和可信赖的开发和部署。随着AI的最新技术不断发展，我们认为重要的是公司透明地说明他们是如何管理边缘模型的潜在风险并履行他们的全球承诺。
清华大学人工智能产业研究所主任张亚勤教授说：
我强烈欢迎世界领先的AI公司承诺管理由边缘模型提出的最严重风险。这些承诺由一组多样化的中国、美国和国际公司作出，代表了公开透明AI风险管理和安全程序的重大进步。
多伦多大学Schwartz Reisman技术与社会主席吉莉安·哈德菲尔德说：
尽管新模型的能力正在迅速发展，但明显的是，公众和政府领导者缺乏能力来评估和减轻边缘AI模型可能带来的风险。边缘AI安全承诺是朝着切实有效的AI监管迈出的重要一步，展示了在AI安全最佳实践、增加公开透明度方面的共同承诺，并提供灵活性，以允许随着形势的变化而变化。
OpenAI全球事务副总裁安娜·马坎朱说：
边缘AI安全承诺是促进先进AI系统安全实践更广泛实施的重要一步，例如OpenAI去年采用的“准备框架”。AI安全领域正在迅速发展，我们特别高兴地支持这些承诺强调与科学一起改进方法的重要性。我们仍然致力于与其他研究实验室、公司和政府合作，以确保AI安全并造福全人类。
边缘模型论坛执行董事克里斯·梅塞罗尔说：
今天宣布的承诺对于边缘AI安全是一个重要的进步——主动识别、评估和管理风险对于最有能力的AI系统的安全开发和部署至关重要。我们期待与行业、政府和科学界合作，将承诺付诸实践。
技术创新研究所首席执行官纳吉瓦·阿拉吉博士说：
AI时代已经到来，社会的机遇是巨大的。生成式AI和大型语言模型的威力已经改变了行业，但为了最大程度地利用AI的潜力，我们必须将信任和安全放在技术发展的核心。技术创新研究所坚信信任和安全的人工智能，致力于开源其大型语言模型，我很高兴能与首尔的其他全球AI参与者一起讨论并概述AI的路线图，为我们所有人的未来开辟安全而繁荣的方向。
xAI的安全顾问丹·亨德里克斯说：
这些自愿承诺建立了全球主要AI公司对基本安全标准的共识。这有助于奠定具体国内监管的基础。
中国长期人工智能中心主任易增教授说：
这些承诺不仅应该在原则上受到欢迎，而且应该得到支持以采取行动。在整个AI的全生命周期中评估风险，并为具有意义、有效和充足的人类控制设置风险阈值，是提高边缘AI安全水平的核心。
需要广泛分享可行的风险评估经验，以确保错误不会在不同机构、公司和国家之间一次又一次地重复。阈值需要是可互操作的，以便我们编织出安全的AI网，确保安全不仅是为自己，而且是为他人和全人类的安全。
微软副主席兼总裁布拉德·史密斯说：
2016年，微软开始着手实施一个以原则和以人为本的方法，以安全、安全和可信赖的方式推进AI系统的发展。边缘AI安全承诺是对安全框架必须如何帮助解决在AI发展前沿可能出现的风险的重要认可，特别是随着其能力的提升。科技行业必须继续调整政策和实践，以及框架，以跟上科学和社会的期望。
IBM首席隐私与信任官克里斯蒂娜·蒙哥马利说：
IBM相信，有效的监管与企业责任会让企业和整个社会从AI的益处中受益。因此，我们自豪地继续我们的国际合作和我们对这些技术安全和负责任开发的承诺，通过AI首尔峰会。
北京人工智能安全与治理社会企业康科迪亚AI的创始人兼首席执行官布莱恩·谢说：
边缘AI安全承诺在高级AI模型的风险管理方面是一个关键的前进步骤。在Bletchley Park制定的基础上，这些承诺使边缘AI开发者对其最强大系统带来的风险负责。我期待与AI开发者、政府、第三方评估者和其他利益相关者合作，确保AI安全标准的最高水平，以造福全人类。
METR创始人兼首席研究员贝丝·巴恩斯说：
我们认为在AI开发变得不安全并且没有足够的缓解措施时，国际上达成关于“红线”的协议至关重要。我们很高兴看到许多各方同意在边缘AI安全承诺中确定这些红线。我们钦佩英国和韩国在确立这些承诺方面的领导力。
Anthropic全球事务负责人迈克尔·塞利托说：
边缘AI安全承诺强调了安全和负责任的边缘模型开发的重要性。作为一个关注安全的组织，我们将实施严格的政策，进行广泛的红队测试，并与外部专家合作，确保我们的模型安全。这些承诺是鼓励负责任的AI开发和部署的重要一步。
Meta全球事务总裁尼克·克莱格说：
确保安全和创新手牵手比以往任何时候都更加重要，因为行业继续寻求建立和发展新的技术。我们期待与全球AI公司合作，制定和实施符合我们承诺的框架。
来自OpenAI的工程副总裁赫尔曼·史密斯说：
这些边缘AI安全承诺标志着在开发这些技术方面的进步。我们很高兴能与其他公司一起，在全球范围内实现了更高的透明度和责任，以确保我们对AI技术的使用始终是负责任的。
通过这些承诺，全球AI公司在AI安全方面确立了共同的目标和责任，这是一个重要的里程碑。这些努力将有助于确保AI技术的发展是负责任的，符合人类的价值观和道德标准。
(编辑记者： Li Li, 美编：Helen, 图片来自网络)