清华、阿里、RealAI等顶尖团队联合发布最新AI安全评估平台

QQ好友 微博微信好友

QQ空间复制链接想象一下，如果街道上自动驾驶的汽车因AI视觉系统受到AI算法诱导攻击，而引发行驶轨迹发生改变；或者有人通过AI技术模仿出跟你熟悉的亲朋好友一模一样的声音，找你借钱；亦或是家里的AI智能设备遭遇黑客入侵；甚至物联网更加智能的未来社会，有人植入AI智能心脏辅助设备也遭遇攻击，引发宕机，这些后果将会怎样？清华大学计算机系教授、RealAI首席科学家朱军就指出，尽管人工智能技术取得长足进步，人工智能算法的安全性仍存在严重不足，对智能技术的应用带来较大的安全隐患。6月3日，清华大学联合阿里安全、Real AI发布了首个公平、全面的AI攻防对抗基准平台，该评测基准基于清华大学在2020年GitHub开源的ARES算法库，该平台致力于对AI防御和攻击算法进行自动化、科学评估。AI模型究竟是否安全，攻击和防御能力几何？只需提交至该平台，就可见能力排行。图说：中科院院士张钹（左二）、清华大学教授朱军（左三）、阿里巴巴安全部技术总监薛晖（右一）、RealAI CEO田天（左一）等联合发布首个公平、全面的AI攻防对抗基准平台从源头保障AI模型安全“就像打仗一样，攻击者可能用水攻，也可能火攻，还可能偷偷挖条地道来攻打一座城，守城的人不能只考虑一种可能性，必须布防应对许多的攻击可能性。”参与该评测基准平台设计的阿里安全高级算法专家越丰这样比喻。尤其要关注《恋爱|大学》恶意攻击者对数据或样本进行“投毒”，故意影响AI模型的攻击行为。UIUC（伊利诺伊大学）计算机科学系教授李博认为，机器学习在推理和决策的快速发展已使其广泛部署于自动驾驶、智慧城市、智能医疗等应用中，但传统的机器学习系统通常假定训练和测试数据遵循相同或相似的分布，并未考虑到潜在攻击者恶意修改两种数据分布。这相当于在一个人成长的过程中，故意对他进行错误的行为引导。恶意攻击者可以在测试时设计小幅度扰动，误导机器学习模型的预测，或将精心设计的恶意实例注入训练数据中，通过攻击训练引发AI系统产生错误判断。好比是从AI“基因”上就做了改变，让AI在训练过程中按错误的样本进行训练，最终变成被操控的“傀儡”，只是使用的人全然不知。“深入研究潜在针对机器学习模型的攻击算法，对提高机器学习安全性与可信赖性有重要意义。”李博指出。之前的研究者在衡量模型的防御性能时，基本只在一种攻击算法下进行测试，不够全面。攻击算法是经常变化的，需要考虑模型在多种攻击算法下和更强的攻击下的防御能力，这样才能比较系统地评估AI模型的防御能力。再加上业界此前提出的各种“攻击算法排行榜”只包含一些零散的算法，测量攻击算法的环境只包含单一的防御算法，用于评测的数据集也不多，并没有合适的统计、度量标准。阿里巴巴安全部技术总监薛晖表示，参与推进这项研究工作，除了帮助AI模型进行安全性的科学评估，也是为了促进AI行业进一步打造“强壮”的AI。构建AI对抗攻防领域标准测试平台为解决上述问题，近日，清华大学、阿里安全、RealAI三方联合提出深度学习攻击防御算法及评测的基准平台。不同于之前只包含零散攻防模型的对抗攻防基准，此次推出AI对抗安全基准基本上包括了目前主流的人工智能对抗攻防模型，涵盖了数十种典型的攻防算法。不同算法比测的过程中尽量采用了相同的实验设定和一致的度量标准，从而在最大限度上保证了比较的公平性。除此之外，本次发布的AI安全排行榜也包括了刚刚结束的CVPR2021人工智能攻防竞赛中诞生的排名前5代表队的攻击算法。此次竞赛吸引到了全球2000多支代表队提交的最新算法，进一步提升了该安全基准的科学性和可信性。“通过对AI算法的攻击结果和防御结果进行排名、比较不同算法的性能，建立AI安全基准具有重要学术意义，可以更加公平、全面地衡量不同算法的效果。”朱军介绍道。图说：AI算法的攻击结果和防御结果进行排名，实现不同算法性能的比较“该基准评测平台利用典型的攻防算法和CVPR 2021比赛积累的多个性能优越的算法进行互相评估，代表当前安全与稳定性测量的国际标准。”RealAI副总裁唐家渝说。越丰认为，该平台的发布对工业界和学术界都能带来正面的影响，比如工业界可以使用该平台评估目前AI服务的安全性，发现模型的安全漏洞。同时，也可为学术界提供一个全面、客观、公平、科学的行业标准，推动整个学术界在AI对抗攻防领域的快速发展。清华方面介绍，本次发布的AI安全基准也是依托清华大学人工智能研究院研发的人工智能对抗安全算法平台ARES（Adversarial Robustness Evaluation for Safety）建立。ARES作为古希腊神话中的战神，双手持矛和盾是攻防合一的化身，集中体现了AI安全算法攻防博弈的特点。该平台对主流的攻防算法实现了模块化的设计，支持数十种主流攻防算法的实现，可以方便研究者和开发人员进行使用，有助于推动AI对抗攻防领域的发展。清华大学、阿里安全、Real AI三方强调，该基准评测平台不是专属于某一家机构或者公司搭建的平台，需要工业界和学术界的共同参与才能把它打造为真正受认可的全面、权威的AI安全评估平台。因此，三方将联合不断在排行榜中注入新的攻击和防御算法，并且欢迎学术界和产业界的团队能提供新的攻防模型。“数据对于AI发展非常重要，通过对于不同攻击和防御算法统一全面的对比，相信这次的平台可以为机器学习模型的安全与稳定性验证提供更全面的支持，并为进一步设计开发新的安全、强壮的学习算法提供有力的技术背书。”李博说道。附1：基准测试平台网站http://ml.cs.tsinghua.edu.cn/adv-bench/附2：ARES开源算法库https://github.com/thu-ml/ares – THE END -转载请注明出处：快科技#AI#阿里安全
责任编辑：ruskin文章来源于互联网:清华、阿里、RealAI等顶尖团队联合发布最新AI安全评估平台
　　习近平在中共中央政治局第二十八次集体学习时强调完善覆盖全民的社会保障体系促进社会保障事业高质量发展可持续发展
新华社迪拜2月9日电(记者苏小坡)经过约7个月、近5亿公里的“太空旅行”，阿拉伯联合酋长国首个火星探测器“希望”号9日成功进入火星轨道，开始对火星大气层的监测和研究。
今天（28日）下午，由国务院新闻办、国家文物局、四川省人民政府共同主办的“走进三星堆
读懂中华文明”三星堆全球推介会，在四川广汉三星堆遗址考古大棚外举行。伴随着此次三星堆遗址6个祭祀坑的发掘，大量珍贵文物重新和世人见面，让世界的目光再次聚焦三星堆遗址。
汇川技术(300124.SZ)近日披露的2020年年报显示，去年，公司实现营业收入115.11亿元，同比增长55.76%;归属于上市公司股东的净利润为21.00亿元，同比增长120.62%;归属于上市公司股东的扣除非经常性损益的净利润为19.13亿元，同比增长135.99%;经营活动产生的现金流量净额为14.67亿元，同比增长7.80%;加权平均净资产收益率为21.70%，同比上涨7.91个百分点。
原标题：教育部：普通高校专业不得规定男女生录取比例
相关推荐: 可口可乐宣布涨价 百事可乐会采取什么样的行动？
4月20号，可口可乐CEO发布了一则消息，表示后面会提高产品价格来应对商品成本上涨带来的影响，也就是说，以后的可口可乐，再也不是以前的3块钱了!相信消息发布之后，可口可乐会面临着一大批消费者的流失，以后再买可乐的时候，肯定会优先选择百事，也让百事莫名其妙得到了…