精彩回顾!圆桌讨论“大模型与网络空间安全前沿探索”

2024-06-14 12:12

本文主要是介绍精彩回顾!圆桌讨论“大模型与网络空间安全前沿探索”,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

图片

关注“安全极客”,回复“智能体”下载第一期系列专题PPT!

近日,安全极客和Wisemodel社区联合举办了“AI+Security”系列的首场线下活动,主题聚焦于“大模型与网络空间安全的前沿探索”。在圆桌讨论环节,清华大学博士生导师、助理教授陈建军,阿尔法公社创始合伙人兼CEO许四清,云起无垠创始人兼CEO沈凯文,墨云科技合伙人彭逍遥,月之暗面安全工程师麦香和安全资深专家宁宇飞,共同探讨了大模型和网络安全前沿探索中的几个关键问题。

Q1: 如何解决大模型的幻觉问题,以提升其在B端应用中的鲁棒性和正确性,使其达到商业可用标准?

许四清:近年来,关于“幻觉”现象的提及频率较去年有所降低。这一变化的一个重要原因可以归结于数据质量的显著提升。随着高质量语料的持续增加,模型得以学习到更加精确的知识内容,其参数规模也随之增长,从而有效减少了幻觉的发生。此外,监督微调(SFT)方法的采用和更多专业人员的参与也在解决这一问题中发挥了关键作用。从企业服务(ToB)的角度来看,专注于特定领域被证明是避免幻觉的有效策略。通过在特定领域应用高质量的数据,无论是未经处理的原始数据还是精心筛选的优质数据,并以此对模型进行持续训练,可以显著降低幻觉现象的出现。

陈建军:在学术领域,我最近阅读了一篇探讨减少幻觉现象方法的文章。其中,最常见的策略之一是检索增强生成(RAG),这种方法通过检索高质量的知识库数据来确保生成答案的准确性。另一种策略是多模型问询,即同时向多个大型模型提出相同的问题,然后比较它们的答案一致性,并通过投票机制来确定最终的答案。这种采用民主决策方式的方法能够有效提升结果的可靠性和置信度。

沈凯文:我认为,幻觉可以被视为大模型的一种独特属性,就像雇佣的员工一样,他们可能在某些领域表现出色,而在其他领域则存在不足。因此,关键在于充分发挥他们的优势。

在实际应用中,我们需要根据不同的场景选择合适的方法。在需要人类思考和创造力的场合,我们可以充分利用大模型的能力。而在需要稳定性和准确性的场景中,我们则可以选择传统的工具。因此,我们的产品设计既融合了大模型的优势,又保留了传统工具的可靠性。

为了确保在某些特定领域的准确性,我们引入了大量高质量的安全语料,并进行人工校验。这些语料经过严格筛选,以确保在细分领域的准确性。此外,我们还利用知识图谱来提升模型的性能。

在处理具有确定性的安全任务时,我们采用了已有的标准操作程序(SOP)和实施方案。这些方案已经证明了其有效性。因此,我们开发了插件或工具引擎,整合了安全领域的现有工具。例如,我们引入了模糊测试引擎,以确保单个任务的准确性和安全性。

彭逍遥:在我们的实践经验中,大模型的幻觉现象实际上被视为一种积极特征,它体现了模型的创造性,能够产生独特的回答,满足我们的期望。然而,我们也认识到需要对幻觉进行适当的控制,以确保结果的预期性。

在实践中,我们可以将大模型的应用分为两类进行讨论:

第一类是对话式大模型。在实际应用中,我们对这类模型的限制较少,主要关注防止漏洞被利用,避免模型被用于获取敏感信息,并设置了一些道德和偏见方面的限制。在结果产出上,我们没有过多地限制模型的自由度。

第二类是在自动化渗透测试阶段使用的大模型。这类应用对结果的准确性有更高的要求,涉及到复杂的逻辑链(COT)和即时反应(React)。为了优化这些模型,我们在数据层面进行了大量的工作,包括人工标注数据和利用成熟商业模型如GPT-4作为导师来指导数据调整。我们在数据优化上投入了大约80%的努力,以减少幻觉的发生。

从检索增强生成(RAG)的角度来看,安全领域的专业性为我们提供了大量的参考数据,包括历史安全专家的攻击逻辑、ATT&CK模型和CCTI相关的威胁情报。这些数据为我们提供了高度指导性的信息。结合大模型的反馈和RAG数据作为提示,我们能够实现更有效的产出。

在实际操作中,我们对模型的表现进行了量化分析。在基于漏洞和攻击行为的推理阶段,模型的准确度较高,因为漏洞和ATT&CK子技术之间有良好的对应关系。然而,在通用性漏洞发现方面,模型的表现尚不尽如人意。尽管在效率上比传统方法提高了约20%,但整体效果还未达到预期的商业化水平。这是我们在实践中获得的重要体会。

麦香:我认为,通过不断的训练优化和调整权重配比,可以显著提升模型的性能。我们的实践证明了这一点:经过多次的尝试和反馈循环,我们发现了确实能够有效提升模型表现的方法。在训练过程中,我们特别重视反馈环节,认为它是模型优化的重要依据。我们根据反馈信息不断调整和改进训练方法,虽然在一开始我们对训练结果的具体预期并不明确,但随着持续的改进,我们逐渐看到了模型在表现上的显著提升。这种方法论不仅增强了我们对模型的信心,也为我们的工作提供了明确的方向和动力。

宁宇飞:为了解决幻觉产生的时间差问题,我们需要加快小模型的学习速度和新权重文件的合并效率。幻觉产生的一个重要原因是模型尚未吸收最新的知识,因此我们依赖检索增强生成(RAG)方法来弥补这一知识缺口。如果团队能够快速迭代私有化模型,将有效解决这一问题。通过加速模型的更新和迭代,我们可以确保模型能够及时学习到最新的信息,从而降低幻觉发生的频率。

Q2: 在网络空间安全领域,大模型的应用与商业化正在积极探索中。专家们认为“安全+AI”的未来应用方案将朝哪个方向发展?是垂直模型、智能体,还是其他形态?

许四清:在阿尔法公社的公众号上,我们每周都会发布AI周报,深入分析美国硅谷的前沿投资案例,以洞察那里的发展动态和投资趋势。在过去六个月中,我们注意到有大约七到八家公司专注于安全与大语言模型相关领域,并成功获得了超过2000万美元的投资。这一现象表明,随着人工智能技术的飞速发展,安全领域正面临着新的挑战,对于从事安全工作的人来说,这是一个积极的信号。

在过去,从商业角度来看,安全领域的机会相对分散,新公司很难实现大的突破。然而,大语言模型的出现为安全领域带来了全新的机遇。我个人认为,尽管这有点偏离主题,但大语言模型带来的前所未有的安全挑战实际上是一个巨大的商业机会。同时,在学术研究方面也存在着大量的机会。因此,围绕大语言模型的安全问题进行工作,无论是从商业还是学术的角度来看,都蕴含着巨大的潜力。

陈建军:我认为大模型的最终形态可能已经在科幻小说中得到了预见,比如《钢铁侠》中的智能助手“贾维斯”。这样的助手能够随时待命,兼具垂直模型和智能体的双重特性,能够成为个人全方位的辅助。此外,还有一种科幻场景是类似于“天网”的集成式大模型。然而,从长远来看,这种模式可能并不会得到很大的发展。相反,定制化的个人助手可能更符合现实世界的需求。例如,个人编程助手、股票投资决策助手或法律事务助手等,这些针对特定需求的个人助手,可能拥有更大的发展空间和应用潜力。

沈凯文:智能体的发展可以被看作是通往终极网络安全AGI(通用人工智能)的一个重要阶段。它能够在特定领域内补充知识和工具,提高我们的工作效率和能力。在过去,由于AI的能力尚未达到人类的水平,其使用者和进步的速度都相对有限。然而,一旦AI的能力超越了普通人类或初级工程师,其发展速度便会显著加快,这主要得益于大量用户的反馈和数据的积累。

去年,机器人领域取得了重大突破,其发展速度之所以迅猛,正是因为有了大量人类数据的支持。同样的原理也适用于网络安全领域。我们与众多客户达成了共识:当一个AI产品在推出时能够达到80%的人类能力水平,它就已经具备了实用价值。此时,如果有数百万用户使用该产品,并通过他们的反馈和数据收集,AI产品将能够快速迭代和改进。

这种进步的关键在于通过人类的反馈和数据积累,形成大模型的数据飞轮。只要我们能够开发出一个爆款产品,或者是一个被广泛应用的专家级产品,并收集到高质量的用户反馈数据,我们就能够进一步推动产品向真正的通用人工智能方向发展。这是我们对于未来发展的展望和信念。

彭逍遥:我认为,专注于垂直领域模型训练和智能体开发并不是相互排斥的,而是可以互相补充和增强的。从灵活性和实际应用的角度来看,智能体模式更为便捷和实用。在垂直领域大模型方面,它们在解决如XDR(扩展检测与响应)等问题上表现出色,能够辅助安全运营中心(SOC)分析告警,区分哪些是误报,哪些是真正需要关注的安全威胁。

然而,当我们从攻击者的角度考虑时,情况就变得更加复杂了。由于攻击数据与用户关系、资产场景紧密相关,仅仅依靠历史训练数据很难直接得出精确的判断。在这种情况下,智能体的优势就更加明显了。智能体能够根据实时数据和场景进行动态分析和响应,从而更有效地识别和应对安全威胁。因此,结合垂直领域模型和智能体的优势,我们可以在网络安全领域实现更全面、更高效的防护。

麦香:在我看来,现有的解决方案,无论是专注于特定领域的垂直模型还是智能体,都不应被视为最终目标。人工智能的发展速度迅猛,尤其是随着越来越多的企业将AI集成到他们的战略规划中,通过引入AI基础设施来驱动变革,这意味着现有的方案可能会在几个月甚至几周内发生显著变化。

我们需要考虑的是,是否应该采用自主开源的解决方案,或者是基于商业产品的解决方案,以及是否与现有的大型企业建立合作。这些企业在资源和数据方面可能拥有显著的优势。然而,综合考虑这些因素,问题的答案并不明确,我们需要持续关注AI领域的最新动态,并准备好根据技术的发展和市场的变化来调整我们的策略和解决方案。

宁宇飞:我认为,针对不同的实际应用场景,我们需要采取不同的解决方案。例如,对于数据中心、威胁情报等常见的安全场景,未来的趋势可能是采用针对特定场景的私有化模型,结合私有化的检索增强生成(RAG)和定制化的AI工作流程。这种定制化的解决方案能够更准确地理解和满足特定场景的需求,提升自动化处理能力,并且更容易实现流程的编排和整合。

私有化模型的优势在于它们能够根据特定环境进行优化,提供更加精准和安全的服务。结合定制化的AI工作流程,企业能够构建更加灵活和高效的安全管理体系,以适应不断变化的安全威胁和挑战。因此,针对特定场景的私有化模型和定制化AI工作流程可能会成为未来安全解决方案的主流趋势。

Q3: 随着大模型智能安全产品的能力、自动化程度和自主决策能力的增强,未来的智能安全产品能否替代企业中的安全从业者?未来的安全团队将如何工作?

许四清:随着计算机技术的持续进步,尤其是近年来互联网和移动互联网的迅猛发展,人们对网络安全的担忧并没有减少,反而随着形式的变化而增多。过去那些较为基础的职位似乎已经逐渐消失,取而代之的是更加复杂和高级的安全挑战。近期举办的Google I/O大会给我留下了深刻的印象,因为人工智能的显著进步正推动计算机领域经历一场深刻的革命。从操作系统层面开始,例如Google已经将Assistant深度集成到Android系统中。未来的操作系统可能会打破微软或苹果现有的模式,转而成为集功能性和智能化于一体的系统。这意味着安全领域将面临更为严峻的挑战,因为人工智能的广泛应用使得安全问题变得更加错综复杂。无论是恶意攻击者还是安全防御者,都将利用人工智能技术,这为安全领域的专业人士带来了更多的挑战和机遇。

陈建军:从学术角度出发,我认为人工智能并不会取代安全领域,而是将其推向一个全新的高度。有人预测,未来可能只剩下两种职业:与AI相关的工作和安全领域的工作。安全专家将负责确保智能系统的安全性。这种观点的形成主要是因为我们对人工智能的工作原理和能力理解不足,尤其是其泛化能力和决策能力的来源。

因此,未来的安全研究可能会发生变化。传统的安全研究主要集中在CPU、内存、硬件IO等方面,而未来的研究可能会更加注重算法、模型分层、规律机制等方面。由于我们对人工智能内部运行逻辑的理解不够深入,研究如何输入和操控人工智能内部逻辑的输出可能成为未来安全研究的重要方向之一。

沈凯文:在我看来,未来的安全专家将扮演AI导师的角色,更像是带领一位能力出众的学徒。我们帮助AI理解一些专业领域的知识,而AI在处理大规模任务时发挥作用。由于人类无法持续高效地进行大量重复性工作,AI将承担这些任务并发挥其优势。这意味着我们将依赖AI或大型模型来完成具体工作,从而实现规模化并创造经济价值。

彭逍遥从我的角度看,AI对人类起到了积极作用,不会因为AI的介入导致大量失业。失业问题实际上是工作模式变化的问题。AI的介入类似于计算器进入我们的生活,替代了一些普通、无需过多人设计的任务,或是机器能做得更好的场景。我们可以借助AI完成以前不太容易完成的工作。在安全行业,AI帮助我们处理基础工作,让我们能够专注于更高要求的新任务。

麦香:作为AI公司的甲方,我们目前在业务形态上并没有显著更新,只是保护的边界更加清晰,并且针对大模型有一些特殊性。在未来的场景中,安全人员的配比可能不会显著增加,但他们需要更加了解整个安全流程,并依托自身以及云厂商或外部AI公司提供的资源。因此,我认为岗位需求总体上会减少,而专家的角色会更加细分和专业化。

宁宇飞:我认为,从目前的行业态势来看,部分传统安服人员或安全专家可能会被替代或需要转型。这些传统的角色需要学会使用AI,深入掌握开源微调技术,或者能够设计和实现完整的Agent方案。不论是对甲方进行交付,还是自身工作方式的转变,传统方法必然会被部分替代。这将促使现有人员学习使用AI,或与AI产出结合,共同完成工作。这是一个明显的趋势,并且已经开始显现。

写在最后

大模型的出现为网络安全带来了新的变化,引发了关于安全大模型和大模型安全的研究与讨论。本期活动除了嘉宾分享“大模型与网络空间安全前沿探索”内容外,还有许多领域和新话题需要进一步研究和探讨。未来,我们将设置更多相关话题,与大家共同探讨和学习。

"AI+Security"系列第二期专题分享嘉宾火热征集中。我们诚挚邀请来自人工智能(AI)和网络安全领域的行业专家与领军人物,共同参与分享。一起深入探讨并分享关于"AI+Security"技术理念的见解和经验。我们期待您的加入,一起推动AI与安全技术的融合与创新。

这篇关于精彩回顾!圆桌讨论“大模型与网络空间安全前沿探索”的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1060370

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

深入探索协同过滤:从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤(UserCF)2. 基于物品的协同过滤(ItemCF)3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代,推荐系统成为连接用户与内容的桥梁。本文聚焦于

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

图神经网络模型介绍(1)

我们将图神经网络分为基于谱域的模型和基于空域的模型,并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络:谱图卷积网络、切比雪夫网络和图卷积网络。 (1)谱图卷积网络 卷积定理:函数卷积的傅里叶变换是函数傅里叶变换的乘积,即F{f*g}

秋招最新大模型算法面试,熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候,不知道面试完会不会复盘、总结,做笔记的习惯,这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助,都附有完整答案,熬夜也要看完,祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

客户案例:安全海外中继助力知名家电企业化解海外通邮困境

1、客户背景 广东格兰仕集团有限公司(以下简称“格兰仕”),成立于1978年,是中国家电行业的领军企业之一。作为全球最大的微波炉生产基地,格兰仕拥有多项国际领先的家电制造技术,连续多年位列中国家电出口前列。格兰仕不仅注重业务的全球拓展,更重视业务流程的高效与顺畅,以确保在国际舞台上的竞争力。 2、需求痛点 随着格兰仕全球化战略的深入实施,其海外业务快速增长,电子邮件成为了关键的沟通工具。

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言

安全管理体系化的智慧油站开源了。

AI视频监控平台简介 AI视频监控平台是一款功能强大且简单易用的实时算法视频监控系统。它的愿景是最底层打通各大芯片厂商相互间的壁垒,省去繁琐重复的适配流程,实现芯片、算法、应用的全流程组合,从而大大减少企业级应用约95%的开发成本。用户只需在界面上进行简单的操作,就可以实现全视频的接入及布控。摄像头管理模块用于多种终端设备、智能设备的接入及管理。平台支持包括摄像头等终端感知设备接入,为整个平台提