本文主要是介绍精彩回顾！安全智能体的前沿技术研究与实践，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
（关注“安全极客”，回复“智能体”下载第一期系列专题PPT！）
近日，安全极客和Wisemodel社区联合发起并主办了“AI+Security”系列第1期：大模型与网络空间安全前沿探索线下活动。在这次活动中，云起无垠创始人兼CEO沈凯文博士，以《安全智能体的前沿技术研究与实践》为题，深入剖析了安全检测技术的演进历程，以及安全智能体的核心理念和实际应用。沈凯文博士的分享为与会者带来了一场充满洞见的技术盛宴。
近年来，人工智能技术已经成为推动网络安全发展的重要引擎。网络安全技术已从最初的基于规则集和大数据，演进到了现如今的AI赋能和AI原生，安全能力也随之得到了极大的提升。
具体来说，安全底层技术演进经历了以下几个阶段：
1. 规则驱动：在早期，安全技术主要依赖于人工编写的规则进行静态和动态分析，如基线核查规则、应用漏洞规则等。这种方式尽管在某些特定场景下有效，但面临着规则更新滞后和适应性差的问题。
2. 大数据驱动、深度学习、机器学习：随着算力和存储设备的发展，安全技术开始利用机器学习、大数据分析，通过统计模型和威胁情报，实现更为复杂的威胁检测和响应。然而，这种方法依然面临着误报率高、漏报率高等挑战。
3. 安全智能体&安全AGI：大模型技术给安全带来的核心变革在于，补充语义分析能力。这一能力不仅突破了传统基于规则的安全方案的效果瓶颈，还让智能体方案具备了像人类一样的分析学习能力。这些将从根本上重塑现在安全团队的工作范式，实现进一步安全自动化。
尽管目前大模型在安全场景的落地依旧面临许多难点与挑战，但人工智能技术与网络安全的深度融合已成为不可逆的行业趋势。在此背景下，沈凯文博士从大模型落地的痛点与云起无垠的安全智能体实践等方面为我们分享了人工智能时代安全智能体的前沿技术研究与实践。
智能体方案解决大模型落地难题
目前，幻觉和输出不稳定是大模型在安全场景落地时面临的两大障碍。幻觉指的是模型生成的内容看似合理但实际上是错误或虚构的情况。例如，当用户输入一个CVE漏洞解释任务时，由于知识缺失，大模型可能会编造一个不存在的漏洞并输出，从而误导用户。输出不稳定是指在相同或相似的输入下，大模型的内容输出结果可能存在显著差异。例如，应用大模型处理代码修复任务，即使使用同样的提示词生成10次结果，输出的代码也可能各不相同，往往其中只有2-3次输出是可用的。在对准确率要求极高的网络安全领域，幻觉和输出不稳定给大模型的应用落地带来了巨大的挑战。
为了解决幻觉和输出不稳定的问题，沈凯文博士认为智能体是将大模型落地的最佳实践应用方案。其中通过规划+工具能力可以有效提升输出的稳定性，而利用知识引擎则可以一定程度上解决大模型因为知识缺失而产生的幻觉问题。比如上述CVE漏洞的例子，直接询问GPT-4难以得到较好的反馈，通过让大模型与知识引擎协同，并利用检索增强生成（RAG）的方式，就能让大模型更精准地向用户输出CVE漏洞信息，指导用户如何进行修复。
在应用特点方面，用户可以通过自然语言与智能体进行复杂交互。智能体不仅能记住用户需求的上下文语境，还能规划用户的输入需求，并调用工具完成任务，解决了传统安全工具易用性差、使用门槛高的问题。
不仅如此，智能体还能感知外界环境，应用行业知识，解决更具体的安全任务，比如查询和防护CVE漏洞。此外，通过多智能体协作，能让安全场景中的一些复杂任务实现进一步智能化。例如，在渗透测试场景中，传统的渗透测试需要不同角色的安全专家相互配合，进行扫描和内网测试。现在，通过设计专注于不同任务的智能体，如攻击面探测智能体、漏洞检测智能体和内网渗透智能体，并让这些智能体相互协作，可以实现更加智能化的渗透测试。
安全智能体方案的核心价值
在分享中，沈凯文博士将安全智能体的价值主要归纳为以下两点：
1. 提升底层的安全能力，降低工具的使用门槛
传统安全解决方案通常依赖于基于特征签名的传统威胁检测和基于算法的告警运营，这种方法容易导致威胁过载和误报漏报问题，人工排查成本高，技术难度大。而智能体方案，可以通过语义的方式收敛原本基于规则无法解决的误报和漏报的问题，提升安全工具的检测准确性，降低了人工排查成本。
2. 改变现有安全团队的工作范式，效率更高、成本更低
目前，大多数安全团队仍采用以人为中心的工作模式。一个成熟的安全团队需要多名具备不同技术专长的安全专家，例如渗透测试专家、代码审计专家和漏洞挖掘专家。此外，还需要为专家们配备各种安全工具，如SAST工具、漏洞扫描工具和Fuzzing工具等。当一个安全任务分配给安全专家时，他们需要进行人工分析并使用安全工具来解决问题，这种方式效率低下且效果因人而异。
未来的安全团队可能会由少量的安全专家和智能体组成。安全专家只需下达任务，智能体便会启动其模型能力，结合规划引擎、工具引擎、知识引擎和记忆引擎，自主理解安全需求，并对任务进行拆解与规划，然后使用工具高质量地完成任务闭环。
应用与实践
在对智能体的理论和宏观概念进行分析之后，沈凯文博士又结合云起无垠在AI Agent的技术实践与应用实践进行了成果分享。
技术实践一：构建可落地的大模型研发生命周期
沈凯文博士指出，大模型的研发生命周期应包含四个步骤，这与培养“安全专家”的路径非常相似。
第一步：安全数据采集和私有数据积累
这一步需要进行大量的安全数据采集和私有数据积累。过程包括数据采集、清洗、标记和入库，最终形成大模型数据库，这是安全数据的基石。只有拥有这些数据，才能深入理解安全领域的知识。
第二步：构建基座模型的评估机制
其次，需要构建一个全面的基座模型评估机制。鉴于安全任务的独特性，评估不仅包括自然语言处理能力，还包括代码分析能力和二进制分析能力等不同维度。因此，在模型训练之前，建立一个完善的评估系统至关重要。选择更适用的基座模型，可以带来意想不到的优异训练效果。在这个阶段，就像挑选一位“有潜力的高中毕业生”。
第三步：继续预训练和安全知识的监督学习
第三步是继续预训练，并进行安全知识的监督学习。为了让这位“优秀的高中生”从事安全工作，他需要在大学里学习网络安全相关的专业知识，这相当于继续预训练和监督学习，使基座模型拥有更丰富的安全行业知识。经过这步训练的模型就从“高中毕业生”成长为“安全专业毕业的大学生”。
第四步：强化学习与安全场景的知识增强
对于安全专业的大学应届毕业生来说，直接处理复杂的安全任务还是很困难的，容易犯错，因此需要告诉他们正确的做法，这就是强化学习的作用。在实践方面，云起无垠主要采取人类反馈强化学习和与GPT-4对齐的方案。完成这些步骤后，虽然得到了一个智能模型，但在实际应用中，还需要解决安全场景知识增强的问题。这包括提示词工程、流程工程、工具调用增强和检索增强生成增强等，分别弥补大模型在工具使用能力和细分领域安全知识方面的不足。经过这一步训练，安全专业的应届毕业生，就成长为能够实时掌握最新领域知识，并且高效使用工具的“安全专家”。
通过将这些技术融合，我们最终可以构建出一个真正可用的产品级大模型，再通过外接工具引擎和知识引擎，就可以将大模型在不同的安全场景中实现商业化落地。
技术实践二：构建高可靠且稳定的安全任务交付能力
想要让模型成为智能体，还涉及许多工程化工作，如提示词工程和流程工程。相比从零开始训练一个模型，采用提示词工程和流程工程可以以更低成本提高大模型在交付安全任务时的准确性和高效性。
例如，AlphaCodium的研究团队，通过基于测试、分阶段、专注于代码的迭代处理流程，显著提升了大语言模型在代码生成上的能力。在 CodeContests 数据集上的测试中，AlphaCodium 将 GPT-4 的准确率从 19% 提升到 44%，性能超越了 AlphaCode，且计算资源需求大幅减少。
应用实践一：AI Agent赋能漏洞自动化挖掘
模糊测试是一种公认的强大软件测试技术，能够有效检测安全漏洞。然而，在实际应用中，这一技术面临测试驱动开发难度大、种子变异效率低，以及安全缺陷修复成本高等挑战。在本次应用实践分享中，沈凯文博士重点介绍了云起无垠如何利用智能体来解决模糊测试驱动生成与代码修复问题的方案。
传统的测试驱动生成大多基于专家知识或语法分析，技术门槛高且使用困难。为解决这一难题，云起无垠提出了基于“微调代码模型+代码详细结构+反馈”的驱动生成方案。其核心思路如下：
专家模型训练：根据驱动生成训练语料，训练专用于驱动生成的代码大模型。
驱动生成：通过静态分析引擎提取被测函数的上下文信息，构造生成测试驱动的提示词，再通过强化学习后的代码大模型输出测试驱动代码。
反馈优化：运行生成的驱动，监控运行情况，获取反馈信息，优化生成驱动的提示词，最终实现更高的验证通过率。
经过Google benchmark验证，云起无垠的生成策略生成了24个测试驱动，仅有22%无效驱动，优于Google的方案，表现出更高的可编译驱动比例和更低的无效驱动比例。
应用实践二：AI Agent赋能漏洞自动化修复
在漏洞修复方面，传统漏洞检测工具提供的修复建议通常呈现模板化特点，实际修复工作主要依赖专家经验和人工操作。高危漏洞的修复难度大、时间长，已成为企业的核心痛点。在这种背景下，自动化修复工具成为刚性需求。
通过模糊测试引擎与训练后的代码大模型协同，不仅能够精准定位存在漏洞的代码片段，还能够分析漏洞成因。接着，利用缺陷信息生成提示词，作为大模型的输入。大模型根据这些提示词生成修复代码。更重要的是，模糊测试作为一种动态软件测试方案，可以重新运行漏洞的真实触发用例，验证缺陷修复效果。若漏洞修复失败，则进一步分析缺陷信息，优化测试代码的生成提示词。
经过验证，这一“大模型修复+模糊测试动态验证”的方案保障了代码修复率达到85%左右。
未来展望
人工智能技术已经为网络安全行业带来了前所未有的变革。随着大模型技术与安全智能体方案的日趋成熟，研究人员第一次看到了实现网络安全通用人工智能（AGI）的可行路径。具体来说，沈凯文博士认为，网络安全AGI的发展和落地实践将经历以下几个阶段：
· 一阶智能-工具型智能体：解决特定任务
第一阶段主要聚焦于安全工具的智能化，即通过大模型、工具引擎和知识引擎的智能体方案，突破底层安全技术的效果瓶颈，提高自动化程度。
· 二阶智能-平台型智能体：覆盖细分安全场景
第二阶段的核心是通过大模型的理解与规划能力，将一阶的安全能力以工作流的形式进行编排调度，打造平台型智能体解决方案。这种平台型智能体不再仅聚焦特定安全任务，而是更像某个岗位的虚拟安全专家，能够拆解复杂的安全需求，对工作流进行规划，自主调度相应的工具型智能体，独立解决细分场景的所有安全需求。
· 三阶智能-网络安全AGI：多智能体方案协同，覆盖所有安全场景
从终局上讲，最终实现网络安全AGI的路径将是多二阶智能体方案协同，实现All in One的安全AGI解决方案，覆盖所有网络安全场景，交付所有网络安全任务。
写在最后
人工智能技术的进步，尤其是大模型的广泛应用，为安全领域带来了新的机遇和挑战。沈凯文博士与云起无垠通过在软件安全场景中应用安全智能体的方案，不仅解决了大模型因幻觉和输出不稳定带来的落地挑战，还显著提升了漏洞挖掘和修复的效率与准确性，解决了传统漏洞挖掘与修复技术的痛点。未来，随着智能化水平的不断提高，安全智能体有望成为网络安全领域的重要推动力量，应用在网络安全的各个细分领域，实现全面、智能的安全防护。
"AI+Security"系列第二期专题分享嘉宾火热征集中。我们诚挚邀请来自人工智能（AI）和网络安全领域的行业专家与领军人物，共同参与分享。一起深入探讨并分享关于"AI+Security"技术理念的见解和经验。我们期待您的加入，一起推动AI与安全技术的融合与创新。
这篇关于精彩回顾！安全智能体的前沿技术研究与实践的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
