老杨说运维 | 历时180天,跟复旦大学共研的运维大模型终于来了!

2023-11-01 21:01

本文主要是介绍老杨说运维 | 历时180天,跟复旦大学共研的运维大模型终于来了!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

写在前面

Q1:到处都在说的AI大模型到底是什么? ? ?

A1:AI大模型是“人工智能预训练大模型"的简称,它包含了"预训练“和”大模型“两层含义,二者结合产生了一种新的人工智能模式即模型在大规模数据集上完成了预训练后无需或仅需要少量数据的微调,就能直接支撑各类应用。

AI大模型具备通用、可规模化复制等诸多优势,是实现AGI(通用人工智能) 的重要方向。

Q2:当前的AI大模型包含了哪些内容?

A2:当前AI大模型包含自然语言处理(NLP)、计算机视觉 (CV),多模态大模型等。

例如,ChatGPT就是自然语言处理领域突破性的创新,懂“人话”,说“人话”。超越了以往的自然语言处理模型,可以应对各种自然语言处理任务,包括机器翻译、问答、文本生成等。

简单来看,我们可以将大模型看作一个巨大的知识库,里面存储了大量的信息和知识,可以帮助计算机更好地理解和处理输入的数据。大模型中的每个神经元和参数,共同构成了一个强大的网络,可以对输入的数据,进行高效的处理和转换。

一、大模型与AIOps结合

伴随2023第六届双态IT乌镇用户大会的圆满完成,擎创科技“一体化数智管理和大模型应用”主题研讨会也正式落下了帷幕。

云原生转型正成为很多行业未来发展战略,伴随国家对信创数字化要求的深入推进,面对敏稳共存这一近年出现的新难题,企业IT运维的建设升级迎来了更为综合性的挑战。

大模型与AIOps结合究竟有什么能力?如何能更好的在实际中进行应用?——复旦大学计算机学院教授 & 擎创科技首席数据家 王鹏与您分享大模型在智能运维中的实践探索经验。

复旦大学计算机学院教授 & 擎创科技首席数据家 王鹏

二、大语言模型与运维相关的能力

经过近一年的不断探索,我们认为目前的大语言模型能够通过六点来有效帮助智能运维提升相关能力。未来若能够更好地将二者融合,或许将实现真正的运维数智化。

这些能力包括:

  • 自然语言处理能力

  • 运维领域知识

  • 持续学习和改进能力

  • 推理能力

  • 自然语言生成能力

  • 代码能力

三、运维大模型的原则

大模型的能力虽然看似很强,但实际上如果想要在智能运维的私域范围内得到很好地应用仍有很多困难。诸如:缺乏特定的告警知识、无法深入分析告警之间的关联性、问答过程有长度限制、模型回答不稳定等。

想要更好地使二者结合,我们认为要保证以下四点原则:

1.本地化部署

本地化部署能够保证私域数据安全,同时利用开源大模型对私域大模型进行训练和微调

2.集成现有工具

使LLM与现有的算法、工具、知识库链接,形成一体化管控;

3.不能为了LLM而LLM

以优先提升运维效率为主,尽量补足现有运维方法的不足,解决现有运维过程中的痛点;

4.充分发挥LLM的长处

即语言生成能力、对话能力和一定的推理能力。

四、擎智运维大模型

在本次双态乌镇大会上,擎创正式发布了自己的运维大模型产品——擎智运维大模型

该模型通过对开源大模型的参数进行微调,结合私域数据构建企业的运维知识库,再通过检索增强等方式,丰富大模型的运维知识,结合大模型的语言生成能力,使得大模型能更好地理解日志/告警/事件等。

1.擎智大模型能力

  • 在日志、告警解析时不再需要设置固定参数并能快速解析单条日志

  • 提升日志、告警的可读性并自动生成处理方案

  • 为日志、告警、事件等提供灵活的多类型数据探查能力

  • 在面对告警风暴时快速准确地数据探查和根因定位

  • 自动化、智能化地自动生成故障报告,有效辅助历史复盘

  • 其他更多

举例:基于知识增强的告警理解

为了应对多样的运维需求,基于各类公域与私域的运维知识库大模型的检索增强是一种符合运维实际的方法。

(后续实践内容在此不加叙述,请点击视频进行了解~)

运维大模型实践分享


擎创科技,Gartner连续推荐的AIOps领域标杆供应商。公司专注于通过提升企业客户对运维数据的洞见能力,为运维降本增效,充分体现科技运维对业务运营的影响力。

行业龙头客户的共同选择

了解更多运维干货与行业前沿动态

可以右上角一键关注

我们是深耕智能运维领域近十年的

连续多年获Gartner推荐的AIOps标杆供应商

下期我们不见不散~

这篇关于老杨说运维 | 历时180天,跟复旦大学共研的运维大模型终于来了!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/325731

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

图神经网络模型介绍(1)

我们将图神经网络分为基于谱域的模型和基于空域的模型,并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络:谱图卷积网络、切比雪夫网络和图卷积网络。 (1)谱图卷积网络 卷积定理:函数卷积的傅里叶变换是函数傅里叶变换的乘积,即F{f*g}

秋招最新大模型算法面试,熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候,不知道面试完会不会复盘、总结,做笔记的习惯,这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助,都附有完整答案,熬夜也要看完,祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言

AI Toolkit + H100 GPU,一小时内微调最新热门文生图模型 FLUX

上个月,FLUX 席卷了互联网,这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型,而这一点已被证明是有依据的。随着越来越多的流行图像生成工具(如 Stable Diffusion Web UI Forge 和 ComyUI)开始支持这些模型,FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型,它综合考虑了土壤-水分-大气以及植被间的相互作用;是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程,使其能够精确的模拟土壤中水分的运动,而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者

【Linux 从基础到进阶】Ansible自动化运维工具使用

Ansible自动化运维工具使用 Ansible 是一款开源的自动化运维工具,采用无代理架构(agentless),基于 SSH 连接进行管理,具有简单易用、灵活强大、可扩展性高等特点。它广泛用于服务器管理、应用部署、配置管理等任务。本文将介绍 Ansible 的安装、基本使用方法及一些实际运维场景中的应用,旨在帮助运维人员快速上手并熟练运用 Ansible。 1. Ansible的核心概念