sls专题
使用对比！SLS 数据加工 SPL 与旧版 DSL 场景对照
作者：灵圣 概述 如前一篇《SLS 数据加工全面升级，集成 SPL 语法》所述，SLS 数据加工集成了 SLS 数据处理语法 SPL。与旧版本数据加工 DSL 相比，SPL 在处理非结构化数据的场景中，其语法简洁度上有很多提升，比如中间类型保持、字段引用、无缝兼容 SQL 函数等。 这里我们继续讨论在不同的数据处理需求中，新版数据加工 SPL 与旧版数据加工 DSL 的使用对照。对于数据同步
SLS 查询新范式：使用 SPL 对日志进行交互式探索
作者：无哲 引言 在构建现代数据和业务系统的过程中，可观测性已经变得至关重要，日志服务（SLS）为 Log/Trace/Metric 数据提供了大规模、低成本、高性能的一站式平台服务，并提供数据采集、加工、投递、分析、告警、可视化等功能，从而全面提升企业在研发、运维、运营和安全等各种场景的数字化能力。 日志数据天然是非结构化的 日志（Log）数据作为可观测场景中最基础的数据类型之一，其最大
更优性能与性价比，从自建 ELK 迁移到 SLS 开始
作者：荆磊 背景 ELK (Elasticsearch、Logstash、Kibana) 是当下开源领域主流的日志解决方案，在可观测场景下有比较广泛的应用。 随着数字化进程加速，机器数据日志增加，自建 ELK 在面临大规模数据、查询性能等方面有较多问题和挑战。如何解决可观测数据的低成本、高可用是一个新的话题。 SLS 是由阿里云推出的云上可观测 Serverless 产品，在功能层面对标
使用 SPL 高效实现 Flink SLS Connector 下推
作者：潘伟龙（豁朗） 背景 日志服务 SLS 是云原生观测与分析平台，为 Log、Metric、Trace 等数据提供大规模、低成本、实时的平台化服务，基于日志服务的便捷的数据接入能力，可以将系统日志、业务日志等接入 SLS 进行存储、分析；阿里云 Flink 是阿里云基于 Apache Flink 构建的大数据分析平台，在实时数据分析、风控检测等场景应用广泛。阿里云 Flink 原生支持阿里
弱结构化日志 Flink SQL 怎么写？SLS SPL 来帮忙
作者：潘伟龙（豁朗） 背景 日志服务 SLS 是云原生观测与分析平台，为 Log、Metric、Trace 等数据提供大规模、低成本、实时的平台化服务，基于日志服务的便捷的数据接入能力，可以将系统日志、业务日志等接入 SLS 进行存储、分析；阿里云 Flink 是阿里云基于 Apache Flink 构建的大数据分析平台，在实时数据分析、风控检测等场景应用广泛。阿里云 Flink 原生支持阿里
雾天条件下 SLS 融合网络的三维目标检测
论文地址：3D Object Detection with SLS-Fusion Network in Foggy Weather Conditions 论文代码：https://github.com/maiminh1996/SLS-Fusion 论文摘要 摄像头或激光雷达（光检测和测距）等传感器的作用对于自动驾驶汽车的环境意识至关重要。然而，在雾、雨、雪等极端天气条件下，从这些传感器收集的数
使用SLS日志服务采集Kong网关的日志
一、阿里云SLS 官方的接入文档已比较丰富了，本文不意重复说明此事。 站在使用的角度，以采集Kong的日志为示例，说明我们应该如何治理日志。 说白了，本文是想给你怎么省钱作一个建议，希望不会让你公司也“降本增笑”。。 每月涉及到的费用明细 包含存储空间、索引流量、读写流量、读写次数以及活跃Shard租用，其中以存储空间的费用为最。 活跃Shard租用，是按个来计费的，省是省不了
阿里云SLS采集jvm日志
一、背景 java应用部署在阿里云的k8s容器里，采集其日志的需求则是一个不可缺少的。而不同公司的jvm日志会存在很大的差异，所以本文仅以我的实际情况作一个示例，仅供有需要采集jvm日志的同学们一个参考。 我们打印的Jvm日志格式见下，如果你和我这的不一样，还请自己稍作修改。 2023-12-08 17:55:40.252 INFO [xxx-service,0000000000087a4
使用SLS日志服务采集Kong网关的日志
一、阿里云SLS 官方的接入文档已比较丰富了，本文不意重复说明此事。 站在使用的角度，以采集Kong的日志为示例，说明我们应该如何治理日志。 说白了，本文是想给你怎么省钱作一个建议，希望不会让你公司也“降本增笑”。。 每月涉及到的费用明细 包含存储空间、索引流量、读写流量、读写次数以及活跃Shard租用，其中以存储空间的费用为最。 活跃Shard租用，是按个来计费的，省是省不了
Blink SQL之创建日志服务SLS源表
创建日志服务SLS源表 仅适用于Blink 1.4.5及以上版本。 什么是日志服务 日志服务SLS是针对日志类数据的一站式服务，对于日志服务而言，数据格式类似JSON，示例如下。 {"a": 1000,"b": 1234,"c": "li"} 日志服务本身是流数据存储，Blink能将其作为流式数据的输入。 语法示例 日志服务源表DDL示例如下（代码中的sls代表日志服务）。 c
通过阿里云CLI工具从SLS服务里读取日志
这里用的是aliyunlog这个现成的工具 安装可以参考：如何安装日志服务命令行工具CLI_日志服务-阿里云帮助中心 配置可以参考：配置CLI的操作方法_日志服务-阿里云帮助中心 参考的阿里云的接口地址：调用CLI命令查询日志_日志服务-阿里云帮助中心 脚本的部分 1、目录结构 #cd /aliyunlog#tree.├── get_logs.sh└── json├── ge
EventBridge 生态实践：融合 SLS 构建一体化日志服务
作者： 昶风 引言 阿里云日志服务 SLS 是一款优秀的日志服务产品，提供一站式地数据采集、加工、查询与分析、可视化、告警、消费与投递等服务。对于使用 SLS 的用户业务而言，SLS 上存储的日志信息反映着业务的运行状态，通过适当地流转加工即可创建一定价值。 另一方面，阿里云 EventBridge 作为云上事件枢纽，每天承载着大量事件的流转。云上资源的操作事件、消息队列中的数据、用户业务中
SRT服务器2:sls(srt live server)
前面讲的SRS服务器由于实际测试SRT时，存在不稳的问题，所以切换到sls(srt live server)。实际测试比较稳定，而且代码结构简单，可以十分方便进行功能扩展和维护。 目前互联网上的视频直播有两种，一种是基于RTMP协议的直播，这种直播方式上行推流使用RTMP协议，下行播放使用RTMP，HTTP+FLV或者HLS，直播延时一般大于3秒，广泛应用秀场、游
SLS机器学习最佳实战：根因分析（一）
为何需要根因分析？ 当某个宏观的监控指标发生异常时，如果能快速定位到具体是那个细粒度的指标发生了异常而导致的。具体来说，当某个流量发生了异常，具体如图中所示： 这个指标就对应是某个小时级别的流量情况，我们要快速定位到2018-09-02 20:00:00 具体发生了什么问题而导致流量突增的？ 如何在平台中分析？ 原始数据格式 在给定的LogStore中一共存在14天的各个粒度的流量数据，其中涉及