数据结构 - 布隆过滤器(Bloom Filter)

2024-01-22 15:32

本文主要是介绍数据结构 - 布隆过滤器(Bloom Filter),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

思考

  • 如果要经常判断1个元素是否存在,你会怎么做?
    很容易想到使用哈希表(HashSet、HashMap),将元素作为key去查找
    时间复杂度:O(1),但是空间利用率不高,需要占用比较多的内存资源
  • 如果需要编写一个网络爬虫去爬10亿个网站数据,为了避免爬到重复的网站,如何判断某个网站是否爬过?
    很显然,HashSet、HashMap并不是非常好的选择
  • 是否存在时间复杂度低、占用内存较少的方案?
  • 布隆过滤器(Boolm Filter)
  • 1970年由布隆提出
    它是一个空间效率高的概率型数据结构,可以用来告诉你:一个元素一定不存在或者可能存在
  • 优缺点
    优点:空间效率和查询时间都远远超过一般的算法
    缺点:有一定的误判率、删除困难
    它实质上是一个很长的二进制向量和一系列随机映射函数(Hash函数)
  • 常见应用
  • 网页黑名单系统、垃圾邮件过滤系统、爬虫的网站判重系统、解决缓存穿透问题

原理

  • 假设布隆过滤器由20位二进制、3个哈希函数组成,每个元素经过哈希函数处理都能生成一个索引位置
  • 添加元素:将每一个哈希函数生成的索引位置都设为1
  • 查询元素是否存在
    如果一个哈希函数生成的索引位置不为1,就代表不存在(100%准确)
    如果一个哈希函数生成的索引位置都为1,就代表存在(存在一定的误判率)
    在这里插入图片描述
  • 添加、查询的时间复杂度都是:O(k),k是哈希函数的个数。
  • 空间复杂度是:O(m),m是二进制位的个数

误判率

  • 误判率p受3个因素影响:二进制位的个数m、哈希函数的个数k、数据规模n
    在这里插入图片描述
  • 已知误判率p、数据规模n,求二进制位的个数m、哈希函数的个数
    在这里插入图片描述)

实现

public class BoloomFilter<T> {// 二进制向量的长度(一共有多少个二进制位)private int bitSize;// 二进制向量private long[] bits;// 哈希函数的个数private int hashSize;/ *** @param n 数据规模* @param p 误判率,取值范围(0, 1)* /public BloomFilter(int n, double p) {if (n <= 0 || p <= 0 || p >= 1) {throw new IllegalArgumentException("wrong n or p");}double ln2 = Math.log(2);// 求出二进制向量的长度bitSize = (int)(-(n * Math.log(p)) / (ln2 * ln2));// 哈希个数hashSize = (int)(bitSize * ln2 / n);// bits数组的长度bits = new long[(bitSize + Long.SIZE - 1) / long.SIZE// 每一页显示100条数据, pageSize// 一共有999999条数据, n// 请问有多少页 pageCount = (n + pageSize - 1) / pageSize}// 添加元素1// return 返回true 代表改变public boolean put(T value) {nullCheck(value);// 利用value生成2个整数int hash1 = value.hashCode();int hash2 = has1 >>> 16;boolean result = false;for (int i = 0; i <= hashSize; i++) {int combinedHash = hash1 + (i * hash2);if (combinedHash < 0) {combinedHash = ~combinedHash;}// 生成一个二进位的索引int index = combinedHash % bitSize;// 设置index位置的二进位为1if (set(index)) result = true;//   101010101010010101// | 000000000000000100   1 << index//   101010111010010101}return result;}// 判断一个元素是否存在// return true 代表存在public boolean contains(T value) {nullCheck(value);// 利用value生成2个整数int hash1 = value.hashCode();int hash2 = has1 >>> 16;for (int i = 0; i <= hashSize; i++) {int combinedHash = hash1 + (i * hash2);if (combinedHash < 0) {combinedHash = ~combinedHash;}// 生成一个二进位的索引int index = combinedHash % bitSize;// 查询index位置的二进位是否为0if (!get(index)) return false;}return true;}// 设置index位置的二进位为1private boolean set(int index) {long value = bits[index / Long.SIZE];int bitValue = 1 << (index % Long.SIZE);bits[index / long.SIZE] = value | bitValue;return (value & bitValue) == 0;}// 查看index位置的二进位的值private boolean get(int index) {long value = bits[index / Long.SIZE];return (value & (1 << (index % Long.SIEZ))) != 0;      }private void nullCheck(T value) {if (value == null) {throw new IllegalArgumentException("Value must not be null.");}}
}

测试

public class Main {public static void main(String[] args) {// TODO Auto-generated method stub
//		BloomFilter<Integer> bf = new BloomFilter<>(1_00_0000, 0.01);
//		for (int i = 1; i <= 1_00_0000; i++) {
//			bf.put(i);
//		}
//		
//		int count = 0;
//		for (int i = 1_00_0001; i <= 2_00_0000; i++) {
//			if (bf.contains(i)) {
//				count++;
//			}
//		}
//		System.out.println(count);// 数组String[] urls = {};BloomFilter<String> bf = new BloomFilter<String>(10_0000_0000, 0.01);/*for (String url : urls) {if (bf.contains(url)) continue;// 爬这个url// ......// 放进BloomFilter中bf.put(url);}*/for (String url : urls) {if (bf.put(url) == false) continue;// 爬这个url// ......}}}
  • Guava:Google Core Libraries For Java

这篇关于数据结构 - 布隆过滤器(Bloom Filter)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/633407

相关文章

C#数据结构之字符串(string)详解

《C#数据结构之字符串(string)详解》:本文主要介绍C#数据结构之字符串(string),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录转义字符序列字符串的创建字符串的声明null字符串与空字符串重复单字符字符串的构造字符串的属性和常用方法属性常用方法总结摘

Spring Boot拦截器Interceptor与过滤器Filter详细教程(示例详解)

《SpringBoot拦截器Interceptor与过滤器Filter详细教程(示例详解)》本文详细介绍了SpringBoot中的拦截器(Interceptor)和过滤器(Filter),包括它们的... 目录Spring Boot拦截器(Interceptor)与过滤器(Filter)详细教程1. 概述1

dubbo3 filter(过滤器)如何自定义过滤器

《dubbo3filter(过滤器)如何自定义过滤器》dubbo3filter(过滤器)类似于javaweb中的filter和springmvc中的intercaptor,用于在请求发送前或到达前进... 目录dubbo3 filter(过滤器)简介dubbo 过滤器运行时机自定义 filter第一种 @A

Java 8 Stream filter流式过滤器详解

《Java8Streamfilter流式过滤器详解》本文介绍了Java8的StreamAPI中的filter方法,展示了如何使用lambda表达式根据条件过滤流式数据,通过实际代码示例,展示了f... 目录引言 一.Java 8 Stream 的过滤器(filter)二.Java 8 的 filter、fi

Go语言中三种容器类型的数据结构详解

《Go语言中三种容器类型的数据结构详解》在Go语言中,有三种主要的容器类型用于存储和操作集合数据:本文主要介绍三者的使用与区别,感兴趣的小伙伴可以跟随小编一起学习一下... 目录基本概念1. 数组(Array)2. 切片(Slice)3. 映射(Map)对比总结注意事项基本概念在 Go 语言中,有三种主要

Servlet中配置和使用过滤器的步骤记录

《Servlet中配置和使用过滤器的步骤记录》:本文主要介绍在Servlet中配置和使用过滤器的方法,包括创建过滤器类、配置过滤器以及在Web应用中使用过滤器等步骤,文中通过代码介绍的非常详细,需... 目录创建过滤器类配置过滤器使用过滤器总结在Servlet中配置和使用过滤器主要包括创建过滤器类、配置过滤

【数据结构】——原来排序算法搞懂这些就行,轻松拿捏

前言:快速排序的实现最重要的是找基准值,下面让我们来了解如何实现找基准值 基准值的注释:在快排的过程中,每一次我们要取一个元素作为枢纽值,以这个数字来将序列划分为两部分。 在此我们采用三数取中法,也就是取左端、中间、右端三个数,然后进行排序,将中间数作为枢纽值。 快速排序实现主框架: //快速排序 void QuickSort(int* arr, int left, int rig

6.1.数据结构-c/c++堆详解下篇(堆排序,TopK问题)

上篇:6.1.数据结构-c/c++模拟实现堆上篇(向下,上调整算法,建堆,增删数据)-CSDN博客 本章重点 1.使用堆来完成堆排序 2.使用堆解决TopK问题 目录 一.堆排序 1.1 思路 1.2 代码 1.3 简单测试 二.TopK问题 2.1 思路(求最小): 2.2 C语言代码(手写堆) 2.3 C++代码(使用优先级队列 priority_queue)

《数据结构(C语言版)第二版》第八章-排序(8.3-交换排序、8.4-选择排序)

8.3 交换排序 8.3.1 冒泡排序 【算法特点】 (1) 稳定排序。 (2) 可用于链式存储结构。 (3) 移动记录次数较多,算法平均时间性能比直接插入排序差。当初始记录无序,n较大时, 此算法不宜采用。 #include <stdio.h>#include <stdlib.h>#define MAXSIZE 26typedef int KeyType;typedef char In

Redis中使用布隆过滤器解决缓存穿透问题

一、缓存穿透(失效)问题 缓存穿透是指查询一个一定不存在的数据,由于缓存中没有命中,会去数据库中查询,而数据库中也没有该数据,并且每次查询都不会命中缓存,从而每次请求都直接打到了数据库上,这会给数据库带来巨大压力。 二、布隆过滤器原理 布隆过滤器(Bloom Filter)是一种空间效率很高的随机数据结构,它利用多个不同的哈希函数将一个元素映射到一个位数组中的多个位置,并将这些位置的值置