MinHash-LSH 哈希模糊去重：如何解决医学大模型的大规模数据去重？

2024-01-17 18:20
文章标签 数据 模型 解决 模糊 哈希 医学 大规模 minhash lsh

本文主要是介绍MinHash-LSH 哈希模糊去重：如何解决医学大模型的大规模数据去重？，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

MinHash-LSH 最小哈希 + 局部敏感哈希：如何解决医学大模型的大规模数据去重？

    • 大模型的数据问题
    • MinHash-LSH 最小哈希 + 局部敏感哈希：大规模数据集去重优化
      • Jaccard相似度：用于比较样本集之间的相似性
      • 降维技术 Minhash
      • LSH – 局部敏感哈希
    • MinHash-LSH 多个开源数据集去重

 

大模型的数据问题

问题：训练医学大模型的数据规模真的很大，其中会夹杂很多重复数据。

重复数据对于大模型微调也有较大影响，数据集必须去重后再用于模型训练。

临床数据：

  • 20 亿条文本数据

教材数据：

  • 1000+ 本指南
  • 7万+ 药品说明书
  • N 个科室疾病培训数据
  • N 本古籍、教材
  • …

开源数据：

  • 中文医学命名实体识别CMedEE

  • 中文医学文本实体关系抽取CMedIE

  • 临床术语标准化任务CHIP-CDN

  • 临床试验筛选标准短文本分类CHIP-CTC

  • 平安医疗科技疾病问答迁移学习CHIP-STS

  • 医疗搜索检索词意图分类KUAKE-QIC

  • 医疗搜索查询词—页面标题相关性KUAKE-QTR

  • 医疗搜索查询词—查询词相关性KUAKE-QQR

  • 中文医学命名实体识别CMedEE

  • 中文医学文本实体关系抽取CMedIE

  • 临床术语标准化任务CHIP-CDN

  • 临床试验筛选标准短文本分类CHIP-CTC

  • 平安医疗科技疾病问答迁移学习CHIP-STS

  • 医疗搜索检索词—意图分类KUAKE-QIC

  • 医疗搜索查询词—页面标题相关性KUAKE-QTR

  • 医疗搜索查询词—查询词相关性KUAKE-QQR

  • 医疗搜索查询词—相关性检索KUAKE-IR

  • 阴阳性实体判别CHIP-MDCFNPC

  • 对话实体抽取IMCS-V2-NER

  • 意图标签分类IMCS-V2-DAC

  • 智能诊疗对话症状识别IMCS-V2-SR

  • 诊疗报告生成IMCS-V2-MRG

  • 医疗对话生成MedDG

  • MedDialog-CN https://github.com/UCSD-AI4H/Medical-Dialogue-System

  • IMCS-V2 https://github.com/lemuria-wchen/imcs21

  • CHIP-MDCFNPC https://tianchi.aliyun.com/dataset/95414

  • MedDG https://tianchi.aliyun.com/dataset/95414

  • cMedQA2 https://github.com/zhangsheng93/cMedQA2

  • Toyhom https://github.com/Toyhom/Chinese-medical-dialogue-data

  • michaelwzhu/ChatMed-Consult michaelwzhu/ChatMed-Consult · Hugging Face

  • Huatuo-26M https://github.com/FreedomIntelligence/Huatuo-26M

  • Medical https://huggingface.co/datasets/shibing624/medical

  • 复旦DISC-MedLLM https://github.com/FudanDISC/DISC-MedLLM

  • DoctorGLM https://zhuanlan.zhihu.com/p/657058443

  • MedicalGPT https://zhuanlan.zhihu.com/p/657058443

  • ChatMed：https://zhuanlan.zhihu.com/p/657058443

  • MedQA-ChatGLM：https://zhuanlan.zhihu.com/p/657058443

  • 神农中医药大模型：https://zhuanlan.zhihu.com/p/657058443

  • 70B医学大模型：https://huggingface.co/datasets/epfl-llm/guidelines

  • 澳门理工caregpt：https://github.com/WangRongsheng/CareGPT

MinHash-LSH 最小哈希 + 局部敏感哈希：大规模数据集去重优化

怎么去重呢？

要用到一个炒鸡牛逼的算法：MinHash-LSH。

谷歌、亚马逊等公司的许多核心功能都是 MinHash-LSH 实现的。

  • 解法：MinHash-LSH
  • 问题特征：能在大数据中，寻找特征向量相似又不完全相同的情况下，找出尽可能近的样本。
  • 应用场景：亚马逊根据相似度最高的买家的购买历史找到新的商品推荐、谷歌搜索字词与 Google 的索引互联网之间执行相似性搜索、Spotify根据用户音乐风格，寻找匹配的相似度

当有 30 亿级别的集合需要比较时，使用传统的全对全比较方法（即比较任意两个集合是否相似）将变得非常耗时，这种方法的时间复杂度是 O(n^2)，随着集合数量的增加，所需的计算时间呈平方级增长。

在很多实际情况下，绝大多数的集合对之间都不相似，这意味着全对全比较中的大部分计算实际上是无用功。

如果能有一种方法能够快速地将可能相似的集合对筛选出来，只对这些潜在相似的集合对进行详细的相似度计算，那么就可以大幅度降低计算成本。

MinHash 和局部敏感哈希（LSH）就是这样一种解决方案：

  • MinHash 是一种哈希技术，可以用来有效地估计集合之间的Jaccard相似度

  • LSH 是用来将那些相似度高的集合哈希到相同的桶中的技术。

只有被哈希到同一个桶中的集合对才需要进行相似度比较，大大减少了比较的数量，从而降低了算法的整体时间复杂度。

时间复杂度从 平方量级 降低到 接近线性复杂度。

MinHash-LSH 的设计逻辑：

  • 一般的hash，原内容发生微小变化后，hash值的变化是无法预估的。
  • 字符串改一个字母后，整个字符串md5变得完全不一样，图片改一个像素后hash值也变得完全不一样。
  • 局部敏感hash的改进在于，原内容发生微小变化后，其hash值也只发生微小变化。
  • 从而满足原内容相近hash值也相近的良好性质。
  • 这种性质的好处在于，可以在hash空间进行近邻检索。

怎么实现这种逻辑呢？

  • 从对内容敏感的信息，变成，对位置敏感的哈希
  • 这种哈希算法，得到的哈希值（或者说指纹），在向量空间中的位置是“敏感”的
  • 两个指纹在向量空间中的相对位置是有意义的，近就是真的近，远就是真的远
  • 而不是如md5一样，在向量空间中的远近和实际含义的远近无关系

Jaccard相似度：用于比较样本集之间的相似性

Jaccard相似度的定义是两个集合交集大小与并集大小之比。

具体来说，如果有两个集合A和B，那么ta们之间的 Jaccard 相似度：

  • [ J ( A , B ) = ∣ A ∩ B ∣ ∣ A ∪ B ∣ ] [ J(A, B) = \frac{|A \cap B|}{|A \cup B|} ] [J(A,B)=∣A∪B∣∣A∩B∣​]

∣ A ∩ B ∣ |A ∩ B| ∣A∩B∣ 表示集合A和集合B的交集中元素的数量。

∣ A ∪ B ∣ |A ∪ B| ∣A∪B∣ 表示集合A和集合B的并集中元素的数量。

举个列子，集合X = {a,b,c}，Y = {q,a,b}。

那 Jac(X,Y) = 2 / 3 = 0.67。

X 和 Y 有 67% 的元素相同。

Jaccard相似度的值范围在0到1之间：

  • 0 表示没有共同元素，即两个集合完全不相似
  • 1 表示两个集合完全相同
  • 在0到1之间的值表示集合之间的部分相似性

Jaccard相似度越高，表示两个集合的相似度越大。

在数据处理中，我们可以使用 jieba 分词库，把一句话分词成各个元素后，计算相似度。

query1 = ["ta喜欢的水果有？"]                          # 分词前
query1 = ['ta', '喜欢', '的', '水果', '有', '？']      # 分词后query2 = ["ta喜欢的坚果有？"]                          # 分词前
query2 = ['ta', '喜欢', '的', '坚果', '有', '？']      # 分词后

降维技术 Minhash

直接计算数据之间的相似度（Jaccard相似度）会非常耗时，每个集合里面的元素，俩俩比较。

如果大部分集合对之间的相似度都很低，进行俩俩比较会做很多无用功。

传统的方法需要对两个集合的每个元素进行一对一的比较，以确定ta们的相似性。

MinHash 算法通过为每个集合生成一个固定长度的标签（哈希函数产生签名），来代表集合的特征。

  • 原本复杂的集合相似性比较，简化为标签（MinHash值）的比较
  • 比较签名的成本，远低于比较完整的集合

这些签名保留了集合间相似度的信息，还能保持原始数据的相似性。

  • 如果两个集合很相似，Minhash 值也会很相似

但单个 MinHash 值可能无法准确地反映两个集合的相似性，可能是一个偶然的匹配。

在实际应用中，我们会使用数百或数千个哈希函数来增加估计的准确性。

如果大多数哈希函数产生的MinHash值都相同，我们可以有更高的信心认为两个集合是相似的。

  • 解法：MinHash
  • 问题特征：在高维空间中估计稀疏数据集合的相似性，特别是当直接计算成对相似度不可行时。如需要快速而精确地估计大型数据集中集合之间的Jaccard相似度。
  • 应用场景：文本处理中比较文档相似性，如新闻聚类、查重系统；生物信息学中比较基因组序列；推荐系统中评估用户间或物品间的相似性。

这里是为了应用，具体数学公式、概率证明，请猛击《原始论文》。

LSH – 局部敏感哈希

LSH 函数旨在将相似的值放入相同的存储桶中。

LSH 的核心思想是将相似的数据点映射到相同的“桶”（buckets）中，而不相似的点映射到不同的桶中。

这样，当需要找到一个数据点的最近邻时，可以仅在相同桶中的点之间进行搜索，而不是在整个数据集中搜索，大大降低了计算量。

LSH 是基于哈希的技术，其特点是保持局部相似性：相似的输入在哈希后应该产生相似或相同的哈希值。

与传统哈希函数不同，LSH 的目的不是为了避免冲突，而是为了让冲突更可能发生在相似的项之间。

LSH 的具体实现方式有很多，最常见的包括：

  1. MinHash LSH：适用于度量集合相似性（如Jaccard相似性）的LSH。MinHash 将每个集合转换成一个固定长度的签名，该签名是由多个最小哈希值组成的向量，这些最小哈希值由集合中的元素通过多个哈希函数计算得到。

  2. SimHash LSH：用于处理高维特征向量的文本或其他数据的相似性。SimHash 通过哈希函数将特征向量转换为一个固定长度的位串，这样，相似的数据点会产生相似的位串。

  3. Euclidean LSH：适用于欧几里得空间中的数据点。它使用超平面将空间划分成不同的区域，并将落在同一区域内的点映射到同一个桶中。

LSH 算法的详细步骤如下：

  1. 选择适合的 LSH 家族：根据数据的性质和相似性度量选择合适的 LSH 函数。

  2. 定义哈希表和哈希函数：创建多个哈希表，并为每个哈希表定义一个或多个 LSH 函数。

  3. 哈希和存储数据点：使用定义的哈希函数将数据点映射到各自的桶中。

  4. 查询过程：在查询最近邻时，首先计算查询点的哈希值，然后只在对应桶中的点集合中进行搜索，这样可以快速缩小搜寻范围。

LSH 的效率和精度受到哈希函数个数、哈希表数量和桶的大小等参数的影响。

在应用中，这些参数需要根据具体应用进行调整以达到最佳效果。

由于 LSH 是一种概率算法，允许少量的误报（false positives）和漏报（false negatives），但在实际应用中，这通常是可接受的，特别是在处理大规模数据集时，ta提供了显著的速度优势。

  • 解法：LSH（局部敏感哈希）
  • 问题特征：当数据量很大，使得对所有可能的数据对进行比较变得不可行时，需要一种方法能够高效地查找和查询近似最近邻
  • 应用场景：大规模图像或视频检索系统，寻找视觉上相似的内容；文本或文章数据库中寻找相似文档；音频或声音样本匹配；大型数据库中的快速相似项查找

MinHash-LSH 多个开源数据集去重

配置环境包：

pip install jieba datasketch

MinHash-LSH 代码：

import jieba
import re  # 假设这里应该导入 re 而不是 ro
from datasketch import MinHash, MinHashLSHquery = "想人想得厉害的时候，也是淡淡的。像饿了很多日的旅人闻到炊烟，但知道不是自家的。"sentences = ["想人想得厉害的时候，也是轻轻的。像漂泊很多日的旅人闻到炊烟，但知道不是返乡的。","梦中梦见心上人,也是轻轻的。像漂泊良久的游子见到归帆，却明白并非返乡的。"]regex = re.compile("，|。")def split_word(sentence):global regexreturn [word for word in jieba.lcut(re.sub(regex, '', sentence)) if word.strip()]query_lcut = split_word(query)
sentences_lcut = [split_word(sentence) for sentence in sentences]
print(query_lcut)
print(sentences_lcut)'''
print(query_lcut)：
['想人', '想', '得', '厉害', '的', '时候', '也', '是', '淡淡的', '像', '饿', '了', '很多', '日', '的', '旅人', '闻到', '炊烟', '但', '知道', '不是', '自家', '的']
[]print(sentences_lcut)：[
['想人', '想', '得', '厉害', '的', '时候', '也', '是', '轻轻', '的', '像', '漂泊', '很多', '日', '的', '旅人', '闻到', '炊烟', '但', '知道', '不是', '返乡', '的']
['梦中', '梦见', '心上人', ',', '也', '是', '轻轻', '的', '像', '漂泊', '良久', '的', '游子', '见到', '归帆', '却', '明白', '并非', '返乡', '的']
'''threshold = 0.5   # 相似度 > 0.5
num_perm = 128
lsh = MinHashLSH(threshold=threshold, num_perm=num_perm)
for idx, sentence_lcut in enumerate(sentences_lcut):minhash = MinHash(num_perm=num_perm)minhash.update_batch([word.encode('utf-8') for word in sentence_lcut])lsh.insert("minhash_sentence_{}".format(idx+1), minhash)print(list(lsh.keys))
# 输出：['minhash_sentence_1', 'minhash_sentence_2']minhash_query = MinHash(num_perm=num_perm)
minhash_query.update_batch([word.encode('utf-8') for word in query_lcut])
simi_result = lsh.query(minhash_query)
print("Jaccard相似度 > {} 的句子有：{}".format(threshold, simi_result))
# 输出：Jaccard相似度 > 0.5 的句子有：['minhash_sentence_1']  # 删除 minhash_sentence_1，从 LSH 中移除查询到的结果，需要对 simi_result 进行遍历
for key in simi_result:lsh.remove(key)print(list(lsh.keys))
# 输出：['minhash_sentence_2']

去重多个开源文件所有数据：

import jieba
import re
from datasketch import MinHash, MinHashLSH# 此函数用于分词
def split_word(sentence):regex = re.compile("，|。|？|！")return [word for word in jieba.lcut(re.sub(regex, '', sentence)) if word.strip()]# 配置参数
threshold = 0.5   # 相似度阈值
num_perm = 128    # MinHash的排列次数# 初始化LSH对象
lsh = MinHashLSH(threshold=threshold, num_perm=num_perm)# 假设你有一个函数来获取多个开源文件下所有问答对
# def get_qa_pairs():
#     # 这里应该包含读取文件并返回所有问答回答的代码
#     return qa_pairs# 读取所有问答回答对
qa_pairs = get_qa_pairs()# 为每个问答回答创建MinHash并加入LSH
for idx, qa_pair in enumerate(qa_pairs):q, a = qa_pair                                   # 假设qa_pair是一个包含问题和答案的元组combined_text = q + " " + a                      # 可以根据需要将问题和答案合并或分别处理words = split_word(combined_text)minhash = MinHash(num_perm=num_perm)for word in words:minhash.update(word.encode('utf-8'))lsh.insert("qa_pair_{}".format(idx), minhash)# 查询并去重
unique_qa_pairs = []
for idx, qa_pair in enumerate(qa_pairs):q, a = qa_paircombined_text = q + " " + awords = split_word(combined_text)minhash = MinHash(num_perm=num_perm)for word in words:minhash.update(word.encode('utf-8'))# 查询相似问答回答result = lsh.query(minhash)# 如果只有自己或没有其他相似项，则视为唯一if len(result) <= 1 or (len(result) == 2 and "qa_pair_{}".format(idx) in result):unique_qa_pairs.append(qa_pair)# 将此问答回答标记为唯一，可选步骤lsh.remove("qa_pair_{}".format(idx))# 输出去重后的问答对
print(unique_qa_pairs)

这篇关于MinHash-LSH 哈希模糊去重：如何解决医学大模型的大规模数据去重？的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/616841。

相关文章

大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
哈希leetcode-1

哈希leetcode-1

目录 1前言 2.例题  2.1两数之和 2.2判断是否互为字符重排 2.3存在重复元素1 2.4存在重复元素2 2.5字母异位词分组 1前言 哈希表主要是适合于快速查找某个元素（O(1)） 当我们要频繁的查找某个元素，第一哈希表O(1)，第二，二分O(log n) 一般可以分为语言自带的容器哈希和用数组模拟的简易哈希。 最简单的比如数组模拟字符存储，只要开26个c
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
关于数据埋点，你需要了解这些基本知识

关于数据埋点，你需要了解这些基本知识

产品汪每天都在和数据打交道，你知道数据来自哪里吗？ 移动app端内的用户行为数据大多来自埋点，了解一些埋点知识，能和数据分析师、技术侃大山，参与到前期的数据采集，更重要是让最终的埋点数据能为我所用，否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式，可以区分为： 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理：自动程度高的，能解决通用统计，便于统一化管理，但个性化定
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人，AI大神Andrej Karpathy，曾是OpenAI联合创始人之一，特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ，宣布将长期致力于AI原生教育。 近日，Andrej Karpathy接受了No Priors（投资博客）的采访，与硅谷知名投资人 Sara Guo 和 Elad G
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...
usaco 1.3 Prime Cryptarithm(简单哈希表暴搜剪枝)

usaco 1.3 Prime Cryptarithm(简单哈希表暴搜剪枝)

思路： 1. 用一个 hash[ ] 数组存放输入的数字，令 hash[ tmp ]=1 。 2. 一个自定义函数 check( ) ，检查各位是否为输入的数字。 3. 暴搜。第一行数从 100到999，第二行数从 10到99。 4. 剪枝。 代码： /*ID: who jayLANG: C++TASK: crypt1*/#include<stdio.h>bool h
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2