【数据应用案例】知识图谱技术与应用指南

2024-09-06 04:18

本文主要是介绍【数据应用案例】知识图谱技术与应用指南,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

案例来源:@机器之心
案例地址: https://mp.weixin.qq.com/s/fuI9U7aZpuk-WX6GQNtOuA

1. 知识图谱
1)包含实体与实体间关系
2)实体与关系可以有属性
3)学界常采用RDF三元组存储(如Jena),缺点是难以表达实体的属性;业界常用图存储数据库(如Neo4j、OrientDB、JanusGraph),可以表达实体和关系的属性,同时利于检索
4)知识抽取过程
a. 命名实体识别
b. 实体间关系识别
c. 实体统一
d. 指代消解(如他她它)

2. 金融知识图谱搭建:业务理解与知识图谱的设计非常重要
1)定义具体业务问题:如金融领域的欺诈。注意如果要使用知识图谱而不是传统数据库,要考虑几个问题:
a. 有强烈的可视化需求
b. 经常涉及深度的关系搜索
c. 对关系查询有实时性要求
2)数据收集与预处理:内部信息源与外部数据,外部一般需要做实体识别和关系识别等处理
3)知识图谱设计
a. 业务原则:图谱能反映业务逻辑
b. 分析原则:
c. 效率原则:知识图谱尽量轻化,一些关系不大、分析时使用较少的属性可以放在传统数据库中。可以把知识图谱和传统数据库的关系看成内存与硬盘的关系
d. 冗余原则
4)上层应用开发:主要有两类,一类是基于规则的,一类是基于概率的
a. 基于规则的方法论
i1. 不一致性检查:找出潜在矛盾点,如两个人的公司电话是相同的,但是公司却不同
i2. 基于规则的特征提取:如“申请人的二度实体里有多少进了黑名单”
i3. 基于模式的判断:通过一些模式找出可能存在风险的子图(如团伙欺诈)。可以根据共享的实体数量定义团伙,也可以定义强连通子图为团伙
b. 基于概率的方法论:如社区挖掘、标签传播、聚类
c. 基于动态网络的分析:知识图谱网络在T到T+1时刻发生了显著变化,可能蕴含着风险信息

3. 知识图谱在其它领域的应用
1)教育领域:根据学习路径构建知识网络,帮助学生制定个性化培养方案
2)证券领域:我们经常关心“A事件发生会影响哪些公司的股价”,可以用知识图谱回答哪些公司会受到影响

这篇关于【数据应用案例】知识图谱技术与应用指南的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1140978

相关文章

Golang操作DuckDB实战案例分享

《Golang操作DuckDB实战案例分享》DuckDB是一个嵌入式SQL数据库引擎,它与众所周知的SQLite非常相似,但它是为olap风格的工作负载设计的,DuckDB支持各种数据类型和SQL特性... 目录DuckDB的主要优点环境准备初始化表和数据查询单行或多行错误处理和事务完整代码最后总结Duck

Python MySQL如何通过Binlog获取变更记录恢复数据

《PythonMySQL如何通过Binlog获取变更记录恢复数据》本文介绍了如何使用Python和pymysqlreplication库通过MySQL的二进制日志(Binlog)获取数据库的变更记录... 目录python mysql通过Binlog获取变更记录恢复数据1.安装pymysqlreplicat

Linux使用dd命令来复制和转换数据的操作方法

《Linux使用dd命令来复制和转换数据的操作方法》Linux中的dd命令是一个功能强大的数据复制和转换实用程序,它以较低级别运行,通常用于创建可启动的USB驱动器、克隆磁盘和生成随机数据等任务,本文... 目录简介功能和能力语法常用选项示例用法基础用法创建可启动www.chinasem.cn的 USB 驱动

Python使用qrcode库实现生成二维码的操作指南

《Python使用qrcode库实现生成二维码的操作指南》二维码是一种广泛使用的二维条码,因其高效的数据存储能力和易于扫描的特点,广泛应用于支付、身份验证、营销推广等领域,Pythonqrcode库是... 目录一、安装 python qrcode 库二、基本使用方法1. 生成简单二维码2. 生成带 Log

Oracle数据库使用 listagg去重删除重复数据的方法汇总

《Oracle数据库使用listagg去重删除重复数据的方法汇总》文章介绍了在Oracle数据库中使用LISTAGG和XMLAGG函数进行字符串聚合并去重的方法,包括去重聚合、使用XML解析和CLO... 目录案例表第一种:使用wm_concat() + distinct去重聚合第二种:使用listagg,

高效管理你的Linux系统: Debian操作系统常用命令指南

《高效管理你的Linux系统:Debian操作系统常用命令指南》在Debian操作系统中,了解和掌握常用命令对于提高工作效率和系统管理至关重要,本文将详细介绍Debian的常用命令,帮助读者更好地使... Debian是一个流行的linux发行版,它以其稳定性、强大的软件包管理和丰富的社区资源而闻名。在使用

Python实现将实体类列表数据导出到Excel文件

《Python实现将实体类列表数据导出到Excel文件》在数据处理和报告生成中,将实体类的列表数据导出到Excel文件是一项常见任务,Python提供了多种库来实现这一目标,下面就来跟随小编一起学习一... 目录一、环境准备二、定义实体类三、创建实体类列表四、将实体类列表转换为DataFrame五、导出Da

Python实现数据清洗的18种方法

《Python实现数据清洗的18种方法》本文主要介绍了Python实现数据清洗的18种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录1. 去除字符串两边空格2. 转换数据类型3. 大小写转换4. 移除列表中的重复元素5. 快速统

Python数据处理之导入导出Excel数据方式

《Python数据处理之导入导出Excel数据方式》Python是Excel数据处理的绝佳工具,通过Pandas和Openpyxl等库可以实现数据的导入、导出和自动化处理,从基础的数据读取和清洗到复杂... 目录python导入导出Excel数据开启数据之旅:为什么Python是Excel数据处理的最佳拍档

将Python应用部署到生产环境的小技巧分享

《将Python应用部署到生产环境的小技巧分享》文章主要讲述了在将Python应用程序部署到生产环境之前,需要进行的准备工作和最佳实践,包括心态调整、代码审查、测试覆盖率提升、配置文件优化、日志记录完... 目录部署前夜:从开发到生产的心理准备与检查清单环境搭建:打造稳固的应用运行平台自动化流水线:让部署像