实际工作场景中数据数初步清洗逻辑使用数据过滤系列-Aviator表达式过滤主要讲解实现主页,配置数据过滤规则有什么用怎么用

本文主要是介绍实际工作场景中数据数初步清洗逻辑使用数据过滤系列-Aviator表达式过滤主要讲解实现主页,配置数据过滤规则有什么用怎么用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

目录

实际场景的一个规则

第一个案例,正则相关

第二个案例不等于相关

第三个案例同时满足条件A和条件B 同时不满足条件C

第四个案例满足条件A或条件B 同时不满足条件C

过滤整个系列主要讲解了什么

 表达式规则的前期工作,如何实现简单讲解

规则同时满足等于条件A且同时满足等于条件B,对数据进行过滤

规则包含使用分词和JDK自带流式stream处理效率对比

规则满足等于条件A,同时满足包含条件B,规则表达式

规则满足等于条件A【可配置变动的配置参数】,规则表达式

规则满足包含条件A【可配置变动的配置参数】,规则表达式

规则满足入参包含每一个字符串A【可配置变动的配置参数】,规则表达式

规则满足入参满足以条件A为结尾【A可配置变动的配置参数】,规则表达式

规则满足入参满足以条件A为开头首字符串【A可配置变动的配置参数】,规则表达式

规则满足符合其中一个正则表达式A【A可配置变动的配置参数】,规则表达式

表达式执行过程中需要注意的事项,实际工作中遇到的问题和异常

规则统一封装工具类进行调用,返回匹配结果符合【true】还是不符合【false】

规则不满足正则表达式条件A【A为可配置的正则列表】,表达式实现

规则过滤结果展示,实际工作场景初步清洗数据效果展示

规则其中的一些局限性,不能直接的获取到自定义表达式名称



 

前言:

目前我们业务场景是每分钟可以入库数据60000+数据,这些数据,很多都是毫无价值的数据,那么进一步就需要我们进行数据的清洗,目前在这里我只讲解我们初步的过滤阶段后续的清洗后续课程看时间,等我整理好了有时间了就再来加更!其实可以通诺JDK的自带的方法或者正则表达式进行过滤数据,可是实际的业务需求是可以自配的,也就是说可以动态的进行配置,不断地修改规则,进行满足业务需求。那么在技术实现上,最开始的是使用JDK的过滤开发实现的,效率也还可以,但是随着入库数据的不断增加,业务需要更为复杂的规则进行过滤,java写死的代码就不能满足业务实际的生产过滤需要,所以经过我们几轮的商讨个每个人的采用的技术架构进行效率比较,最后采用了,Aviator表达式过滤,在效率上,灵活性上更为满足实际上的业务需求。所以最后拍板进行选择了Aviator表达式过滤的初步过滤方案。

 

实际场景的一个规则

第一个案例,正则相关

-- 条件 55 标题正则表达式  title not regexp ‘不达标|超标|不符合.*安全标准|不合格|侵权|注销|失联|募集失败|质量黑榜|不能.*(偿还|偿付)|并网|招标|项目.*投运|遭查|获.*资格|终止.*协议|签约.*项目|同业存单|减值.*计提|计提.*减值|发行.*票据|合同.*(公告|公示)|罚单’

这样的是不是java代码也可以进行开发,可是实际上可以变动的话,java就需要重新开发一套逻辑来支持,灵活性太差劲,所以,在这里需要进行观察。此时我自己建立的过滤直接可以配置数据库脚本局可以,还可以配置与或非的关系组合,用起来非常方便!

当然这个作为最简单的案例,我处理配置如下就可以实现:

INSERT INTO `tbm`.`rule_contant` (`id`, `parameter`, `replace_parameter`, `contant_type`, `update_time`, `create_time`, `desc`) VALUES (null, '.*(不达标|超标|不符合.*安全标准|不合格|侵权|注销|失联|募集失败|质量黑榜|不能.*(偿还|偿付)|并网|招标|项目.*投运|遭查|获.*资格|终止.*协议|签约.*项目|同业存单|减值.*计提|计提.*减值|发行.*票据|合同.*(公告|公示)|罚单).*', NULL, 'PATTERNTITLE20201116_1', '2021-01-16 20:01:50', '2021-01-16 23:18:46', '2021-01-16新增;反向过滤;条件 55 标题正则表达式表达式是:patternfunction(\'$TITLE$\',\'#PATTERNTITLE20201116_1#\')');

第二个案例不等于相关


--条件 56 栏目不符合正则表达式  code not in (49940,47216,49935,53128,48314,49596,49934,49943,49931,50381,201942,48326,48429,49008,51139,48380,49829,49944,50903,51123,56112,47450,49940,50904,56123,48423,48493,48494,48510,48518,50020,50378,50379,50526,50722,50723,50725,50729,203566,48429,49596,49935,56112,201942,23348,33492,48316,48411,48495,48504,48507,48508,48512,48513,49603,50021,50022,50534,50726,50904,50905,51040,51059,51081,51097,56115,56118,56129,56194,58125,86141,92686,203563,47020,47073,47216,48494,48659,49943,50379,51139,55872,92686,49571,49572,49573,49574,49575,49576,49577,49578,49579,49580)

这里仅仅作为主页的简单介绍。至于在工作中使用的过滤规则详见下面链接:

第三个案例同时满足条件A和条件B 同时不满足条件C

第四个案例满足条件A或条件B 同时不满足条件C

类似下面的过滤需求。如何配置化实现呢?是不是看到之后有点迷糊?当条件很多,而且要支持动态变化的话,最好的方案就是配置表达式支持只有如此才会满足这样的数据过滤需求场景

过滤整个系列主要讲解了什么

 

  1.  表达式规则的前期工作,如何实现简单讲解

  2. 规则同时满足等于条件A且同时满足等于条件B,对数据进行过滤

  3. 规则包含使用分词和JDK自带流式stream处理效率对比

  4. 规则满足等于条件A,同时满足包含条件B,规则表达式

  5. 规则满足等于条件A【可配置变动的配置参数】,规则表达式

  6. 规则满足包含条件A【可配置变动的配置参数】,规则表达式

  7. 规则满足入参包含每一个字符串A【可配置变动的配置参数】,规则表达式

  8. 规则满足入参满足以条件A为结尾【A可配置变动的配置参数】,规则表达式

  9. 规则满足入参满足以条件A为开头首字符串【A可配置变动的配置参数】,规则表达式

  10. 规则满足符合其中一个正则表达式A【A可配置变动的配置参数】,规则表达式

  11. 表达式执行过程中需要注意的事项,实际工作中遇到的问题和异常

  12. 规则统一封装工具类进行调用,返回匹配结果符合【true】还是不符合【false】

  13. 规则不满足正则表达式条件A【A为可配置的正则列表】,表达式实现

  14. 规则过滤结果展示,实际工作场景初步清洗数据效果展示

  15. 规则其中的一些局限性,不能直接的获取到自定义表达式名称

 

 


  

这篇关于实际工作场景中数据数初步清洗逻辑使用数据过滤系列-Aviator表达式过滤主要讲解实现主页,配置数据过滤规则有什么用怎么用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1045869

相关文章

Spring Security 基于表达式的权限控制

前言 spring security 3.0已经可以使用spring el表达式来控制授权,允许在表达式中使用复杂的布尔逻辑来控制访问的权限。 常见的表达式 Spring Security可用表达式对象的基类是SecurityExpressionRoot。 表达式描述hasRole([role])用户拥有制定的角色时返回true (Spring security默认会带有ROLE_前缀),去

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

W外链微信推广短连接怎么做?

制作微信推广链接的难点分析 一、内容创作难度 制作微信推广链接时,首先需要创作有吸引力的内容。这不仅要求内容本身有趣、有价值,还要能够激起人们的分享欲望。对于许多企业和个人来说,尤其是那些缺乏创意和写作能力的人来说,这是制作微信推广链接的一大难点。 二、精准定位难度 微信用户群体庞大,不同用户的需求和兴趣各异。因此,制作推广链接时需要精准定位目标受众,以便更有效地吸引他们点击并分享链接

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取