防不胜防的爬虫-业务风控的必要性分析

本文主要是介绍防不胜防的爬虫-业务风控的必要性分析，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1、背景

随着互联网与移动技术在各行业的发展，业务场景也发生了根本性的转变，攻击面、攻击点呈现爆发式增长，欺诈场景也呈现多样性变化。黑灰产每年对企业造成的损失正在成倍上涨，目前各类业务系统较为频发的是如购物电商类APP、演唱会门票类APP、大促活动、短视频等平台养号等（其中包括虚拟账号注册、暴力破解、密码撞库、代理IP邓丽、黑产设备等于、秒抢劵、虚假小号、刷单、刷评论等）。
传统的爬虫防护手段主要还是依赖于规则匹配、频率限制，人机校验（验证码、滑块等），该手段可以防护90%左右的大部分低级爬虫和部分高级爬虫，但是今天爬虫的手段越来越真人化，其整个攻击已经形成了完整的产业化和链条化，很难通过传统的爬虫防护手段达到较好的防护目的，因此就需要更好的解决方案来解决业务风险，避免企业损失。

2、分析一个线上商城业务流程存在的风险点

主要流程：渠道推广 <-> 注册登录 <-> 营销活动 <-> 交易下单 <-> 社交互动

1、渠道推广：虚假刷量、伪造激活

2、注册登录：垃圾注册、拖库撞库

3、营销活动：拉新返现、套券获利

4、交易下单：限时秒杀、代付诈骗

5、社交互动：头像昵称、涉黄涉政

3、黑产环节的切入方式

针对以上环节，黑产通过全链条化的攻击工具，手段来实现获利：

1、应用维度：APP破解、APP仿冒、刷接口

手段：接口盗刷、模拟器、ROOT设备、云真机、多开器、修改器

2、账号维度：恶意注册、渠道刷量、撞库登录、黑产批量养号、虚假身份

手段：暴力破解、密码撞库、代理IP、虚拟号段、批量操作、黑产设备、黑产账号、异常登录
3、业务场景：自动任务、秒抢券、虚假小号提现、虚假流量、头像昵称违规

手段：机器账号提现、群加好友、批量打招呼、脚本自动做任务、机器秒单、灌水刷分、自动涨粉、批量点赞、违规内容

4、黑产防护的思路

攻击者利用设备多开，虚拟IP池、异常的行为来达到有关获利的非法目的，防护的思路就是从攻击的手段进行分析，传统的爬虫防护频率统计，哪怕再低频也很难识别到类人的爬虫攻击，因为要从统计分析和风险的角度来去发现异常的客户端，异常的IP、异常的行为，并能关联有关情报和其他事件来进行综合判断，如高风险IP标记，高风险用户标记等。如下是不同环节要去识别的特征：
1、设备：信息篡改、模拟器、ROOT越狱、多开器、云真机

2、用户：账号、IP、手机号、邮箱号、注册事件、昵称

3、行为：异常时间登陆、地理位置异常、高频异常、批量注册、暴力破解、撞库

4、业务：地域限制、活动次数限制、完成活动任务、时间限制、收货地址聚集、活体检测

4.1、事前的防护思路

1）黑产情报和数据的采集：

1、可靠的黑产情报监测，可以帮助企业提前预知风险，或感知外部的攻击情况
2、在业务活动的各个阶段，都需要进行数据采集，主要有设备指纹、业务数据、第三方数据等。采集的数据主要用于事中的风险监测和事后的离线分析，一般需要通过APP端上报数据或者SDK来采集数据上报。

2）业务逻辑规则的制定：
在制定营销活动时，必须制定完备的业务规则，必须要有相应的活动门槛和奖励限制
1、用户群体限制：定义哪些类型的用户能参与活动，指定清晰的分界线。比如：提现、积分兑换仅微信实名账户参与，大额神券可以限制账户等 级>3、年度内购物次数>2才能领取等等。
2、APP版本限制：定义哪些APP版本能参与，比如：拉新活动要求必须使用最新版APP注册才给奖励。（甚至可以结合统计数据来要求手机的版本，有些爬虫工具的版本较低）

3、参与次数限制：单人每天拉新数量限制、单人每月奖励上限、单人每天提现上限。
3）信息核验：
信息核验主要是为了确保是用户自己来参与活动，主要手段包括：
1、验证码人机校验：设备指纹不一致时校验
2、手机短信校验：设备指纹不一致时或验证码校验失败时校验
3、密码校验：提现、兑换操作时校验。
4、本机校验：校验手机号对应的SIM卡是否在当前设备中使用
5、收货地址核验：商品下单、积分商城兑换商品时校验。

4.2、事中的检测和处置

1）人机识别：
人机识别主要区分是人，还是机器自动化的行为。客户端与后端的数据交互过程中，增加如下的数据保护手段，一旦发现数据有问题，则都是机器行为。
1、数据合法性校验
2、数据加解密
3、数据篡改检测

2）决策引擎-实施决策分析：（整个业务风控的核心）
事中检测的核心工具就是决策引擎，决策引擎主要的工作是识别风险，一般的决策引擎都需要如下几个功能：
1、名单服务：建立黑、白、灰名单。
2、画像服务：建立基于设备、IP、手机号、邮箱、地址等层级的画像服务。
3、指标计算：一般包括高频类统计、计数、去重计数、累加、去重累加、求最大值、求最小值等等
4、风控模型：基于采集到的数据，建立风控模型，比如：设备模型、行为模型、业务模型等。
5、规则引擎：最终的风控数据进入决策引擎，由决策引擎判断是否存在风险。风控运营需基于业务建立各种风控规则，以识别风险。

3）风险处置：
识别到风险之后，需要对风控进行处置，处置手段一般有：
1、二次校验：比如，正常用户无需二次校验，有风险的用户需再次校验手机短信等。
2、拦截：拒绝当前业务操作。
3、降低奖励：比如，正常用户的奖励金是1元，风险用户奖励金是0.01元。
4、拉黑：直接进黑名单
5、名单监控：进灰名单监控
6、风险审核：进入人工审核，比如：商城兑换的订单业务，一般嫌疑类风险订单，都会安排人工审核。

4.3、事后的分析

事后主要是利用知识图谱技术，离线补充分析非设备、行为、名单等单维度的风险行为，极大提高团伙作案、工作室的识别能力，分析结果可作用于事中实时检测和事前预防。

对于T+N的业务（比如：拉新奖励金提现、商品兑换），离线分析之后，若识别出风险，也可以做拦截（拒绝此次提现）。

离线分析主要有几个方面：

1、离线指标：基于长周期、大数据的离线指标计算

2、关联分析：基于前后关联业务、关联数据做关联分析，识别风险用户、风险操作。

3、模型训练：基于机器学习、深度学习技术来构建用户行为模型。

4、名单库：通过离线分析，积累、沉淀各种名单库。

5、数据画像：基于离线分析，对IP、设备等构建数据画像。

5、总结：

所以综合分析来看，要想实现高效率更精准的防护效果，风控的引擎是一个关键的因素，模型的能力决定了对黑灰产数据的关联分析准确度，另外数据情况也是关键，黑灰产的工具如客户端，IP池可能会用于多种攻击如WAF、DDOS等，如果能做到多维度的统计关联分析，也能提高置信度。

这篇关于防不胜防的爬虫-业务风控的必要性分析的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---