从数据库中随机随机捞取一些数据是一个很常见的需求，在应用场景、运维场景、数据分析场景都会有这样的需求，随机的方法有很多，但要能做到：性能好、接近理想随机性，还是一件比较麻烦的事情，这里给出一些常见场景的处理方案和对比以供参考，具体场景还得具体分析。 文章目录 1.概览-问题主要挑战点1.1 性能问题1.2 随机性问题1.3 数据库结构的影响1.4 如何平衡（常见：分段随机） 2.

"""用于清洗从hbase中捞取出来的数据author：tiandate: 2020-02-27"""import pandas as pddef get_data(path):data = pd.read_excel(path, names=['glassid_operacode', 'attribute', 'name', 'value'])glassid_operacode = data[

作为一个风控策略从业者，不是在开发规则就是在开发规则的路上。 之前我们提到说，日常工作中单一的变量特征，在实际上线部署的过程中往往达不到我们要的效果。比如对于某一条规则的分箱，分别是： 第一分箱：对应坏账2%第二分箱：对应坏账15%第三分箱：对应坏账25% 但当我们测试完盈利数据，发现切分点cut-off需要定在22%的时候，却找不到合适的阈值。因为22%不是比15%大，就是比25%小一些，所以怎