千亿专题

快手HBase在千亿级用户特征数据分析中的应用与实践

声明：本文的原文是来自Hbase技术社区的一个PPT分享，个人做了整理和提炼。大家注意哈，这种会议PPT类的东西能学习到的更多的是技术方案和他人在实践过程中的经验。希望对大家有帮助。背景快手每天产生数百亿用户特征数据，分析师需要在跨30-90天的数千亿特征数据中，任意选择多维度组合(如:城市=北京&性别=男)，秒级分析用户行为。针对这一需求, 快手基于HBase自主研发了支持bitmap转

滴滴出行千亿级消息队列炼成记！

本文整理自滴滴出行消息队列负责人江海挺在Apache RocketMQ开发者沙龙北京站的分享。通过本文，您将了解到滴滴出行： 1. 在消息队列技术选型方面的思考； 2. 为什么选择 RocketMQ 作为出行业务的消息队列解决方案； 3. 如何构建自己的消息队列服务； 4. 在 RocketMQ 上的扩展改造实践； 5. 在 RocketMQ 上的实践经验。江海挺：滴

定制家居业首个市值破千亿企业，如何通过智能客服系统实现人效攀升？

在家居行业，欧派家居可是个响当当的名字，市值破千亿，门店遍布全球，产品远销六大洲、118个国家。但你知道吗？欧派家居虽然已创立28年，但一直在积极拥抱数字化变革，因此联合中关村科金搭建智能客服系统，实现了90%的智能客服接待率！增长的业绩与攀升的人力成本欧派家居全球门店突破7000多家，每天需要接待大量的业务答疑和售后咨询问题，这不仅对客服团队是个巨大的挑战，而且随着业务量的增长，人力

创新案例｜创新实时零售模式，千亿时尚巨头Shein的全球扩张之路

SHEIN，一家估值千亿美元的快时尚电商独角兽，是全球增长最快的服饰平台。它通过数据和平台的双轮驱动，构建了全新的“实时零售”模式，实现了数据与商业的紧密衔接。同时，通过领导力和组织能力建设，打造了独特的“POP-L增长团队”。用户与商业闭环的有机串联使得SHEIN能够实现从流量获客到产品迭代的全链路增长运营。SHEIN以极致用户导向和高效实验驱动为核心，形成了一套用户价值导向的增长引擎，实现了

千亿级开源大模型Qwen110B部署实测

近日，通义千问团队震撼开源 Qwen1.5 系列首个千亿参数模型 Qwen1.5-110B-Chat。千亿级大模型普通显卡是跑不了推理的，普通人一般也没办法本地运行千亿级大模型。为了探索千亿级大模型到底需要计算资源，我用云计算资源部署了Qwen1.5-110B-Chat，看看部署它到底需要多少存储资源，并且测试在不量化、8bit量化、4bit量化下的显存消耗。一、下载模型 #模型下载

零一万物发布千亿参数模型Yi-Large，李开复呼吁关注TC-PMF，拒绝Ofo式烧钱打法

5月13日，在零一万物成立一周年之际，零一万物 CEO 李开复博士携带千亿参数 Yi-Large 闭源模型正式亮相，正式进军全球 SOTA 顶级大模型之首，在斯坦福最新的 AlpacaEval 2.0 达到全球大模型 Win Rate 第一。除此之外，零一万物将早先发布的 Yi-34B、Yi-9B/6B 中小尺寸开源模型版本升级为 Yi-1.5 系列，每个版本达到同尺寸中 SOTA 性能最佳。

漫谈千亿级数据优化实践：数据倾斜（纯干货）

0x00 前言引用数据倾斜是大数据领域绕不开的拦路虎，当你所需处理的数据量到达了上亿甚至是千亿条的时候，数据倾斜将是横在你面前一道巨大的坎。迈的过去，将会海阔天空！迈不过去，就要做好准备：很可能有几周甚至几月都要头疼于数据倾斜导致的各类诡异的问题。郑重声明：话题比较大，技术要求也比较高，笔者尽最大的能力来写出自己的理解，写的不对和不好的地方大家一起交流

使用 ClickHouse 每天玩转千亿数据

点击上方 "zhisheng"关注, 星标或置顶一起成长 Flink 从入门到精通系列文章公众号内回复 ClickHouse 关键字可以获取该 PPT 基于 Apache Flink 的实时监控告警系统关于数据中台的深度思考与总结（干干货）日志收集Agent，阴暗潮湿的地底世界2020 继续踏踏实实的做好自己公众号(zhisheng)里回复面经、Cli

千亿级垃圾分类市场，区块链项目当下该如何切入（附案例）

7月1日，《上海市生活垃圾管理条例》正式施行，这被外界称作“史上最严”。与此同时，北京、深圳、杭州等城市，也正在陆续研究制定自己的垃圾分类标准。但当人们还停留在讨论干湿垃圾和调侃上海市民，一些聪明的资本已经杀入了垃圾分类市场，享受上了政策推动带来的红利。据东方证券研究所以上海模式下全国垃圾分类市场规模测算，全国普及垃圾分类孕育市场规模接近2000亿元。其中，垃圾收转车、中转站及相应预处理

数字人才市场价值已接近千亿？高校产教融合模式势在必行

随着数字化转型进程加快，数字经济已经在社会发展中占据重要地位。今年国家“十四五”规划中已经明确数字经济是继农业经济、工业经济之后的主要经济形态，并且提出到2025年，数字经济将迈向全面扩展期，以数字经济核心产业增加值占GDP比重达到10%为发展目标。与此同时，就业市场对于具备数字化技能的人才需求也呈现井喷态势。在中国信息研究院今年发布的报告中就指出：数字经济新就业模式将对就业形态

ES千亿级数据检索实战-搜索优化建议

本篇文章，提供优化的思路，优化方向，不做过多的细节赘述。目前负责千亿级别的索引的搜索优化。以下内容，是我个人做es搜索的经验。优化方向业务上合理使用集群。百分之八十的问题都是业务上使用不当造成的。好的集群规划，充分的资源，是es起飞的第一步。大家的使用es的场景都不一样。有的用到聚合、有的用到精准搜索、有的用到相关性搜索。每个场景都有不同的优化思路。扣细节，是优化的主要方向。每

千亿级数仓缓慢变化维

文章目录 4 缓慢变化维4.1 什么是缓慢变化维（SCD)4.2 SCD问题的几种解决方案数仓项目-拉链表技术介绍商品历史快照案例方案一：快照每一天的数据到数仓方案一：MySQL到Hive数仓代码实现方案二：使用拉链表保存历史快照方案二：拉链表存储历史快照代码实现查询拉链表 4 缓慢变化维 4.1 什么是缓慢变化维（SCD) 1、缓慢变化维简介缓慢变化维，简称SCD（S

公司信息安全攻防战，互联网千亿黑产的破解与反破解

9成公司的网络安全水平是1-2分，于黑客如探囊取物。“云安全的价值，在于能把你拉到3分的水平线上。”阿里云肖力说。 9月28日15:45分，阿里云安全资深总监肖力正站在台上演讲，就在他说话的间隙，阿里云的智能系统和人力，正对抗来自四面八方的黑客攻击。这一分钟，肖力背后屏幕上的数字滚动到1,600,809,900次（超过16亿次），这意味着迄此刻为止，阿里云安全当日抵御的攻击数量。包括密码解锁

中国芯片进口减少千亿颗，再有美芯企业暴跌，外媒：美芯寒意阵阵

日前美国芯片巨头高通公布二季度的业绩显示营收下滑超两成，而净利润腰斩，显示出中国在近一年多时间以来减少1400亿颗芯片进口后，美芯受到的负面影响正在扩散，不排除有更多美国芯片企业陷入窘境。一、美芯连受打击从2022年下半年以来，美国连连有芯片企业陷入亏损，最先出现亏损的是Intel，Intel至今年一季度已连续亏损三个季度，今年一季度的亏损更是高达27亿美元，创下美国芯片行业最高的亏损纪录

千亿市场“膜法”开启反渗透膜实现污水资源化

我国人均水资源占有量不到世界平均水平的四分之一，年缺水量超过500亿立方米。同时，水环境污染形势依然十分严峻，水生态安全问题日益突出。污水资源化利用具有水量稳定、水质可控、就近使用等特点。是实施节水优先、空间平衡、系统治理和两手发力新时期治水方针的具体举措。因此，水资源短缺、水环境污染和水生态损害是制约我国高质量发展和生态文明建设的突出短板，污水资源化意义重大。　　千亿市场“膜法”开

千亿参数“一口闷”？大模型训练必备四种策略

AI领域的许多最新进展都围绕大规模神经网络展开，但训练大规模神经网络是一项艰巨的工程和研究挑战，需要协调GPU集群来执行单个同步计算。随着集群数和模型规模的增长，机器学习从业者开发了多项技术，在多个GPU上进行并行模型训练。乍一看，这些并行技术令人生畏，但只需对计算结构进行一些假设，这些技术就会变得清晰——在这一点上，就像数据包在网络交换机之间传递一样，那也只是从A到B传递

大模型多跳推理有解啦，北大化繁为简，13亿击败千亿！

我们日常生活中的许多问题都是复杂的多跳问题。比如“《坚如磐石》中饰演黎志田的演员在《三体》中饰演什么角色？” 要回答这个问题，我们得先知道《坚如磐石》中饰演黎志田的演员是谁，还得熟知《三体》的演员表，并将两者的答案对应起来。这对LLM来说是一个非常大的挑战，要求其能够熟练地将复杂的问题分解成多个子问题，每个子问题的答案还不能出错，最后才能正确回答这个复杂的问题。再加上LLM容易产生幻觉并

千亿家纺直播生态中心『纤意坊』签约企企通达人管理系统

导语：前期企企通与我们进行多次业务交流、方案沟通、需求沟通，合作后现场调研、设计蓝图、实施交付，其专业性毋庸置疑。希望达人管理平台上线后，助力纤意坊打造中国最具流量的家纺家居直播选品中心和直播生态机构及资源的集聚区，赋能中国家纺家居产业的新零售链路升级。－－纤意坊项目负责人近期，南通纤意坊置业有限公司（以下简称“纤意坊”）成功签约企企通，将为千亿家纺直播生态中心打造达

每日优鲜与腾讯智慧零售启动战略合作目标2021年达到千亿体量

【TechWeb】6月13日消息，每日优鲜今天对外宣布与腾讯智慧零售合作，正式启动“智慧营销”“智慧物流”“智慧供应链”三位一体的“智鲜千亿计划”，计划在三年内成长为千亿规模的生鲜零售平台。具体来看，每日优鲜未来将通过会员体系、精准推荐等，打造全链路直连用户的智慧营销，通过最优选址、配送优化、无人仓储，构建效率更优、成本更低的智慧物流，并通过品类规划、供需算法、安全追溯，重塑供需高效匹配的智慧

被“铲屎官”养成的千亿新战场，宠物经济风口机会在哪里？

一人一猫，成为了当下最受欢迎的生活方式。养宠物，如今似乎已经成为了年轻人生活的常态。有车有房已经不再是年轻人所追逐的目标，而养一只猫或者狗则备受羡慕。随着饲养宠物的人数越来越多，宠物这个词已经过时了，更多的时候都称呼为“主子”。“主子们”正在以飞快的速度逐渐占据当代年轻人的生活空间。再苦再穷，也不能饿着主子朋友家中养了一只英国短毛猫，他每天上下班回家的第一件事，就是给他的“猫主子

千亿气象服务市场，墨迹天气“吃肉”还是“喝汤”？

宋神宗元丰五年春，苏轼与友人在沙湖道春游时突遇大雨，因为没有雨具被淋了个透心凉。友人深感狼狈，他却泰然处之，冒雨潇洒前行并写下脍炙人口的《定风波》。今日，我们可能再难以有机会体验到苏轼所经历的狼狈与豁达，在各类天气预报软件充斥手机的背景下，出行前提前查阅天气已不是什么难事。如今，气象给我们带来的帮助已越来越大，不仅体现在日常生活上，还延伸到了商业领域。据中国气象协会估算，未来2025年中国

超3亿人在天猫买化妆品专家：天猫美妆规模将超千亿

相关新闻：天猫精灵变身美妆"魔镜" 问问它谁是世界上最美的人新浪科技讯 3月4日晚间消息，3月4日，在第五届天猫金妆奖上，天猫快速消费品事业部总经理胡伟雄表示，在2019年，天猫将加大在美妆市场的投入，扶持1000个美妆品牌在天猫开店，批量孵化超过50个年销售额过亿元的单品。“三年内，再造一个天猫美妆。” 爱美也是生产力，颜值经济大爆发。现在，天猫要为快速增长的美妆市场再添一把火。

再度牵手中国500强∣千亿级新能源电池巨头「天能股份」×企企通，合力打造可视化采购商城

继天能电池集团股份有限公司（以下简称“天能股份”）携手企企通打造的建设采购与供应链系统（SRM）成功上线后，近日，双方再度深化合作，将共同构建可视化的目录化采购商城，解决非生采购难点，实现高效协同、透明降本的数字化采购。 01、天能股份采购数字化变革的愿景与目标天能股份是一家集电动特种车动力电池、新能源汽车动力电池、汽车起动启停电池、储能电池、3C 电池、燃料电池等多品类电池的研发、

钧瓷产业将占禹州GDP50%以上，产生千亿市值钧瓷生态型科技公司

这里的上市指沪深的主板，创业板和科创板，区域的挂牌不算。这个数据是根据禹州钧瓷产业2022年实际税收，综合钧瓷产业报税幅度，钧瓷数据开放平台，钧瓷产业决策内参，钧瓷产业化，数字化后的预期增长加权计算出的相对客观的数字，这就是大数据预测，决策的威力和价值！由于涉及敏感信息，暂时部分数据和算法不予公开，仅供研究市场和决策参考。钧瓷产业第三次浪潮钧瓷产业产值将占禹州市GDP50%以

Kettle:千亿数据仓库整合大数据平台[不学白不学]！！！保证你收益匪浅

Kettle整合大数据平台 Kettle整合Hadoop: Hadoop环境准备查看hadoop的文件系统通过浏览器访问 http://node1:50070/通过终端访问 hadoop fs -ls / # 查看文件在hadoop文件系统中创建/hadoop/test目录 hadoop fs -mkdir -p /hadoop/test 在本地创建1.txt vim 1

投资千亿成立达摩院，揭秘阿里在人工智能领域的探索

今天上午，阿里巴巴云栖大会在杭州开幕，第一条重磅消息是阿里首席技术官张建锋宣布成立达摩院，在全球各地建立实验室，3年内投入千亿在全球建立实验室、和高校建立研究所、建立全球研究中心等事务。该院由全球实验室、高校联合研究所、全球前沿创新研究计划三大部分组成，主要研究方向包括量子计算、机器学习、基础算法、网络安全、视觉计算、自然语言处理、下一代人机交互、芯片技术、传感器技术、嵌入式系统等，涵盖机器智