贝壳专题

Python爬虫-贝壳新房

前言 本文是该专栏的第32篇,后面会持续分享python爬虫干货知识,记得关注。 本文以某房网为例,如下图所示,采集对应城市的新房房源数据。具体实现思路和详细逻辑,笔者将在正文结合完整代码进行详细介绍。接下来,跟着笔者直接往下看正文详细内容。(附带完整代码) 正文 地址:aHR0cHM6Ly93aC5mYW5nLmtlLmNvbS9sb3VwYW4v 目标:采集对应城市的

Python爬虫-贝壳二手房“改进版”

前言 本文是该专栏的第31篇,后面会持续分享python爬虫干货知识,记得关注。 在本专栏之前的文章《Python爬虫-贝壳二手房》中,笔者有详细介绍,基于python爬虫采集对应城市的二手房数据。 而在本文,笔者将基于该项目案例的基础上,进行一个项目代码的“改进版”。 具体实现思路和详细逻辑,笔者将在正文结合完整代码进行详细介绍。废话不多说,跟着笔者直接往下看正文详细内容。(附带完

Arduino--ESP8266物联网WIFI模块(贝壳物联)--数据上传服务器(单数据接口)

一、简介 随着移动物联网的发展,各场景下对于物联控制、数据上传、远程控制的诉求也越来越多,基于此乐鑫科技推出了便宜好用性价比极高的wifi物联模块——ESP8266,话不多少我们先来看看这个神奇的模块长什么样子! 下图是ESP8266-01模块,与之对应的还有ESP8266-01S,两者基本一致,只是后者内部集成了上拉电阻,ESP8266-01使用的时候需要手动接上拉电阻。 除了上述简单的wi

贝壳APP渗透测试WP

前期配置 环境说明 使用PIXEL 4手机,为Android 12系统 APP名为贝壳找房,包名com.lianjia.beike,版本号3.01.10,截至2024/05/07为最新版,小米应用市场下载 绕过反Frida机制 可以参考往期推送,《绕过最新版bilibili APP反Frida机制》,见文章末尾。Bypass.js脚本可以通用,应该都是用的某个安卓安全产品 抓包 抓包

贝壳找房基于 Flink 的实时平台建设

摘要:本文由贝壳找房实时计算负责人刘力云分享,主要内容为 Apache Flink 在贝壳找房业务中的应用,分为以下三方面: 业务规模与演进 Hermes 实时计算平台介绍 未来发展与规划 业务规模及演进 下图为贝壳找房的业务场景示意图。最上层为贝壳找房公司最为主体的四大业务:二手房交易、新房交易、租赁业务及装修业务。四大业务运营将产生图示中间部分的四大数据即楼盘字典、交易数据、用户行为

贝壳面试:MySQL联合索引,最左匹配原则是什么?

尼恩说在前面 在40岁老架构师 尼恩的读者交流群(50+)中,最近有小伙伴拿到了一线互联网企业如得物、阿里、滴滴、极兔、有赞、希音、百度、网易、美团的面试资格,遇到很多很重要的面试题: 1.谈谈你对MySQL联合索引的认识? 2.在MySQL中,联合索引是如何实现的?请简述其工作原理。 3.什么是最左前缀匹配原则?为什么要遵守? 4.MySQL一定要遵循最左前缀匹配吗? 最近有小伙伴在

【esp8266】④esp8266对接贝壳物联平台

源码github地址:https://github.com/linzhongpaihuai/smartplug  ①烧录方法:https://blog.csdn.net/u010177891/article/details/90348729 ②esp8266实现http server服务详解:https://blog.csdn.net/u010177891/article/details/10

贝壳找房——业务数据治理中台实践

关注下面公众号,回复:数据治理 关键字即可获取 PPT END 热门内容 两年经验斩获蚂蚁/头条/PingCAP Offer,牛逼了 快手大数据平台服务化实践 深入理解 Java 内存模型 关注我关注我,Java 学习不迷路! 点个赞+在看,少个 bug 👇

贝壳业务数据治理中台实践

导读:数据治理经过多年的沉淀,积累了比较完善的理论体系;但是落地时候,治理范围如何聚焦,数据产品如何定位、具象设计和推广运营,不同公司有着不同的设计实现。本文会结合贝壳找房近两年的业务数据中心建设经验,从产品视角来谈谈数据治理的问题。主要内容包括: 数据治理目的及内容 结合公司特点聚焦治理范围 中台侧实践的建设内容及思路 治理项目的目标管理 产品及运营落地经验 01 数据治理目

罗盘-贝壳流量分析平台

1. 背景 随着贝壳的不断发展,特别是今年年初专门成立了增长线,数据化思维和精细化运营的诉求越来越强烈。各个业务方急需了解自己系统的流量情况,从数据出发优化自己的产品,从而留住用户提高转化;而作为公司高层需要知道集团的整体流量情况,特别是比较核心的月活、商机转化、用户留存和渠道推广等情况,及时作出战略部署和调整,保证公司保持高效稳定的增长。在这样的大背景下我们搭建了一套流量分析平台-罗盘,为

创新案例|贝壳找房平台如何通过3大生态创新战略破解行业困局

2020年贝壳上市,股价很快摸高超过了地产龙头万科、碧桂园两家巨头市值的总和,巅峰时期平台连接的经纪门店数量超过5万家,经纪人超过50万。左晖20年创业史亦是房地产经纪行业的进化史,链家的创始人左晖曾说过“做难而正确的事。”,本文分析贝壳如何直面行业的“真问题”,如何制定和推动贝壳创新战略蓝图发展轨迹,快速崛起成为中国居住服务平台巨头。 01. 贝壳脱胎于链家登陆纽交所,成为中国居住服务平

贝壳:流式数据的平台化实践与挑战

今天为大家分享贝壳找房流式数据的平台化实践与挑战,具体介绍下如何建设流式数据平台来满足业务方的需求。 ▌总体架构 贝壳找房大数据的整体架构,从下到上分为四层: 1. 基础平台层。这一层应用的都是比较常见的技术:HDFS 分布式存储,yarn 分布式调度,以及 HBase 存储,另外还有一些计算引擎,如 hive、tez、spark、presto、kylin、clickhouse、SparkML

2021年中国“新商办”行业发展研究报告-贝壳——附下载链接

来源 | 贝壳 商办经纪行业在庞大的市场规模背后,却存在较为明显的行业发展瓶颈。商业地产的房源类型多元,行业非标化严重;高度分散并且较为落后的线下数据获取方式导致了不可忽略的市场信息鸿沟;相对于住宅地产,商办行业相对较长的产业链配合几乎完全在线下整合的大量信息和数据,作业效率较低;受到线下市,场信息的范围限制,商办经纪成交呈现商圈区域型特征,交易呈现小规模地缘化,录客量和成交转化率一直维持在较低

StarRocks实战——贝壳找房数仓实践

目录 前言 一、StarRocks在贝壳的应用现状 1.1 历史的数据分析架构 1.2 OLAP选型 1.2.1  离线场景 1.2.2 实时场景 1.2.3 StarRocks 的引入 二、StarRocks 在贝壳的分析实践 2.1 指标分析 2.2 实时业务 2.3 可视化分析 三、未来规划 3.1 StarRocks集群的稳定性 3.2 StarRocks 新特

GAIE 2021 | 希尔贝壳诚邀您参加第二届深圳(国际)人工智能展

5月20日-22日,由深圳市人工智能行业协会主办的第二届深圳(国际)人工智能展(简称GAIE 2021),将在深圳会展中心(福田)6号馆盛大开启。届时,希尔贝壳 将在 B55展台 亮相,同时将携场景AI高精尖数据库、开源语音数据项目、智能化标注众包大数据分析系统等,为工业界和学术界呈现前沿的AI数据服务,共谋人工智能产业发展新风向。   本届人工智能展以“AI赋能双循环·构建产业新格局”为

为什么我拒绝大V转载“放弃贝壳近千万期权”一文?

点击蓝色关注,回复“职级”获取知名互联网公司职级定义 每月开展上个月读者阅读、转发、在看、留言各前三名(冠、亚、季军)评选活动,次月初开奖!欢迎参加,有惊喜。 距离写这篇(原文链接:为什么我放弃近千万期权离开贝壳找房?)已经有半个月了,这些日子经历很多开心和不开心的事,有舍也有得。比如: 我们公司想做一个房产的产品,你感兴趣么? 早点认识你就好了,我这有一个项目需要找技术大合伙人,感兴趣么

希尔贝壳邀您参加2023深圳国际人工智能展览会

2023深圳国际人工智能展览会“AIE”将于2023年5月16-18日在深圳国际会展中心 (宝安)举办,希尔贝壳受邀参加,展位号:A331。 伴随着智能行业的快速发展,展会已被越来越多的企业列入每年必选展会,也成为各采购商选购的理想平台。在深圳市政府大力发展智能行业的利好政策下,2023深圳国际人工智能展以“人工智能,未来已来”为主题,进一步突出专业性、权威性和国际化特色,采取展览、论坛、推介会

Flutter 应用内调试工具(字节贝壳)

开源地址 贝壳 Flutter 调试工具 -FDB 它来了!Flutter 应用内调试工具 UME 开源啦 开源地址 GitHub 地址:https://github.com/LianjiaTech/flutter_fdb_package GitHub 地址:https://github.com/bytedance/flutter_ume 1.前言 目前 Flutter 在贝壳的使用量越来

python实战 | 爬取贝壳房源总数据价格提取

爬取贝壳房源总数据(楼盘,地址,价格,户型,面积) 第二章,房源价格爬取 文章目录 前言一、爬虫是什么?二、使用步骤1.引入库与函数2.读入数据3.运行代码如下 总结 前言 随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容,了解python爬虫。 今天带来的是爬取贝壳房源总数据的第二小节,房源价格

pycharm中贝壳网租房数据采集

(一)获取贝壳网页网址 1.新建python文件 2.获取贝壳网租房的网页地址 https://cd.zu.ke.com/zufang/pg 3.复制网页的cURL地址。 4.访问解析网页内容网址。 5.获取解析后的内容。 6.复制解析的内容。    执行代码 cookies = { 'BAIDUID_BFESS': 'FF2250A43CDC71162CE1E

MicroPython_ESP8266_IoT——第四回 初入联网(接入了贝壳物联)

第四回 初入联网(接入了贝壳物联) 本来计划先把所有的硬件介绍完,再介绍如何介入贝壳物联的。但是那样就比较枯燥,还是先尝试接入贝壳物联,来增加ESP8266模块的可玩性。 需要了解[贝壳物联平台通信协议](贝壳物联平台通讯协议-贝壳物联,让你与智能设备沟通更方便的物联网云平台 (bigiot.net)) ,如果不想了解,可以跳过通讯协议这小节,不影响后面学习,等到后面有疑问再来这小节里面寻找。

演讲回顾:贝壳研发效能实践分享

5月20日,贝壳找房研发效能专家乔晓琳在由中国信通院和 QECon 组委会联合举办的技术沙龙活动中分享了贝壳研发效能实践经验。 产业背景:研发效能的新形势与新挑战 历史演进:贝壳找房研发效能之路 效能基建:业务研端到端协同平台 & DevOps 工具链平台建设 效能实践:深入业务多场景多角色效能实践 效能沉淀:将方法论和实践经验沉淀到研发效能洞察平台 效能展望:“度量——平台——实践

演讲回顾:贝壳研发效能实践分享

5月20日,贝壳找房研发效能专家乔晓琳在由中国信通院和 QECon 组委会联合举办的技术沙龙活动中分享了贝壳研发效能实践经验。 产业背景:研发效能的新形势与新挑战 历史演进:贝壳找房研发效能之路 效能基建:业务研端到端协同平台 & DevOps 工具链平台建设 效能实践:深入业务多场景多角色效能实践 效能沉淀:将方法论和实践经验沉淀到研发效能洞察平台 效能展望:“度量——平台——实践

仿贝壳地图画圈找房功能实现(高德地图)

仿贝壳地图画圈找房功能实现(高德地图) 前言 在最近租房时,看到贝壳找房上线了一个地图画圈找房的功能,感觉很是新奇。接触地图开发也有很长一段时间了,以前大部分都是基于web pc端开发,所以一般遇到这种圈选,绘制多边形圆形都是直接基于官方API直接修改使用的,对于PC端鼠标操作来说,现有的交互用起来已经很不错了,但是对于H5移动端来说,只能通过手指触摸来模拟鼠标滑动,直接使用现有的API对于移

2018年贝壳网校招(秋招)算法笔试编程题

1、题目描述: 给定一个长度为N的序列A1到AN,求所有区间[L,R](1≤L≤R≤N)的极差之和,其中区间[L,R]的极差定义为AL到AR中的最大值与最小值之差。   思路:暴力求解,通过率36%   代码如下: # -*- coding:utf-8 -*-class Solution:# array 二维列表def Find(self, N, array):# write cod

【实例】爬取贝壳租房10页数据

【实例】爬取贝壳租房10页数据 代码: 由于部分租房信息没有部分信息,所以添加了捕获异常 import requestsfrom bs4 import BeautifulSoupfrom re import findallfrom csv import writerdef get_beike(x):url = 'https://cd.zu.ke.com/zufang/pg'+str(x)