从吉客云到MySQL通过接口配置打通数据

2024-04-13 13:04

本文主要是介绍从吉客云到MySQL通过接口配置打通数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

从吉客云到MySQL通过接口配置打通数据

T+数据对接

数据源系统:吉客云

吉客云是基于“网店管家”十五年电商ERP行业和技术积累基础上顺应产业发展需求,重新定位、全新设计推出的换代产品,从业务数字化和组织数字化两个方向出发,以构建流程的闭环为依归,致力于为企业的数字化升级提供落地工具。

集成系统:MySQL

mysql是一个关系数据库管理系统(RDBMS),所谓的关系型数据库,是建立在关系模型基础上的数据库,借助于集合代数等数学概念和方法来处理数据库中的数据。

数据集成方案配置

通过轻易云系统数据集成平台新增创建集成方案,然后在数据源平台中选择对应的源平台为:吉客云,并且选择对应的连接器(关于吉客云的接口连接器如何配置可以在轻易云系统数据集成交流社区bbs.qeasy.cloud 中找到相关信息)。选择对应的销售单查询接口作为数据对接来源。然后再通过写入目标平台配置目标系统为MySQL,并且选择对应连接器。选择对应的执行操作-v1接口作为数据写入动作,既可以完成第一步的数据对接配置;打破跨系统连接,让数据轻易互通成为现实。

钉钉与ERP集成

吉客云接口明细

  • API:jackyun.tradenotsensitiveinfos.list.get
  • NAME:销售单查询
  • METHOD:POST
请求参数
接口字段字段名称预设值描述
modified_begin起始时间修改起始时间,和结束时间必须同时存在,时间间隔不能超过七天,与线上单号不能同时为空
modified_end结束时间修改结束时间,和起始时间必须同时存在,时间间隔不能超过七天,与线上单号不能同时为空
startModified最后修改时间(起始)
endModified最后修改时间(截止)
tradeNo销售单号,多个用半角逗号分隔
pageSize每页记录数,默认50,最大100020
pageIndex页码,0为第1页{{PAGINATION_START_PAGE}}
hasTotal默认返回,首次调用时可以传1获取总记录数1
startCreated创建时间(起始){{LAST_SYNC_TIME datetime}}
endCreated创建时间(截止){{CURRENT_TIME datetime}}
startAuditTime审核时间(起始)
endAuditTime审核时间(截止)
startConsignTime发货时间(起始)
endConsignTime发货时间(截止)
tradeStatus订单状态
tradeType订单类型
sourceTradeNos网店订单号
shopIds店铺id
fields需要返回字段列表逗号分隔checkTotal,tradeNo,postFee,otherFee,chargeCurrency,accountName,payType,payNo,sellerMemo,buyerMemo,goodsDetail,goodsDetail.goodsNo,goodsDetail.goodsName,goodsDetail.specName,goodsDetail.barcode,goodsDetail.sellCount,goodsDetail.unit,goodsDetail.sellPrice,goodsDetail.sellTotal,goodsDetail.cost,goodsDetail.discountTotal,goodsDetail.discountPoint,goodsDetail.taxFee,goodsDetail.shareFavourableFee,goodsDetail.estimateWeight,goodsDetail.goodsMemo,goodsDetail.cateName,goodsDetail.brandName,goodsDetail.goodsTags,goodsDetail.isFit,goodsDetail.isGift,goodsDetail.discountFee,goodsDetail.taxRate,goodsDetail.estimateGoodsVolume,goodsDetail.isPresell,goodsDetail.customerPrice,goodsDetail.customerTotal,goodsDetail.tradeGoodsNo,goodsDetail.tradeGoodsName,goodsDetail.tradeGoodsSpec,goodsDetail.tradeGoodsUnit,goodsDetail.sourceTradeNo,goodsDetail.sourceSubtradeNo,goodsDetail.platCode,goodsDetail.platGoodsId,goodsDetail.subTradeId,appendMemo,tradeFrom,register,seller,auditor,reviewer,estimateWeight,packageWeight,tradeCount,goodsTypeCount,freezeReason,abnormalDescription,onlineTradeNo,goodslist,gmtCreate,gmtModified,stockoutNo,confirmTime,departName,lastShipTime,payStatus,chargeCurrencyCode,chargeExchangeRate,tradeStatus,grossProfit,estimateVolume,customerName,customerTypeName,customerGradeName,customerTags,customerCode,customerDiscount,specialReminding,blackList,tradeTime,country,state,city,district,town,zip,payTime,countryCode,cityCode,invoiceType,payerName,payerRegno,payerBankAccount,payerPhone,auditTime,payerAddress,invoiceNo,invoiceCode,invoiceStatus,payerBankName,preTypedetail,firstPayment,finalPayment,firstPaytime,finalPaytime,reviewTime,activationTime,customerTotalFee,customerDiscountFee,notifyPickTime,consignTime,orderNo,customerPostFee,shopId,shopName,tradeOrderPayList,tradeOrderPayList.chargeType,tradeOrderPayList.chargeCurrency,tradeOrderPayList.chargeAccount,tradeOrderPayList.accountName,tradeOrderPayList.payType,tradeOrderPayList.payNo,tradeOrderPayList.payment,tradeOrderPayList.chargeCurrencyCode,tradeOrderPayList.chargeExchangeRate,customerPayment,companyName,tradeOrderColumnExt,tradeOrderColumnExt.tradeId,tradeOrderColumnExt.customizeTradeColumn1,tradeOrderColumnExt.customizeTradeColumn2,tradeOrderColumnExt.customizeTradeColumn3,tradeOrderColumnExt.customizeTradeColumn4,tradeOrderColumnExt.customizeTradeColumn5,tradeOrderColumnExt.customizeTradeColumn6,tradeOrderColumnExt.customizeTradeColumn7,tradeOrderColumnExt.customizeTradeColumn8,tradeOrderColumnExt.customizeTradeColumn9,tradeOrderColumnExt.customizeTradeColumn10,isBillCheck,warehouseCode,warehouseName,logisticName,tradeId,billDate,logisticType,mainPostid,tradeType,totalFee,taxFee,receivedPostFee,discountFee,payment,couponFee,receivedTotal,isDelete,flagIds,flagNames,shopCode
warehouseIds仓库id
响应参数
接口字段字段名称预设值描述
checkTotal对账金额
tradeNo订单编号
postFee实际邮资
otherFee其它费用
sellerMemo备注
buyerMemo买家备注
goodsDetail货品详情
goodsDetail.goodsNo货品编号
goodsDetail.goodsName货品名称
goodsDetail.specName规格名称
goodsDetail.barcode条码
goodsDetail.sellCount数量
goodsDetail.unit单位
goodsDetail.sellPrice单价
goodsDetail.sellTotal总金额
goodsDetail.cost货品成本
goodsDetail.discountTotal优惠金额
goodsDetail.discountPoint抵扣积分
goodsDetail.shareFavourableFee分摊金额
goodsDetail.goodsMemo货品备注
goodsDetail.cateName货品类别
goodsDetail.brandName品牌
goodsDetail.goodsTags货品标签
goodsDetail.isFit组合装标记
goodsDetail.isGift赠品标记
goodsDetail.taxRate税率
goodsDetail.estimateGoodsVolume预估体积(单个货品)
goodsDetail.isPresell是否预售货品标记1是0否
goodsDetail.customerPrice终端销售单价
goodsDetail.customerTotal终端销售金额
goodsDetail.tradeGoodsNo交易编号
goodsDetail.tradeGoodsName交易名称
goodsDetail.tradeGoodsSpec交易规格
goodsDetail.tradeGoodsUnit交易单位
goodsDetail.sourceTradeNo网店订单号
goodsDetail.sourceSubtradeNo网店子订单好
goodsDetail.platCode平台代码
goodsDetail.platGoodsId平台商品id
goodsDetail.subTradeId商品明细id(唯一)
goodsDetail.taxFee税额
goodsDetail.estimateWeight预估重量
goodsDetail.discountFee优惠金额
goodsDetail.appendMemo追加备注
goodsDetail.tradeFrom订单来源
goodsDetail.register登记人
goodsDetail.seller业务员
goodsDetail.auditor审核人
goodsDetail.reviewer复核人
goodsDetail.packageWeight包裹重量
goodsDetail.tradeCount订单总数量
goodsDetail.goodsTypeCount商品样数
goodsDetail.freezeReason冻结原因
goodsDetail.abnormalDescription问题单具体描述
goodsDetail.onlineTradeNo网店订单号
goodsDetail.goodslist货品摘要
goodsDetail.gmtCreate创建时间
goodsDetail.gmtModified最后修改时间
goodsDetail.stockoutNo出库单号
goodsDetail.confirmTime确认时间
goodsDetail.departName部门名称
goodsDetail.lastShipTime承诺发货时间
goodsDetail.payStatus付款状态:未付款、部分付款、已付款
goodsDetail.tradeStatus订单状态
goodsDetail.grossProfit毛利
goodsDetail.estimateVolume订单预估体积
goodsDetail.customerName客户名称
goodsDetail.customerTypeName客户类型
goodsDetail.customerGradeName客户等级
goodsDetail.customerTags客户标签
goodsDetail.customerCode客户编号
goodsDetail.customerDiscount折扣
goodsDetail.specialReminding特别提醒
goodsDetail.blackList黑名单
goodsDetail.tradeTime下单时间
goodsDetail.country国家
goodsDetail.state
goodsDetail.city城市
goodsDetail.district区县
goodsDetail.town街道
goodsDetail.zip邮编
goodsDetail.payTime支付时间
goodsDetail.countryCode国家编码
goodsDetail.cityCode城市编码
goodsDetail.invoiceType发票类型
goodsDetail.payerName购方名称
goodsDetail.payerRegno购方税号
goodsDetail.payerBankAccount购方开户行及帐号
goodsDetail.payerPhone购方电话
goodsDetail.auditTime审核时间
goodsDetail.payerAddress购方地址
goodsDetail.invoiceNo发票号码
goodsDetail.invoiceCode发票代码
goodsDetail.invoiceStatus发票开具状态
goodsDetail.payerBankName购方开户行
goodsDetail.preTypedetail预定类别描述
goodsDetail.firstPayment付首款金额
goodsDetail.finalPayment付尾款金额
goodsDetail.firstPaytime付首款时间
goodsDetail.finalPaytime付尾款时间
goodsDetail.reviewTime复核时间
goodsDetail.activationTime激活时间
goodsDetail.customerTotalFee终端货款合计
goodsDetail.customerDiscountFee终端优惠
goodsDetail.notifyPickTime通知仓库发货时间
goodsDetail.consignTime发货时间
goodsDetail.orderNo发货单单号
goodsDetail.customerPostFee终端应收邮资
goodsDetail.shopId店铺id
goodsDetail.ShopName店铺名称
goodsDetail.tradeOrderPayList订单支付详情
goodsDetail.tradeOrderPayList.chargeCurrency结算币种
goodsDetail.tradeOrderPayList.accountName收款账户名称
goodsDetail.tradeOrderPayList.payType支付方式:1,支付宝 2,财付通 3,微信支付 4,银联支付 5,盛付通 6,其它 7,现金 8,储值卡 9,扫码付 10,挂账 11,诺诺支付 16,易付宝 32,有赞支付 33,汇付支付 35,商盟支付 36,易宝支付 37,汇聚支付 38,合利宝支付 27,通联支付
goodsDetail.tradeOrderPayList.payNo支付单号
goodsDetail.tradeOrderPayList.chargeCurrencyCode结算币种编码
goodsDetail.tradeOrderPayList.chargeExchangeRate结算汇率
goodsDetail.tradeOrderPayList.chargeType结算方式:1.担保交易2.银行收款3.现金收款4.货到付款5.欠款计应收6.客户预存款7.多种结算8.退换货冲抵9.电子钱包
goodsDetail.tradeOrderPayList.chargeAccount收款帐户
goodsDetail.tradeOrderPayList.payment应收金额
goodsDetail.tradeOrderPayList.customerPayment终端应收合计
goodsDetail.tradeOrderPayList.companyName公司名称
goodsDetail.tradeOrderPayList.tradeOrderColumnExt销售单自定义字段
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.customizeTradeColumn1自定义字段1
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.customizeTradeColumn2自定义字段2
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.customizeTradeColumn3自定义字段3
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.customizeTradeColumn4自定义字段4
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.customizeTradeColumn5自定义字段5
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.customizeTradeColumn6自定义字段6
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.customizeTradeColumn7自定义字段7
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.customizeTradeColumn8自定义字段8
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.customizeTradeColumn9自定义字段9
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.customizeTradeColumn10自定义字段10
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.tradeId系统编码
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.isBillCheck对账状态 1对账,其他未对账
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.warehouseCode仓库编码
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.warehouseName仓库名称
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.logisticName物流名称
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.billDate对账时间
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.logisticType配送方式
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.mainPostid运单号
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.tradeType订单类型
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.totalFee商品金额
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.receivedPostFee应收邮资
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.couponFee平台优惠
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.receivedTotal已收金额
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.isDelete删除标记,0 未删除, 1已删除
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.flagIds标记id
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.flagNames标记名称
goodsDetail.tradeOrderPayList.tradeOrderColumnExt.shopCode店铺编号

MySQL接口明细

  • API:execute
  • NAME:执行操作-v1
  • METHOD:POST
请求参数
接口字段字段名称预设值描述
main_params主参数
main_params.code订单编码{{TradeNo}}
main_params.settlement_status结算状态{{TradeStatus}}
main_params.channel销售渠道{{DepartName}}
main_params.cust_id客户{{CustomerCode}}
main_params.sale_date销售时间{{GmtCreate}}
main_params.network_order_no网点订单号{{OnlineTradeNo}}
main_params.order_type订单类型{{TradeType}}
main_params.receivable_amount应收合计{{Payment}}
main_params.customer_account客户账号{{CustomerCode}}
main_params.consignee收货人{{CustomerName}}
main_params.mobile手机
main_params.phone电话
main_params.address收货地址{{Country}}{{State}}{{City}}{{District}}{{Town}}
main_params.delivery_way交货方式{{LogisticType}}
main_params.group销售组织
main_params.dept_id销售部门
main_params.group_id销售组
main_params.saler_id销售员
main_params.trade_time下单时间{{TradeTime}}
main_params.charge_id付款方
main_params.payment_date付款时间{{PayTime}}
main_params.payer_name购方名称{{PayerName}}
main_params.payer_reg_no购方税号
main_params.payer_bank_account购方开户行及帐号{{PayerBankAccount}}
main_params.payer_phone购方电话{{PayerPhone}}
main_params.invoice_no发票号码{{InvoiceCode}}
main_params.invoice_code发票代码{{invoiceCode}}
main_params.invoice_status发票开具状态{{InvoiceStatus}}
main_params.pay_type支付方式{{PayType}}
main_params.first_payment付首款金额
main_params.first_paytime付首款时间
main_params.final_payment付尾款金额
main_params.final_paytime付尾款时间
main_params.check_amount对账金额{{CheckTotal}}
main_params.invoice_type发票类型{{InvoiceType}}
main_params.changer_id变更人
main_params.change_date变更日期
main_params.change_reason变更原因
main_params.closer_id关闭人
main_params.close_date关闭日期
main_params.cancel_status作废状态
main_params.canceller_id作废人
main_params.cancel_date作废日期
main_params.order_status订单状态{{TradeStatus}}
main_params.close_status关闭状态
main_params.datedate{{TradeTime}}
main_params.extend_params_11:1扩展参数GoodsDetail
main_params.extend_params_1.lastInsertIdorder_id:lastInsertId
main_params.extend_params_1.goods_id货品编码id{{GoodsDetail.GoodsNo}}
main_params.extend_params_1.goods_name货品名称{{GoodsDetail.GoodsName}}
main_params.extend_params_1.goods_model规格型号{{GoodsDetail.TradeGoodsSpec}}
main_params.extend_params_1.goods_type类别{{GoodsDetail.GoodsTypeCount}}
main_params.extend_params_1.tax_price销售含税单价{{GoodsDetail.SellPrice}}
main_params.extend_params_1.price_unit_id计价单位{{GoodsDetail.Unit}}
main_params.extend_params_1.barcode条码{{GoodsDetail.Barcode}}
main_params.extend_params_1.product_num销售数量{{GoodsDetail.SellCount}}
main_params.extend_params_1.price销售单价{{GoodsDetail.SellPrice}}
main_params.extend_params_1.unit_id销售单位{{GoodsDetail.Unit}}
main_params.extend_params_1.sell_total总金额{{GoodsDetail.SellTotal}}
main_params.extend_params_1.discount_total优惠金额{{GoodsDetail.Discounttotal}}
main_params.extend_params_1.discount_point抵扣积分{{GoodsDetail.Discountpoint}}
main_params.extend_params_1.tax_fee税额{{GoodsDetail.Taxfee}}
main_params.extend_params_1.share_fee分摊金额{{GoodsDetail.ShareFavourableFee}}
main_params.extend_params_1.estimate_weight预估重量{{GoodsDetail.Estimateweight}}
main_params.extend_params_1.estimate_goods_volume预估体积{{GoodsDetail.Estimategoodsvolume}}
main_params.extend_params_1.goods_memo货品备注{{GoodsDetail.Goodsmemo}}
main_params.extend_params_1.cate_name货品类别{{GoodsDetail.Catename}}
main_params.extend_params_1.brand品牌{{GoodsDetail.BrandName}}
main_params.extend_params_1.buyer_memo买家备注{{buyerMemo}}
main_params.extend_params_1.is_gift是否赠品{{GoodsDetail.IsGift}}
main_params.extend_params_1.product_digest货品摘要{{SellerMemo}}
main_params.extend_params_1.remark备注
main_params.extend_params_1.sale_discount_policy_id销售折扣政策id
main_params.extend_params_1.original_order_code原始订单号
main_params.extend_params_1.payment_information_id支付相关信息
main_params.extend_params_1.datedate
main_params.extend_params_1.main_sql主语句INSERT INTO lehua.sale_order ( codesettlement_statuschannelcust_idsale_datenetwork_order_noorder_typereceivable_amountcustomer_accountconsigneemobileaddressphonedelivery_waygroupdept_idgroup_idsaler_idtrade_timecharge_idpayment_datepayer_namepayer_reg_nopayer_bank_accountpayer_phoneinvoice_noinvoice_codeinvoice_statuspay_typefirst_paymentfirst_paytimefinal_paymentfinal_paytimecheck_amountinvoice_typechanger_idchange_datechange_reasoncloser_idclose_datecancel_statuscanceller_idcancel_dateorder_statusclose_statusdate) VALUES ( <{code: }>, <{settlement_status: 0}>, <{channel: }>, <{cust_id: }>, <{sale_date: }>, <{network_order_no: }>, <{order_type: 0}>, <{receivable_amount: }>, <{customer_account: }>, <{consignee: }>, <{mobile: }>, <{address: }>, <{phone: }>, <{delivery_way: }>, <{group: }>, <{dept_id: }>, <{group_id: }>, <{saler_id: }>, <{trade_time: }>, <{charge_id: }>, <{payment_date: }>, <{payer_name: }>, <{payer_reg_no: }>, <{payer_bank_account: }>, <{payer_phone: }>, <{invoice_no: }>, <{invoice_code: }>, <{invoice_status: }>, <{pay_type: }>, <{first_payment: }>, <{first_paytime: }>, <{final_payment: }>, <{final_paytime: }>, <{check_amount: }>, <{invoice_type: }>, <{changer_id: }>, <{change_date: }>, <{change_reason: }>, <{closer_id: }>, <{close_date: }>, <{cancel_status: }>, <{canceller_id: }>, <{cancel_date: }>, <{order_status: }>, <{close_status: }>, <{date: }>);
main_params.extend_params_1.extend_sql_11:1扩展语句INSERT INTO lehua.sale_order_detail ( order_idgoods_idgoods_namegoods_modelgoods_typetax_priceprice_unit_idbarcodeproduct_numpriceunit_idsell_totaldiscount_totaldiscount_pointtax_feeshare_feeestimate_weightestimate_goods_volumegoods_memocate_namebrandbuyer_memois_giftproduct_digestremarksale_discount_policy_idoriginal_order_codepayment_information_iddate) VALUES ( <{lastInsertId: }>, <{goods_id: }>, <{goods_name: }>, <{goods_model: }>, <{goods_type: }>, <{tax_price: }>, <{price_unit_id: }>, <{barcode: }>, <{product_num: }>, <{price: }>, <{unit_id: }>, <{sell_total: }>, <{discount_total: }>, <{discount_point: }>, <{tax_fee: }>, <{share_fee: }>, <{estimate_weight: }>, <{estimate_goods_volume: }>, <{goods_memo: }>, <{cate_name: }>, <{brand: }>, <{buyer_memo: }>, <{is_gift: }>, <{product_digest: }>, <{remark: }>, <{sale_discount_policy_id: }>, <{original_order_code: }>, <{payment_information_id: }>, <{date: }>);

系统对接总览

从API层面解决企业烟囱式业务系统集成现状,实现深度的业务流程拉通吉客云到MySQL之间数据集成;通过API连接各业务系统,复用已有的业务系统能力,让集成架构、服务关系更清晰。使用统一的API管理平台,对API进行显性化、可视化,使所有API服务成为企业的数字资产,提升复用率和价值。全面管控企业的API资产,梳理现有业务系统的API。实现API文档的统一管理,建立API的上线、下线、监控的统一管理体系及标准规范。已链接和打通主流SaaS系统超过100+,快速对接各种API接口,实现云上云下的互联互通。将SaaS和本地业务系统联接起来,打破时间与空间界限,打通原有核心数据及SaaS应用,构建可平滑演进的企业IT架构。

多套系统之间数据打通

这篇关于从吉客云到MySQL通过接口配置打通数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/900209

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

SQL中的外键约束

外键约束用于表示两张表中的指标连接关系。外键约束的作用主要有以下三点: 1.确保子表中的某个字段(外键)只能引用父表中的有效记录2.主表中的列被删除时,子表中的关联列也会被删除3.主表中的列更新时,子表中的关联元素也会被更新 子表中的元素指向主表 以下是一个外键约束的实例展示

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

如何去写一手好SQL

MySQL性能 最大数据量 抛开数据量和并发数,谈性能都是耍流氓。MySQL没有限制单表最大记录数,它取决于操作系统对文件大小的限制。 《阿里巴巴Java开发手册》提出单表行数超过500万行或者单表容量超过2GB,才推荐分库分表。性能由综合因素决定,抛开业务复杂度,影响程度依次是硬件配置、MySQL配置、数据表设计、索引优化。500万这个值仅供参考,并非铁律。 博主曾经操作过超过4亿行数据

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd