调研专题

mysql动态扩容调研

MySQL动态扩容方案 目前可用方案 MySQL的复制: 一个Master数据库,多个Salve,然后利用MySQL的异步复制能力实现读写分离,这个方案目前应用比较广泛,这种技术对于以读为主的应用很有效。数据切分(MySQL的Sharding策略): 垂直切分:一种是按照不同的表(或者Schema)来切分到不同的数据库(主机)之上,这种切可以称之为数据的垂直(纵向)切分;垂直切分的思路就是分析

八、我们应当怎样做需求调研:需求捕获(下)

前面我们讨论了,需求分析工作是一个迭代的过程:需求捕获->需求整理->需求验证->再需求捕获······需求捕获是这个迭代过程的开始,也是整个需求分析工作中最重要的部分。没有捕获哪来后面的整理与验证工作?但是,非常遗憾,按照我以往的经验,需求捕获是我们最薄弱的环节。前面我提到的许许多多项目开发的问题都可以归结为需求分析的问题,而许许多多需求分析的问题又都可以归结为需求捕获不完整的问题。需求捕获是整

七、我们应当怎样做需求调研:需求捕获(上)

前面我们讨论了,需求分析工作是一个迭代的过程:需求捕获->需求整理->需求验证->再需求捕获······需求捕获是这个迭代过程的开始,也是整个需求分析工作中最重要的部分。没有捕获哪来后面的整理与验证工作?但是,非常遗憾,按照我以往的经验,需求捕获是我们最薄弱的环节。前面我提到的许许多多项目开发的问题都可以归结为需求分析的问题,而许许多多需求分析的问题又都可以归结为需求捕获不完整的问题。需求捕获是整

六、我们应当怎样做需求调研:迭代

前面我一直在反复强调这样一个观点,需求分析不是一蹴而就的,是一个反复迭代的过程。它将从第一次需求分析开始,一直持续到整个项目生命周期。为什么这样说呢?让我们一起来分析分析。  在第一次的需求分析阶段,我们在一段时期内需要与客户进行反复地讨论,这个过程往往是这样一个反复循环的过程:需求捕获->需求整理->需求验证->再需求捕获••••••  需求捕获,就是我们与客户在一起开研讨会

五、我们应当怎样做需求调研:需求研讨

前面我们探讨了业务研讨会应当怎样组织,下面我们再具体讨论一下我们应当怎样与客户讨论业务需求。如果说组织业务研讨会是项目经理的功底,那么讨论业务需求就是需求分析人员的功底。  以往我们常常认为,需求分析是一件最简单的事情。客户说他们需要做一个什么软件,有些什么功能,我们照着做就可以了,所谓的需求分析员就是需求的记录员。我要说,这是一个极大的错误,许多失败的软件项目,或者说软件项目中的需求问

[论文笔记] LLM大模型剪枝篇——1、调研

Attention Is All You Need But You Don’t Need All Of It For Inference of Large Language Models LLaMA2在剪枝时,跳过ffn和跳过full layer的效果差不多。相比跳过ffn/full layer,跳过attention layer的影响会更小。 跳过attention layer:7B/13B从

XILINX平台下LINUX DMA驱动调研

专栏目录 高质量文章导航-持续更新中-CSDN博客 基础概念 VA:virtual address称为虚拟地址, PA:physical address称为物理地址。 CPU通过地址来访问内存中的单元,如果CPU没有MMU,或者有MMU但没有启动,那么CPU内核在取指令或者访问内存时发出的地址(此时必须是物理地址,假如是虚拟地址,那么当前的动作无效)将直接传到CPU芯片的外部地址引脚上,

人机交互系统中的人脸讲话生成系统调研

《Human-Computer Interaction System: A Survey of Talking-Head Generation》 图片源:https://github.com/Yazdi9/Talking_Face_Avatar 目录 前言摘要一、背景介绍二、人机交互系统体系结构2.1. 语音模块2.2. 对话系统模块2.3. 人脸说话动作生成 三 人脸动作生成1 基

我的第一次项目需求调研

很幸运能在毕业的这一年参加一次项目需求调研与分析。 以前在课本和大学的课堂上理解到需求分析是整个项目的基础,需求分析的严谨直接决定项目能否验收。在参加调研之前,也对这个项目所处行业进行了比较深入的了解,理解一些该行业的规则。 需求调研开始的那天,因为抱着一颗想要完美自己的第一次需求调研的心,显得比较紧张,经理也许看出来了,就说:“就跟平时我们内部沟通一样的,我们公司跟客户公司关系比较铁,有过几次

北京市公共资源交易中心到访隆道调研交流

8月29日下午,北京市公共资源交易中心调研组在党委副书记朱永利带领下莅临隆道公司开展调研。隆道公司总裁吴树贵、总裁助理姚锐和市场总监张晶热情地接待来访的九位调研组成员,双方就招标采购数字化转型实践、人工智能技术研究和应用等话题展开深入交流。 近几年,人工智能技术不断突破发展,驱动新一轮科技革命和产业变革,成为各行各业持续关注的焦点。随着政策支持和市场需求的推动,各行业开始探索人工智能技术在实

SLAM相关数据集调研

SLAM相关数据集调研 主要分成4种:关于自动驾驶的数据集,包含Depth的SLAM及三维重建数据集,不含Depth的数据集,包含语义的数据集。 自动驾驶: KITTI数据集:http://www.cvlibs.net/datasets/kitti/index.php (RGB+Lidar+GPS+IMU) KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办,是目前国际上最

噪音消除模块调研

一.原理 1.1降噪 noisereduce 库的 reduce_noise 函数使用的是一种基于频谱减法的噪声消除算法。它通过分析音频的频谱,识别出噪声成分,并尝试将这些噪声成分从音频信号中去除,从而提升信号的清晰度。 1.2 动态范围压缩(预加重) 预加重(Pre-emphasis)是一种简单的信号处理技术,常用于音频处理中。它通过增强音频信号的高频成分来改善信噪比,特别是在某些编码技术

轻量级规则引擎调研

轻量级规则引擎调研 我们基于Flink实现了云端的规则引擎,以flink on yarn方式在运行,依赖hadoop和zookeeper,对于边缘侧来说比较重,所以打算调研下轻量级的规则引擎,我们的业务诉求如下: 业务需求背景 1、轻量级 2、支持海量规则 4、便捷的规则启停 5、动态加载 从如下几方面对比目前比较流行的几个规则引擎框架: drools 1、社区活跃度 droo

AI流程编排产品调研实践

随着AI技术的发展,AI应用和相关的生态也在不断地蓬勃发展,孵化这些AI应用的平台也在这几年也逐渐成熟。大模型应用开发平台像是淘金者必不可少的铲子一样,成为很多云平台厂商和互联网公司必不可少的平台与工具。 提起大模型流程编排或者大模型应用开发平台,让人最多想起来的最多的是一直火热的LangChain,随着LangChain生态的不断繁荣,也诞生了Flowise这种开源三方可视化编排工具。除了工

采集工具选型调研

原文阅读:【巨人肩膀社区·博客·分享】采集工具选型调研 大家一起来探讨SeaTunnel方案,简化当前Dinky与chunjun的双轨模式(Dinky仅用于实时同步,chunjun负责离线处理)。提议小组一起共议,并由大数据组构建demo验证其能否融合流批处理于Zeus平台,实现统一开发与运维,降低跨平台障碍与学习成本。技术应聚焦高效而非堆砌,共同努力推动架构优化。 DataX 不支持实时数

上书房信息咨询:生活投诉满意度调研

在某市这座充满活力和创新的城市中,市民的生活品质和满意度一直是社会各界关注的焦点。为了深入了解市民对生活中遇到的问题及其处理方式的满意度,上书房信息咨询近期受托完成了一项重要的调研项目。这项调研的目标是为提升城市生活品质提供科学、客观、专业的参考依据。 在本次调研过程中,上书房信息咨询采用了问卷调查、个案访谈和社区观察等多种方法。问卷调查主要通过收集大量的数据,了解市民对生活投诉处理方式的满意度

网络爬虫调研报告

基本原理 Spider概述  Spider即网络爬虫 ,其定义有广义和狭义之分。狭义上指遵循标准的 http协议利用超链接和 Web文档检索的方法遍历万维网信息空间的软件程序 ;而广义的定义则是所有能遵循 http协议检索 Web文档的软件都称之为网络爬虫。  Spider是一个功能很强的自动提取网页的程序 ,它为搜索引擎从万维网上下载网页 ,是搜索引擎的重要组成 .它经过请求站点上的 HT

【大模型LLMs】文本分块Chunking调研LangChain实战

【大模型LLMs】文本分块Chunking调研&LangChain实战 Chunking策略类型1. 基于规则的文本分块2. 基于语义Embedding分块3. 基于端到端模型的分块4. 基于大模型的分块 Chunking工具使用(LangChain)1. 固定大小分块(字符&token)2. 语义分块 总结目前主流的文本分块chunking方法,给出LangChain实现各类

深入调研亚马逊云科技AI平台Amazon Bedrock热门开发功能

国际数据公司(IDC)在2024 年 8 月发布了《 中国大模型平台市场份额, 2023 :大模型元年——初局 》调研报告 。IDC的数据显示,2023年中国大模型平台及相关应用市场规模达惊人的17.65亿元人民币,且科学计算大模型仍处于蓝海市场,市场中有大量的AI相关的市场和岗位需求。根据麦肯锡报告显示,对该领域的人才需求将从目前的100万增长到2030年的600万,这表明在未来AI就业市场仍有

DMP调研(Data Management Platform-数据管理平台)

基础概念 数据资产 CRM、DMP、CDP 定义 Customer Data Platform(CDP,客户数据平台):对于企业来说,CDP是作为全链路运营的核心数据系统。是汇集所有客户数据并将数据存储在统一的、可多部门访问的数据平台中,让企业各个部门都可以轻松使用。这种平台通常包括一个集中的数据库,用于存储来自不同来源的数据,并提供接口以便于分析和报告。 Data Manageme

rxjava调研

rxjava适合异步的场景,可以很方便的处理数据流。不过在后端,大多数都是同步的代码,如果有异步的可以尝试使用rxJava来解决问题。

用序列模型(GPT Bert Transformer等)进行图像处理的调研记录

Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction 北大和字节团队的一篇VLM,在生成任务上,用GPT范式,声称在FID上超过了DIT,SD3和SORA。开源。首先是multi-scale的VQVAE,然后是VAR transformer,如下图所示。每个尺度其实并不是GPT范式的

ElasticSearch学习笔记 --- 调研笔记知识点

笔记总结知识点: 1.安装ElasticSearch。 2.ELasticSearch是使用Java开发并使用Lucene作为核心来实现所有索引和搜索的功能 3.使用是通过简单的restful API来使用。 4.安装Marvel(ES的管理和监控) 5.特点: 分布式的实时文件存储,每个字段都被索引并可被搜索 分布式的实时分析搜引擎 可以扩展到上百台服务器,处理PB级机构化或非结

Azkaban学习笔记 --- Azkaban调研笔记后续

这几天在使用Azkaban的时候遇到些坑,这里简单记录一下。 1.启动Azkaban的时候,一定要在/bin目录这一级目录使用/bin/xxx进行启动与停止, 否则找不到,启动会报错。 2.在使用的时候上传job的文件,若是单个job文件压缩上传,不要放到一个文件夹里面再压缩, 需要直接压缩,不然Azkaban会找不到对应的job。若是多个job 文件

消息队列MQ调研笔记 Kafka RabbitMQ Pulsar

功能 RabbitMQ Kafka Pulsar 备注 存储功能 不支持 支持 支持   特点 富Broker, 傻消费者 傻Broker, 富消费者 傻Broker, 富消费者   数据私有-Exclusive 不支持 不支持 支持   数据共享-Shared 支持 支持 支持   故障切换-Failover 不支持 支持 支持

ETL工具~Kettle调研

ETL工具~Kettle调研 2017.2Kettlekettle是其中Pentaho默认的ETL工具,下图为Pentaho的使用情况 什么是ETL 抽取(Extract):需要连接到不同的数据资源,以便为随后的步骤(转换、加载、分析、报表展示等)提供数据。数据抽取实际上是ETL解决方案的成功实施的一个主要障碍。转换(Transform):任何对数据的处理过程都是转换。通常包括:1、移