大数据计算里的加速利器-向量化

2024-06-18 05:04

本文主要是介绍大数据计算里的加速利器-向量化,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

    • 向量化
    • 使用场景
    • 代码说明

向量化

通俗来说在列式存储的数据库里来说,如果要对数据进行累加运行,如果每次只能操作一个数,必然效率低下,向量操作就是就是采用SIMD技术,通过一个指令,实现对多个数据的处理

使用场景

通常会用在列式数据库,作分析数据使用。 比如clickhouse

代码说明

通常代码来详细展示使用向量和传统方式实现相加的实现方式

#include <iostream>
#include <arm_neon.h>  // 包含 ARM NEON SIMD 指令集的头文件
#include <chrono>      // 用于计时的头文件void vector_add_neon(const float32_t* a, const float32_t* b, float32_t* result, size_t n) {size_t i = 0;for (; i + 4 <= n; i += 4) {float32x4_t va = vld1q_f32(a + i);    // 加载 4 个浮点数到 NEON 寄存器 vafloat32x4_t vb = vld1q_f32(b + i);    // 加载 4 个浮点数到 NEON 寄存器 vbfloat32x4_t vr = vaddq_f32(va, vb);   // 对寄存器 va 和 vb 中的浮点数逐元素相加vst1q_f32(result + i, vr);            // 将结果存储回内存}for (; i < n; ++i) {result[i] = a[i] + b[i];}
}void vector_add_basic(const float* a, const float* b, float* result, size_t n) {for (size_t i = 0; i < n; ++i) {result[i] = a[i] + b[i];}
}int main() {const size_t n = 1000000;  // 数组长度增加到 100 万float32_t a[n];float32_t b[n];float32_t result_neon[n];float32_t result_basic[n];// 初始化数组 a 和 bfor (size_t i = 0; i < n; ++i) {a[i] = static_cast<float32_t>(i);b[i] = static_cast<float32_t>(i * 2);}// 测量使用 NEON SIMD 的计算时间auto start_neon = std::chrono::high_resolution_clock::now();vector_add_neon(a, b, result_neon, n);auto end_neon = std::chrono::high_resolution_clock::now();std::chrono::duration<double> elapsed_neon = end_neon - start_neon;// 测量普通循环计算时间auto start_basic = std::chrono::high_resolution_clock::now();vector_add_basic(a, b, result_basic, n);auto end_basic = std::chrono::high_resolution_clock::now();std::chrono::duration<double> elapsed_basic = end_basic - start_basic;// 输出结果std::cout << "NEON SIMD 加速耗时: " << elapsed_neon.count() << " 秒\n";std::cout << "普通循环耗时: " << elapsed_basic.count() << " 秒\n";return 0;
}

这篇关于大数据计算里的加速利器-向量化的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1071365

相关文章

Spring Cloud:构建分布式系统的利器

引言 在当今的云计算和微服务架构时代,构建高效、可靠的分布式系统成为软件开发的重要任务。Spring Cloud 提供了一套完整的解决方案,帮助开发者快速构建分布式系统中的一些常见模式(例如配置管理、服务发现、断路器等)。本文将探讨 Spring Cloud 的定义、核心组件、应用场景以及未来的发展趋势。 什么是 Spring Cloud Spring Cloud 是一个基于 Spring

计算绕原点旋转某角度后的点的坐标

问题: A点(x, y)按顺时针旋转 theta 角度后点的坐标为A1点(x1,y1)  ,求x1 y1坐标用(x,y)和 theta 来表示 方法一: 设 OA 向量和x轴的角度为 alpha , 那么顺时针转过 theta后 ,OA1 向量和x轴的角度为 (alpha - theta) 。 使用圆的参数方程来表示点坐标。A的坐标可以表示为: \[\left\{ {\begin{ar

【服务器运维】MySQL数据存储至数据盘

查看磁盘及分区 [root@MySQL tmp]# fdisk -lDisk /dev/sda: 21.5 GB, 21474836480 bytes255 heads, 63 sectors/track, 2610 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesSector size (logical/physical)

SQL Server中,查询数据库中有多少个表,以及数据库其余类型数据统计查询

sqlserver查询数据库中有多少个表 sql server 数表:select count(1) from sysobjects where xtype='U'数视图:select count(1) from sysobjects where xtype='V'数存储过程select count(1) from sysobjects where xtype='P' SE

时间服务器中,适用于国内的 NTP 服务器地址,可用于时间同步或 Android 加速 GPS 定位

NTP 是什么?   NTP 是网络时间协议(Network Time Protocol),它用来同步网络设备【如计算机、手机】的时间的协议。 NTP 实现什么目的?   目的很简单,就是为了提供准确时间。因为我们的手表、设备等,经常会时间跑着跑着就有误差,或快或慢的少几秒,时间长了甚至误差过分钟。 NTP 服务器列表 最常见、熟知的就是 www.pool.ntp.org/zo

数据时代的数字企业

1.写在前面 讨论数据治理在数字企业中的影响和必要性,并介绍数据治理的核心内容和实践方法。作者强调了数据质量、数据安全、数据隐私和数据合规等方面是数据治理的核心内容,并介绍了具体的实践措施和案例分析。企业需要重视这些方面以实现数字化转型和业务增长。 数字化转型行业小伙伴可以加入我的星球,初衷成为各位数字化转型参考库,星球内容每周更新 个人工作经验资料全部放在这里,包含数据治理、数据要

【云计算 复习】第1节 云计算概述和 GFS + chunk

一、云计算概述 1.云计算的商业模式 (1)软件即服务(SaaS) 有些景区给游客提供烧烤场地,游客需要自己挖坑或者砌烧烤台,然后买肉、串串、烧烤。 (2)平台即服务(PaaS) 有些景区给游客提供烧烤场地,同时搭建好烧烤台,游客只需要自己带食材和调料、串串、烧烤。 (3)基础设施即服务(IaaS) 有些景区给游客提供烧烤场地,同时搭建好烧烤台,还有专门的厨师来烧烤,用户不需要关心前面的所有

如何在Java中处理JSON数据?

如何在Java中处理JSON数据? 大家好,我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿!今天我们将探讨在Java中如何处理JSON数据。JSON(JavaScript Object Notation)作为一种轻量级的数据交换格式,在现代应用程序中被广泛使用。Java通过多种库和API提供了处理JSON的能力,我们将深入了解其用法和最佳

两个基因相关性CPTAC蛋白组数据

目录 蛋白数据下载 ①蛋白数据下载 1,TCGA-选择泛癌数据  2,TCGA-TCPA 3,CPTAC(非TCGA) ②蛋白相关性分析 1,数据整理 2,蛋白相关性分析 PCAS在线分析 蛋白数据下载 CPTAC蛋白组学数据库介绍及数据下载分析 – 王进的个人网站 (jingege.wang) ①蛋白数据下载 可以下载泛癌蛋白数据:UCSC Xena (xena

中国341城市生态系统服务价值数据集(2000-2020年)

生态系统服务反映了人类直接或者间接从自然生态系统中获得的各种惠益,对支撑和维持人类生存和福祉起着重要基础作用。目前针对全国城市尺度的生态系统服务价值的长期评估还相对较少。我们在Xie等(2017)的静态生态系统服务当量因子表基础上,选取净初级生产力,降水量,生物迁移阻力,土壤侵蚀度和道路密度五个变量,对生态系统供给服务、调节服务、支持服务和文化服务共4大类和11小类的当量因子进行了时空调整,计算了