ZED Board从入门到精通系列（八）——Vivado HLS实现矩阵相乘

2024-01-07 10:38
文章标签 实现 board 入门 精通 系列 矩阵 vivado 相乘 hls zed

本文主要是介绍ZED Board从入门到精通系列（八）——Vivado HLS实现矩阵相乘，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

转载地址：http://blog.csdn.net/kkk584520/article/details/18812321

HLS的学习资源可以参考http://xilinx.eetrend.com/article/5096。本节给出较为通用的矩阵与向量相乘例子，从全串行到全并行进行了一步步优化实现。

矩阵实验室Matlab是比较常用的数学仿真软件。本博主用的是R2013a版本。为了验证矩阵向量相乘正确性，我们先用matlab生成测试矩阵和向量，并利用matlab计算结果。代码如下：

[plain]  view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. clear;  
  2. clc;  
  3. close all;  
  4.   
  5. N = 5;  
  6.   
  7. A = randi([1,100],N,N);  
  8. b = randi(100,N,1);  
  9.   
  10. c = A*b;  
  11.   
  12. KKK_SaveToCHeaderFile(A,'A.h');  
  13.   
  14. KKK_SaveToCHeaderFile(b,'b.h');  
  15. KKK_SaveToCHeaderFile(c,'c.h');  

这里给出的是A*b = c的简单例子，A为5X5矩阵，b为5X1向量，结果c为5X1向量。其中KKK_SaveToCHeaderFile()是将矩阵、向量保存为C语言数组的子函数，定义如下：

[plain]  view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. function [] = KKK_SaveToCHeaderFile(var,fn)  
  2. fid = fopen(fn,'w');  
  3. var = reshape(var.',1,[]);  
  4. fprintf(fid,'%d,\r\n',var);  
  5. fclose(fid);  


给出测试例程中，A如下：

[plain]  view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. 82  10  16  15  66  
  2. 91  28  98  43  4  
  3. 13  55  96  92  85  
  4. 92  96  49  80  94  
  5. 64  97  81  96  68  


b如下：

[plain]  view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. 76  
  2. 75  
  3. 40  
  4. 66  
  5. 18  


得到的c如下：

9800
15846
16555
23124
22939

运行matlab脚本之后，生成三个文件：A.h，b.h，c.h，这些是作为HLS程序的输入数据和参考结果。下面我们用HLS工具实现上述矩阵X向量的功能。第一步，运行Vivado HLS。

选择第一项，Create New Project，建立新工程MatrixMultiply

 

输入路径和工程名之后，点Next。

添加顶层模块文件。这里我们Top Functions输入MatrixMultiply，然后New File...，新建一个.c文件，命名为MatrixMultiply.c（后缀不要省略！），然后点Next

添加顶层文件测试脚本。这里New一个文件TestMatrixMultiply.c（后缀不要省略！），然后Add前面用Matlab生成的A.h，b.h，c.h，如下图所示：

点Next，选择解决方案配置，如下图所示

其余保持默认，只修改Part Selection部分，改为ZedBoard。改完后，Finish即可进入主界面，如下图所示

 

可以看出，Vivado HLS界面很像很像Xilinx SDK，不同的是前者负责PL部分开发，后者负责PS软件编写，定位不同决定了二者今后的路必然走向分歧。

 

将MatrixMultiply.c内容改为：

 

[cpp]  view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. typedef int data_type;  
  2. #define N 5  
  3.   
  4. void MatrixMultiply(data_type AA[N*N],data_type bb[N],data_type cc[N])  
  5. {  
  6.     int i,j;  
  7.     for(i = 0;i<N;i++)  
  8.     {  
  9.         data_type sum = 0;  
  10.         for(j = 0;j<N;j++)  
  11.         {  
  12.             sum += AA[i*N+j]*bb[j];  
  13.         }  
  14.         cc[i] = sum;  
  15.     }  
  16. }  


 

将TestMatrixMultiply.c内容改为：

[cpp]  view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. <p>#include <stdio.h>  
  2. typedef int data_type;  
  3. #define N 5</p><p>const data_type MatrixA[] = {  
  4. #include "A.h"  
  5. };  
  6. const data_type Vector_b[] = {  
  7. #include "b.h"  
  8. };  
  9. const data_type MatlabResult_c[] = {  
  10. #include "c.h"  
  11. };</p><p>data_type HLS_Result_c[N] = {0};  
  12. void CheckResult(data_type * matlab_result,data_type * your_result);  
  13. int main(void)  
  14. {  
  15.  printf("Checking Results:\r\n");  
  16.  MatrixMultiply(MatrixA,Vector_b,HLS_Result_c);  
  17.  CheckResult(MatlabResult_c,HLS_Result_c);  
  18.  return 0;  
  19. }  
  20. void CheckResult(data_type * matlab_result,data_type * your_result)  
  21. {  
  22.  int i;  
  23.  for(i = 0;i<N;i++)  
  24.  {  
  25.   printf("Idx %d: Error = %d \r\n",i,matlab_result[i]-your_result[i]);  
  26.  }  
  27. }  
  28. </p>  


首先进行C语言仿真验证，点这个按钮：

结果如下：

从C仿真输出看到，仿真结果与matlab计算结果一致，说明我们编写的C程序MatrixMultiply是正确的。

 

接下来进行综合，按C仿真后面那个三角形按钮，得到结果如下：

注意到，计算延迟为186个时钟周期。这是未经过优化的版本，记为版本1。

为了提高FPGA并行计算性能，我们接下来对它进行优化。

 

打开MatrixMultiply.c，点Directives页面，可以看到我们可以优化的对象。

 

 

注意到矩阵和向量相乘是双层for循环结构。我们先展开最内层for循环，步骤如下：

 

右键点击最内侧循环，右键，然后Insert Directive...

弹出对话框如下，Directives选择UNROLL，OK即可，后面所有都保持默认。

 

再次综合后，结果如下

可见效果非常明显，延迟缩短到51个时钟周期。

用同样方法，展开外层循环，综合后结果如下：

计算延迟又降低了1/3！！！

可是代价呢？细心的你可能发现占用资源情况发生了较大变化，DSP48E1由最初的4个变为8个后来又成为76个！！！

FPGA设计中，延迟的降低，即速度提高，必然会导致面积的增大！

 

循环展开是优化的一个角度，另一个角度是从资源出发进行优化。我们打开Analysis视图，如下所示：

 

从分析视图可以看出各个模块的运行顺序，从而为优化提供更为明确的指引。我们发现AA_load导致了延迟，如果所有AA的值都能一次性并行取出，势必会加快计算效率！

回到Synthetic视图，为AA增加Directives：

选择Resources，再点Cores后面的方框，进入Vivado HLS core选择对话框

按上图进行选择。使用ROM是因为在计算矩阵和向量相乘时，AA为常数。确认。

仍然选择AA，增加Directives，如下图：

选择数组分解，mode选择完全complete，综合后结果如下图：

延迟进一步降低，已经降到11个时钟周期了！！！是否已经达到极限了呢？？？

答案是否定的。我们进入Analysis视图，看一下还有哪些地方可以优化的。经过对比发现bb也需要分解，于是按照上面的方法对bb进行资源优化，也用ROM-2P类型，也做全分解，再次综合，结果如下：

 

 

发现延迟进一步降低到8个时钟周期了！！！

老师，能不能再给力点？

可以的！！！！

我们进入分析视图，发现cc这个回写的步骤阻塞了整体流程，于是我们将cc也进行上述资源优化，只不过资源类型要变为RAM_2P，因为它是需要写入的。综合结果：

 

 

整体延迟已经降低到6个clk周期了！！！

再看Analysis视图：

 

延迟已经被压缩到极限了。。。。

 

老师，还能再给力点嘛？

答案是可以的！！！！

我们前面的所有运算都是基于整形数int，如果将数值精度降低，将大大节省资源。

注意现在DSP48E1需要100个！

看我们如何将资源再降下来。这就需要借助“任意精度”数据类型了。

 

HLS中除了C中定义的char，shrot，int，long，long long 之外，还有任意bit长度的int类型。我们将代码开头的data_type定义改为：

[cpp]  view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. #include <ap_cint.h>  
  2. typedef uint15 data_type;  


 

由于matlab生成的随机数在1~100以内，乘积范围不会超过10000，于是取15bit就能满足要求。

 

首先验证下结果的正确性，用C Simulation试一下。结果如下：

 

看来结果是正确的（当然也不排除数位不够，溢出后的结果相减也是0，需要你自己决定数值位宽）

 

综合一下，结果如下：

 

延迟缩短了一半，DSP48E1减少到原来的1/4！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！

 

我和我的小伙伴们都震惊了！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！

 

再看Analysis视图

 

 

可以发现我们的资源利用率已经达到极致，时序已经压缩到无以复加，实现了全并行计算，系统时钟完全可以达到100MHz，延迟仅3CLK，约30ns，相比matlab，得到约数百倍加速（matlab进行矩阵——向量相乘时采用浮点计算）。

 

通过本文实验，可以发现利用Vivado HLS实现从最初的C串行实现到全并行实现的步步优化，总结一下优化步骤：

（1）粗优化（循环展开、子函数内联）

（2）访存优化（块存储分散化、多端口存取）

（3）精优化（数值位宽优化、流水线优化）

（4）总线化（利用AXI4、AXI-Stream总线接口，降低整体访存需求）

优化选项如下：

Directive                                      Description
ALLOCATION                      Specifya limit for the number of operations, cores or functions used.This can force the sharing or hardware
                                            resourcesand may increase latency
ARRAY_MAP                       Combinesmultiple smaller arrays into a single large array to helpreduce block RAM resources.
ARRAY_PARTITION            Partitionslarge arrays into multiple smaller arrays or into individualregisters, to improve access to data and remove                                                   block RAMbottlenecks.

ARRAY_RESHAPE              Reshapean array from one with many elements to one with greaterword-width. Useful for improving block RAM

                                           accesseswithout using more block RAM.

CLOCK                               For SystemC designsmultiple named clocks can be specified using the create_clock command and applied to individual                                            SC_MODULEs using this directive.

DATA_PACK                       Packs the data fields ofa struct into a single scalar with a wider word width.

DATAFLOW                        Enables task levelpipelining, allowing functions and loops to execute concurrently. Used to minimize interval.

DEPENDENCE                    Used to provide additional information that can overcome loop-carry dependencies and allow loops to be

                                             pipelined(or pipelined with lower intervals).

EXPRESSION_BALANCE     Allows automatic expressionbalancing to be turned off.
FUNCTION_INSTANTIATE   Allows different instances of the samefunction to be locally optimized.

INLINE                                   Inlines a function, removing all function hierarchy. Used to enable logic optimization across function boundaries and
                                              improve latency/interval by reducingfunction call overhead.

INTERFACE                          Specifieshow RTL ports are created from the function description.
LATENCY                              Allows aminimum and maximum latency constraint to be specified.
LOOP_FLATTEN                   Allows nested loops to be collapsed into a single loop with improved latency.

LOOP_MERGE                      Merge consecutive loops to reduce overalllatency, increase sharing and improve logic optimization.

LOOP_TRIPCOUNT              Used forloops which have variables bounds. Provides an estimatefor the loop iteration count. This has no impact                                                     on synthesis, only on reporting.

OCCURRENCE                     Used whenpipelining functions or loops, to specify that the code in a location is executed at a lesser rate than the                                                     code inthe enclosing function or loop.

PIPELINE                               Reduces the initiationinterval by allowing the concurrent execution of operations within a loop or function.

PROTOCOL                        This commands specifiesa region of the code to be a protocol region. A protocol region can be used to manually                                                       specify an interfaceprotocol.

RESET                                This directive isused to add or remove reset on a specific state variable (global or static).

RESOURCE                        Specify that a specificlibrary resource (core) is used to implement a variable (array, arithmetic operation or
                                            function argument) in the RTL.

STREAM                             Specifies that aspecific array is to be implemented as a FIFO or RAM memory channel during dataflow optimization.

TOP                                    The top-levelfunction for synthesis is specified in the project settings. This directive may be used to specify any
                                           function as the top-level for synthesis. This then allows different solutions within the same project to be specified as the                                            top-level function for synthesis without needing tocreate a new project.

UNROLL                          Unroll for-loops tocreate multiple independent operations rather than a single collection of operations.


利用HLS可以将原来的C算法快速部署到FPGA上，减少直接进行硬件编程的工作量。在很多情况下，优化手段可以和CUDA进行类比，相互借鉴。CUDA其实更接近软件接口，而HLS更接近硬件编程接口，或许今后两者会在新的层次上融合为统一架构语言。


这篇关于ZED Board从入门到精通系列（八）——Vivado HLS实现矩阵相乘的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/579638。

相关文章

Spring Security 从入门到进阶系列教程

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门（一）：登录与退出》 《Spring-Security-入门（二）：基于数据库验证》 《Spring-Security-入门（三）：密码加密》 《Spring-Security-入门（四）：自定义-Filter》 《Spring-Security-入门（五）：在 Sprin
阅读更多...
hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

利用康拓展开将一个排列映射成一个自然数，然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu
阅读更多...
【C++】_list常用方法解析及模拟实现

【C++】_list常用方法解析及模拟实现

相信自己的力量，只要对自己始终保持信心，尽自己最大努力去完成任何事，就算事情最终结果是失败了，努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一：什么是list？ •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二：list常用接口 •🌰1.默认成员函数 🔥构造函数（⭐） 🔥析构函数 •🌰2.list对象
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...
让树莓派智能语音助手实现定时提醒功能

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现，因为rasa本身是带有remindschedule模块的。不过经过一番折腾后，忽然发现，chatbot上实现的定时，语音助手不一定会有响应。因为，我目前语音助手的代码设置了长时间无应答会结束对话，这样一来，chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢？ 我最后选择的方法是用threading.Time
阅读更多...
Android实现任意版本设置默认的锁屏壁纸和桌面壁纸（两张壁纸可不一致）

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸（两张壁纸可不一致）

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸： 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  （注意不能是bmp格式） 替换默认锁屏壁纸： 将图片资源放入vendo
阅读更多...
C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

哈喽，你好啊，我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记，这是第6篇； 接下来实现实时显示当前选中红球数量，蓝球数量； 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时，在对应的位置显示实时已选择的红球、蓝球的数量； 02 标签名称 分别设置Label标签名称为：lblRedCount、lblBlueCount
阅读更多...
科研绘图系列：R语言扩展物种堆积图（Extended Stacked Barplot）

科研绘图系列：R语言扩展物种堆积图（Extended Stacked Barplot）

介绍 R语言的扩展物种堆积图是一种数据可视化工具，它不仅展示了物种的堆积结果，还整合了不同样本分组之间的差异性分析结果。这种图形表示方法能够直观地比较不同物种在各个分组中的显著性差异，为研究者提供了一种有效的数据解读方式。 加载R包 knitr::opts_chunk$set(warning = F, message = F)library(tidyverse)library(phyl
阅读更多...
Kubernetes PodSecurityPolicy：PSP能实现的5种主要安全策略

Kubernetes PodSecurityPolicy：PSP能实现的5种主要安全策略

Kubernetes PodSecurityPolicy：PSP能实现的5种主要安全策略 1. 特权模式限制2. 宿主机资源隔离3. 用户和组管理4. 权限提升控制5. SELinux配置 💖The Begin💖点点关注，收藏不迷路💖 Kubernetes的PodSecurityPolicy（PSP）是一个关键的安全特性，它在Pod创建之前实施安全策略，确保P
阅读更多...
数论入门整理（updating）

数论入门整理（updating）

一、gcd lcm 基础中的基础，一般用来处理计算第一步什么的，分数化简之类。 LL gcd(LL a, LL b) { return b ? gcd(b, a % b) : a; } <pre name="code" class="cpp">LL lcm(LL a, LL b){LL c = gcd(a, b);return a / c * b;} 例题：
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2