3 Spark机器学习 spark MLlib 矩阵向量、矩阵运算Breeze库-1

2024-04-06 12:38

本文主要是介绍3 Spark机器学习 spark MLlib 矩阵向量、矩阵运算Breeze库-1,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

机器学习里矩阵是必不可少的,无论Python、Java能做机器学习的语言,都会提供比较优质的矩阵库。

spark mllib中提供的矩阵库是Breeze,可以简单看看Breeze库的情况。

ScalaNLP是一套机器学习和数值计算的库,主要是关于科学计算、机器学习和自然语言处理(NLP)的,里面包含三个库,Breeze、Epic和Puck。

其中Breeze是机器学习和数值计算库,Epic是一种高性能统计分析器和结构化预测库,Puck是一个快速GPU加速解析器。

本篇就是来看看Breeze的用法。

1 Breeze创建矩阵、向量

创建向量:

        //创建全0的向量val v1 = DenseVector.zeros[Double](5)println(v1)//创建全1的向量val v2 = DenseVector.ones[Double](5)println(v2)//用某个值填充整个向量val v3 = DenseVector.fill(3){5}println(v3)//创建某个范围内的向量,参数分别是start、end、step(可不填)val v4 = DenseVector.range(1, 10, 2)println(v4)//按照行创建向量val v5 = DenseVector(1, 2, 3, 4)println(v5)//向量转置,就是把行向量转为列向量val v6 = DenseVector(1, 2, 3, 4).tprintln(v6)//从数组创建向量val v7 = DenseVector(Array(1, 2, 3, 4))println(v7)//0到1的随机向量,参数是数量val v8 = DenseVector.rand(4)println(v8)//从函数创建向量val v9 = DenseVector.tabulate(3){i => 2 * i}println(v9)

根据注释,基本可以猜到结果是什么。下面看结果:

DenseVector(0.0, 0.0, 0.0, 0.0, 0.0)
DenseVector(1.0, 1.0, 1.0, 1.0, 1.0)
DenseVector(5, 5, 5)
DenseVector(1, 3, 5, 7, 9)
DenseVector(1, 2, 3, 4)
Transpose(DenseVector(1, 2, 3, 4))
DenseVector(1, 2, 3, 4)
DenseVector(0.712553382031057, 0.7818284949827337, 0.55561285848614, 0.9092804939652446)
DenseVector(0, 2, 4)

 创建矩阵:

        //创建全0的矩阵,2行3列val m1 = DenseMatrix.zeros[Double](2, 3)println(m1)//单位矩阵,对角线为1,其他全为0val m2 = DenseMatrix.eye[Double](3)println(m2)//对角矩阵,用给定的值作为对角线,其他全为0val m3 = diag(DenseVector(1, 2, 3))println(m3)//按照行创建矩阵val m4 = DenseMatrix((1, 2, 3), (4, 5, 6))println(m4)//从数组创建矩阵val m5 = new DenseMatrix(2, 3, Array(1, 2, 3, 4, 5, 6))println(m5)//0到1的随机矩阵val m6 = DenseMatrix.rand(2, 3)println(m6)//从函数创建矩阵val m7 = DenseMatrix.tabulate(2, 3) {case(i, j) => i + j}println(m7)

结果是:

2 Breeze访问矩阵元素

前面是各种方式创建矩阵和向量的代码,这里来看看如何访问元素。

        val v = DenseVector(Array(1, 2, 3, 4, 5, 6))//-1是末位,其他的v(0)println(v(-1))//指定坐标范围println(v(0 to 4))//按照指定步长取子集println(v(4 to 0 by -1))println(v(1 to -1))val m = DenseMatrix((1, 2, 3),(4, 5, 6))//指定矩阵的位置println(m(0, 1))//指定列println(m(::, 1))

结果是:

6
DenseVector(1, 2, 3, 4, 5)
DenseVector(5, 4, 3, 2, 1)
DenseVector(2, 3, 4, 5, 6)
2
DenseVector(2, 5)

3 Breeze元素操作

元素的操作有很多种,譬如赋值、矩阵转换、调整形状、连接矩阵等。

Breeze元素操作函数
操作名称Breeze函数
调整矩阵形状a.reshape(3,2)
矩阵转成向量a.toDenseVector
矩阵复制a.copy
取对象线元素diag(a)
给子集赋数值a(1 to 4) := 5.0
给子集赋向量a(1 to 4) :=DenseVector(1,2,3)
矩阵赋值a(1 to 3,1 to 3) := 5.0
矩阵列赋值a(::,2) := 5.0
垂直连接矩阵DenseMatrix.vertcat(a.b)
横向连接矩阵DenseMatrix.horzcat(d,e)
向量连接DenseVector.vertcat(a,b)

我们来看看各个功能:

定义一个初始的矩阵,4行3列

val m = DenseMatrix((1, 2, 3), (4, 5, 6), (7, 8, 9), (10, 11, 12))
1   2   3   
4   5   6   
7   8   9   
10  11  12 

1.

         //转成vector向量val denseVector = m.toDenseVectorprintln(denseVector)

结果是:

DenseVector(1, 4, 7, 10, 2, 5, 8, 11, 3, 6, 9, 12)

注意一下这个结果,将矩阵转为向量时,是按照列的顺序依次获取所有元素组成一个向量的。

2.

        //形状变成3行4列val reshape = m.reshape(3, 4)

结果是:

1  10  8   6   
4  2   11  9   
7  5   3   12 

可以看到,矩阵变形时也是按照列从上到下从左到右依次填满矩阵的。

3.

 然后看一下diag,取对角线元素。

val m1 = DenseMatrix((1, 2, 3), (4, 5, 6), (7, 8, 9))//取对角线元素val diagM1 = diag(m1)println(diagM1)

结果如下图,需要注意的是,diag只支持行列数一样的矩阵,譬如3行3列。而3行4列的就无法使用该函数了。

DenseVector(1, 5, 9)

4.

修改某一列的值

//将第二列的值变成5m1(::, 2) := 5println(m1)

结果:

1  2  5  
4  5  5  
7  8  5 

5.

给某个行列区间赋值

//矩阵赋值,从第二行到第三行,第二列到第三列赋值为5m1(1 to 2, 1 to 2) := 5println(m1)

结果: 

1  2  3  
4  5  5  
7  5  5  

6.

垂直连接矩阵

//垂直连接矩阵val a1 = DenseMatrix((1, 2, 3), (4, 5, 6))val a2 = DenseMatrix((7, 8, 9))val a1a2 = DenseMatrix.vertcat(a1, a2)println(a1a2)

结果: 

1  2  3  
4  5  6  
7  8  9 

可以看到两个矩阵垂直连接时,只有列数相同就可以,行数不必相同。同理,横向连接时 

7.

横向连接矩阵

//横向连接矩阵val b1 = DenseMatrix((1, 2, 3), (4, 5, 6))val b2 = DenseMatrix((7, 8, 9), (10, 11, 12))val b1b2 = DenseMatrix.horzcat(b1, b2)println(b1b2)

结果是:

1  2  3  7   8   9   
4  5  6  10  11  12  

 

这篇关于3 Spark机器学习 spark MLlib 矩阵向量、矩阵运算Breeze库-1的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/879911

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

uva 575 Skew Binary(位运算)

求第一个以(2^(k+1)-1)为进制的数。 数据不大,可以直接搞。 代码: #include <stdio.h>#include <string.h>const int maxn = 100 + 5;int main(){char num[maxn];while (scanf("%s", num) == 1){if (num[0] == '0')break;int len =

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

系统架构师考试学习笔记第三篇——架构设计高级知识(20)通信系统架构设计理论与实践

本章知识考点:         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识