本文主要是介绍python实现CSV特征文件转化为libsvm特征文件输入spark中进行机器学习，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
今天早早地下班，闲来无事就继续鼓捣spark了，spark计算能力很强之外还有一个很强大的功能就是机器学习，借助于spark平台的高性能以及高计算能力，机器学习算法也被广泛地开发出来，今天在实际使用spark中提供的机器学习算法的时候遇到一个问题就是：
当前spark读取的都是libsvm格式的数据，我对于libsvm的了解，仅仅停留在他是台大开发出来的独立运行的svm工具而已，对于libsvm格式的数据还是一片空白，之前自己使用的特征文件大多数为：CSV、txt或者是xls和xlsx格式的，所以这里就出现了问题，上网查了一些关于libsvm数据格式的资料如下：
libsvm数据格式
libsvm使用的训练数据和检验数据文件格式如下：
[label] [index1]:[value1] [index2]:[value2] …
[label] [index1]:[value1] [index2]:[value2] …
label 目标值，就是说class（属于哪一类），就是你要分类的种类，通常是一些整数。
index 是有顺序的索引，通常是连续的整数。就是指特征编号，必须按照升序排列
value 就是特征值，用来train的数据，通常是一堆实数组成。
即：
目标值 第一维特征编号：第一维特征值 第二维特征编号：第二维特征值 …
目标值 第一维特征编号：第一维特征值 第二维特征编号：第二维特征值 …
……
目标值 第一维特征编号：第一维特征值 第二维特征编号：第二维特征值 …例如：0 1:0.656 2:5.48 3:54 4:1 5:7 6:2
表示训练用的特征有4维，第一维是0.656，第二维是5.48，第三维是54，第四维是1，第五维是7，第六维是2 目标值是0
注意：训练和测试数据的格式必须相同，都如上所示。测试数据中的目标值是为了计算误差用。
今天尝试了将CSV格式的数据转化为libsvm格式的数据来使用，经过实践尝试发现可以正常工作，下面是转化的脚本（以skearn自带的鸢尾花数据集为例）：
def CSV2Libsvm(data='iris.csv',savepath='iris.txt'):'''将CSV数据格式转化为libsvm数据格式'''csv_reader=csv.reader(open(data))data_list=[]for one_line in csv_reader:if str(one_line[0])!='id':data_list.append(one_line)res_list=[]label_dict={'virginica':'2','versicolor':'1','setosa':'0'}for one_list in data_list:one_tmp_list=[label_dict[one_list[-1]]]for i in range(1,len(one_list)-1):one_tmp=str(i)+':'+str(one_list[i])one_tmp_list.append(one_tmp)res_list.append(' '.join(one_tmp_list))with open(savepath,'wb') as f:for one_line in res_list:f.write(one_line.strip()+'\n')转化结果如下：
0 1:5.1 2:3.5 3:1.4 4:0.2
0 1:4.9 2:3 3:1.4 4:0.2
0 1:4.7 2:3.2 3:1.3 4:0.2
0 1:4.6 2:3.1 3:1.5 4:0.2
0 1:5 2:3.6 3:1.4 4:0.2
0 1:5.4 2:3.9 3:1.7 4:0.4
0 1:4.6 2:3.4 3:1.4 4:0.3
0 1:5 2:3.4 3:1.5 4:0.2
0 1:4.4 2:2.9 3:1.4 4:0.2
0 1:4.9 2:3.1 3:1.5 4:0.1
0 1:5.4 2:3.7 3:1.5 4:0.2
0 1:4.8 2:3.4 3:1.6 4:0.2
0 1:4.8 2:3 3:1.4 4:0.1
0 1:4.3 2:3 3:1.1 4:0.1
0 1:5.8 2:4 3:1.2 4:0.2
0 1:5.7 2:4.4 3:1.5 4:0.4
0 1:5.4 2:3.9 3:1.3 4:0.4
0 1:5.1 2:3.5 3:1.4 4:0.3
0 1:5.7 2:3.8 3:1.7 4:0.3
0 1:5.1 2:3.8 3:1.5 4:0.3
0 1:5.4 2:3.4 3:1.7 4:0.2
0 1:5.1 2:3.7 3:1.5 4:0.4
0 1:4.6 2:3.6 3:1 4:0.2
0 1:5.1 2:3.3 3:1.7 4:0.5
0 1:4.8 2:3.4 3:1.9 4:0.2
0 1:5 2:3 3:1.6 4:0.2
0 1:5 2:3.4 3:1.6 4:0.4
0 1:5.2 2:3.5 3:1.5 4:0.2
0 1:5.2 2:3.4 3:1.4 4:0.2
0 1:4.7 2:3.2 3:1.6 4:0.2
0 1:4.8 2:3.1 3:1.6 4:0.2
0 1:5.4 2:3.4 3:1.5 4:0.4
0 1:5.2 2:4.1 3:1.5 4:0.1
0 1:5.5 2:4.2 3:1.4 4:0.2
0 1:4.9 2:3.1 3:1.5 4:0.2
0 1:5 2:3.2 3:1.2 4:0.2
0 1:5.5 2:3.5 3:1.3 4:0.2
0 1:4.9 2:3.6 3:1.4 4:0.1
0 1:4.4 2:3 3:1.3 4:0.2
0 1:5.1 2:3.4 3:1.5 4:0.2
0 1:5 2:3.5 3:1.3 4:0.3
0 1:4.5 2:2.3 3:1.3 4:0.3
0 1:4.4 2:3.2 3:1.3 4:0.2
0 1:5 2:3.5 3:1.6 4:0.6
0 1:5.1 2:3.8 3:1.9 4:0.4
0 1:4.8 2:3 3:1.4 4:0.3
0 1:5.1 2:3.8 3:1.6 4:0.2
0 1:4.6 2:3.2 3:1.4 4:0.2
0 1:5.3 2:3.7 3:1.5 4:0.2
0 1:5 2:3.3 3:1.4 4:0.2
1 1:7 2:3.2 3:4.7 4:1.4
1 1:6.4 2:3.2 3:4.5 4:1.5
1 1:6.9 2:3.1 3:4.9 4:1.5
1 1:5.5 2:2.3 3:4 4:1.3
1 1:6.5 2:2.8 3:4.6 4:1.5
1 1:5.7 2:2.8 3:4.5 4:1.3
1 1:6.3 2:3.3 3:4.7 4:1.6
1 1:4.9 2:2.4 3:3.3 4:1
1 1:6.6 2:2.9 3:4.6 4:1.3
1 1:5.2 2:2.7 3:3.9 4:1.4
1 1:5 2:2 3:3.5 4:1
1 1:5.9 2:3 3:4.2 4:1.5
1 1:6 2:2.2 3:4 4:1
1 1:6.1 2:2.9 3:4.7 4:1.4
1 1:5.6 2:2.9 3:3.6 4:1.3
1 1:6.7 2:3.1 3:4.4 4:1.4
1 1:5.6 2:3 3:4.5 4:1.5
1 1:5.8 2:2.7 3:4.1 4:1
1 1:6.2 2:2.2 3:4.5 4:1.5
1 1:5.6 2:2.5 3:3.9 4:1.1
1 1:5.9 2:3.2 3:4.8 4:1.8
1 1:6.1 2:2.8 3:4 4:1.3
1 1:6.3 2:2.5 3:4.9 4:1.5
1 1:6.1 2:2.8 3:4.7 4:1.2
1 1:6.4 2:2.9 3:4.3 4:1.3
1 1:6.6 2:3 3:4.4 4:1.4
1 1:6.8 2:2.8 3:4.8 4:1.4
1 1:6.7 2:3 3:5 4:1.7
1 1:6 2:2.9 3:4.5 4:1.5
1 1:5.7 2:2.6 3:3.5 4:1
1 1:5.5 2:2.4 3:3.8 4:1.1
1 1:5.5 2:2.4 3:3.7 4:1
1 1:5.8 2:2.7 3:3.9 4:1.2
1 1:6 2:2.7 3:5.1 4:1.6
1 1:5.4 2:3 3:4.5 4:1.5
1 1:6 2:3.4 3:4.5 4:1.6
1 1:6.7 2:3.1 3:4.7 4:1.5
1 1:6.3 2:2.3 3:4.4 4:1.3
1 1:5.6 2:3 3:4.1 4:1.3
1 1:5.5 2:2.5 3:4 4:1.3
1 1:5.5 2:2.6 3:4.4 4:1.2
1 1:6.1 2:3 3:4.6 4:1.4
1 1:5.8 2:2.6 3:4 4:1.2
1 1:5 2:2.3 3:3.3 4:1
1 1:5.6 2:2.7 3:4.2 4:1.3
1 1:5.7 2:3 3:4.2 4:1.2
1 1:5.7 2:2.9 3:4.2 4:1.3
1 1:6.2 2:2.9 3:4.3 4:1.3
1 1:5.1 2:2.5 3:3 4:1.1
1 1:5.7 2:2.8 3:4.1 4:1.3
2 1:6.3 2:3.3 3:6 4:2.5
2 1:5.8 2:2.7 3:5.1 4:1.9
2 1:7.1 2:3 3:5.9 4:2.1
2 1:6.3 2:2.9 3:5.6 4:1.8
2 1:6.5 2:3 3:5.8 4:2.2
2 1:7.6 2:3 3:6.6 4:2.1
2 1:4.9 2:2.5 3:4.5 4:1.7
2 1:7.3 2:2.9 3:6.3 4:1.8
2 1:6.7 2:2.5 3:5.8 4:1.8
2 1:7.2 2:3.6 3:6.1 4:2.5
2 1:6.5 2:3.2 3:5.1 4:2
2 1:6.4 2:2.7 3:5.3 4:1.9
2 1:6.8 2:3 3:5.5 4:2.1
2 1:5.7 2:2.5 3:5 4:2
2 1:5.8 2:2.8 3:5.1 4:2.4
2 1:6.4 2:3.2 3:5.3 4:2.3
2 1:6.5 2:3 3:5.5 4:1.8
2 1:7.7 2:3.8 3:6.7 4:2.2
2 1:7.7 2:2.6 3:6.9 4:2.3
2 1:6 2:2.2 3:5 4:1.5
2 1:6.9 2:3.2 3:5.7 4:2.3
2 1:5.6 2:2.8 3:4.9 4:2
2 1:7.7 2:2.8 3:6.7 4:2
2 1:6.3 2:2.7 3:4.9 4:1.8
2 1:6.7 2:3.3 3:5.7 4:2.1
2 1:7.2 2:3.2 3:6 4:1.8
2 1:6.2 2:2.8 3:4.8 4:1.8
2 1:6.1 2:3 3:4.9 4:1.8
2 1:6.4 2:2.8 3:5.6 4:2.1
2 1:7.2 2:3 3:5.8 4:1.6
2 1:7.4 2:2.8 3:6.1 4:1.9
2 1:7.9 2:3.8 3:6.4 4:2
2 1:6.4 2:2.8 3:5.6 4:2.2
2 1:6.3 2:2.8 3:5.1 4:1.5
2 1:6.1 2:2.6 3:5.6 4:1.4
2 1:7.7 2:3 3:6.1 4:2.3
2 1:6.3 2:3.4 3:5.6 4:2.4
2 1:6.4 2:3.1 3:5.5 4:1.8
2 1:6 2:3 3:4.8 4:1.8
2 1:6.9 2:3.1 3:5.4 4:2.1
2 1:6.7 2:3.1 3:5.6 4:2.4
2 1:6.9 2:3.1 3:5.1 4:2.3
2 1:5.8 2:2.7 3:5.1 4:1.9
2 1:6.8 2:3.2 3:5.9 4:2.3
2 1:6.7 2:3.3 3:5.7 4:2.5
2 1:6.7 2:3 3:5.2 4:2.3
2 1:6.3 2:2.5 3:5 4:1.9
2 1:6.5 2:3 3:5.2 4:2
2 1:6.2 2:3.4 3:5.4 4:2.3
2 1:5.9 2:3 3:5.1 4:1.8
挺有意思，接下来就可以使用libsvm格式的数据进行机器学习模型的使用了。
这篇关于python实现CSV特征文件转化为libsvm特征文件输入spark中进行机器学习的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
