Hadoop2.5 1.COMMON 2.HDFS     存储数据     NameNode(存储文件系统元数据，命名空间)     DataNode(存储数据)     SecondaryNameNode(辅助NameNode工作，定时合并文件) 3.YRAN     Hadoop操作系统     Data操作系统     Container     ResourceManager(整个集群资

一. 环境配置  1. 用户(ts)获取root权限：vi /etc/passwd  (ts:x:1000:1000:crystal:/home/ts:/bin/bash   将两个1000改成0)  2. 修改hostname：gedit /etc/hostname (分别为master(namenode),slave1,slave2(datanode))  3. 设置hosts

环境：centos7 + hadoop2.5.2 + jdk1.7 已经在前两篇博客中出现的步骤具体细节一笔带过，不再展示，具体可以参考ssh免密码登陆，伪分布 1)  SSH免密码登陆 2)  主节点安装jdk和hadoop，并配置环境变量 3)  配置主节点hadoop配置文件 除了需要额外配置slave，其他的跟伪分布一致。 yarn-site.xml配置文件需要额为一下信息

Eclipse中用maven导入hadoop源码 1)  安装并配置maven环境变量 M2_HOME: D:\profession\hadoop\apache-maven-3.3.3 PATH: %M2_HOME%\bin; 2)  验证：mvn –version 3)  下载protobuf-2.5.0.tar.gz 和 protoc-2.5.0-win32.zip 4)  将

折腾了大半个晚上终于部署成功了，比在Linux上面稍微复杂一点，详细步骤如下： 1)  jdk、ant、hadoop环境变量配置 2)  分别将hadoop-2.5.2.tar.gz、hadoop-2.5.2-src.tar.gz、hadoop2x-eclipse-plugin、hadoop-common-2.2.0-bin下载解压到D:\profession\hadoop目录下 3)

系统：ubantu64位 hadoop: 2.5.1 hadoop从大概2.5版本后，为了迎合如今64位系统，官网 下载的都是64位的。在/hadoop-2.5.1/lib/native/中libhadoop.so.1.0.0文件可以分辨的32位还是64位。方法：File libhadoop.so.1.0.0 如果你用的是hadoop2.4及以下，而你的linux系统是64位的，那我建议你

一、代码步骤： 1、 去重 2、 获取所有用户的喜欢矩阵： 3、 获得所有物品之间的同现矩阵 4、 两个矩阵相乘得到三维矩阵 5、 三维矩阵的数据相加获得所有用户对所有物品的推荐值（二维矩阵） 6、 按照推荐值降序排序。 二、代码实现 2.1、第一个mapreduce, 实现去重 由于原始数据可能有还坏数据，我们需要进行去重。 第一个mapreduce实现去重