首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
之伪专题
hadoop环境搭建之伪分布集群环境搭建(单节点)
首先,尼玛哥是一名研究生,可以说很多学习的知识都是来源于同门师兄弟,本着将自己学习到的东西以博客的形式分享到网络上,不仅仅可以让自己回顾,也可以帮助需要学习的小伙伴们,供大家一同学习。 首先,hadoop 环境的搭建需要在linux的环境下,那么,现在,咱们需要将linux的基本网络设置已经配置完毕,注意,每一次配置完成,建议要给系统做一个快照,以免不必要的情况发生后,整个系统都崩盘,这时候就后
阅读更多...
hadoop之伪分布安装
hadoop 是大数据分布式存储与计算平台。采用HDFS体系结构(Distributed File system分布式)。 为了方便学习hadoop的伟大功能。 本人采取在VMware中安装Linux虚拟机的方式。通过配置Linux的各种环境,为hadoop学习做准备! 首先在VMware中安装Linux(本人采用centOS以下都称做centOS)操作系统。本人不做具体详解。
阅读更多...
Kafka 环境搭建之伪分布式集群模式详细教程
Kafka 简介及相关组件介绍 Kafka 环境搭建和使用之单机模式详细教程 伪集群模式 Kafka伪集群是一种在单个机器上模拟多节点Kafka集群的配置方式,主要用于开发和测试环境。在伪集群模式下,你可以配置多个Kafka broker实例,它们都连接到同一个Zookeeper实例或者集群,从而模仿分布式环境下的行为,而无需实际部署多台物理或虚拟机。 如何搭建Kafka伪集群:
阅读更多...
hadoop学习第二天之伪分布模式安装(下)
继续伪分布安装 7. 安装JDK 使用winscp将hadoop和jdk复制到linux目录下 a) 打开Winscp输入虚拟机的ip,用户,密码,保存密码后点击登录 左边windows,右边linux。在左边找到要复制的文件(hadoop1.1.2.tar.gz,JDK-xx-xx.bin),直接拖到linux系统下的/usr下的local中. b) 解压had
阅读更多...
hadoop学习第一天之伪分布模式安装( 上)
Hadoop核心项目: 1. HDFS:Hadoop Distributed File System 分布式文件系统 2. MapReduce:并行计算框架 HDFS的架构: 主从结构: 主节点:只有一个,namenode 从节点:有很多歌,datanodes Namenode负责: 3
阅读更多...
半监督之伪标签法
目录 前言 方法 (1) Positive & Negative Pseudo Label (2)基于不确定性的伪标签选择法 实验结果 后续伪标签更新 总结 前言 半监督学习一般有两个方法一致性正则和打伪标签法即 consistency regularization 和 pseudo-label, 其中一致性正则主要是基于数据增强的一致性正则,目前比较成熟,关于数据增强
阅读更多...