hive词频统计---文件始终上传不来

2024-04-04 09:44
文章标签 统计 上传 hive 词频 始终

本文主要是介绍hive词频统计---文件始终上传不来,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

准备工作:

文件内容:

创建数据库及表

将文件上传到:上传到/user/hive/warehouse/db1.db/t_word目录下

hive里面查询,始终报错:(直接查询也是不行)

解决方案:


准备工作:

xshell连接主机,启动hadoop集群,启动MySQL服务已就绪

文件内容:

创建数据库及表

将文件上传到:上传到/user/hive/warehouse/db1.db/t_word目录下

尝试使用Hive的LOAD DATA语句加载数据到表:

LOAD DATA INPATH '/user/hive/warehouse/db1.db/t_word/word.txt' INTO TABLE t_word;

hive里面查询,始终报错:(直接查询也是不行)

hive> LOAD DATA INPATH '/user/hive/warehouse/db1.db/t_word/word.txt' INTO TABLE t_word;
FAILED: SemanticException Line 1:17 Invalid path ''/user/hive/warehouse/db1.db/t_word/word.txt'': No files matching path hdfs://mini01:8020/user/hive/warehouse/db1.db/t_word/word.txt

解决方案:

先创建目录,再将文件上传到目录下,再去加载到数据库表中,最后再去查询即可;

hadoop fs -mkdir -p /user/hive/warehouse/db1.db/t_wordhadoop fs -put word.txt /user/hive/warehouse/db1.db/t_word/LOAD DATA INPATH '/user/hive/warehouse/db1.db/t_word/word.txt' INTO TABLE t_word;

 

注意:文件重复要删除

这篇关于hive词频统计---文件始终上传不来的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/875454

相关文章

SQL Server中,查询数据库中有多少个表,以及数据库其余类型数据统计查询

sqlserver查询数据库中有多少个表 sql server 数表:select count(1) from sysobjects where xtype='U'数视图:select count(1) from sysobjects where xtype='V'数存储过程select count(1) from sysobjects where xtype='P' SE

BD错误集锦9——查询hive表格时出错:Wrong FS: hdfs://s233/user/../warehouse expected: hdfs://mycluster

集群环境描述:HDFS集群处于HA模式下,同时启动了YARN\JN\KAFKA\ZK。 现象: FAILED: SemanticException Unable to determine if hdfs://s233/user/hive/warehouse/mydb.db/ext_calllogs_in_hbase is encrypted: java.lang.IllegalArgument

BD错误集锦1——[Hive]ERROR StatusLogger No log4j2 configuration file found. Using default configuration:

错误描述:在使用IDEA进行jdbc方式连接到hive数据仓库时,出现以下错误:                ERROR StatusLogger No log4j2 configuration file found. 问题原因:缺少log4j2.xml文件   <?xml version="1.0" encoding="UTF-8"?><Configuration><Appender

el-upload 上传图片及回显照片和预览图片,文件流和http线上链接格式操作

<div v-for="(info, index) in zsjzqwhxqList.helicopterTourInfoList" :key="info.id" >编辑上传图片// oss返回线上地址http链接格式:<el-form-itemlabel="巡视结果照片":label-width="formLabelWidth"><el-upload:action="'http:

统计是一门艺术(点估计)

1 点估计 1.1 点估计理解(point estimate) 总体,样本属于参数空间 一般未知,要由样本对作一个估计,或对作一个估计,这种估计称为点估计 通常用记为的一个点估计。 1.2 点估计的方法 (1)矩估计: 就是用样本矩来代替总体矩,当然有好有坏 设为总体的一个简单随机样本,, 分别称, 为k阶样本原点矩和k阶样本中心矩. 记 为什么能用矩估计?

金蝶盘点机PDA进行工序汇报扫描,工时工资统计使用说明书

使用盘点机PDA扫描商品条码(序列号)进行工序汇报,自动生成电脑里的【工序汇报单】,自动计算工时,工资。这样就不用去电脑上人工手工一行行录单,大大提高工作效率和数据准确性。 操作时,只需要商品条码(序列号)即可实现快速,准确的工序汇报。从而防止电脑进行工序汇报耗时,费事,不准确的问题。 注意商品条码规则:产品代码+钢管长度+炉号+管号+合同号+序列号 下面我们看下【工序汇报单】的操作步骤

地推利器Xinstall:全方位二维码统计,打造高效地推策略,轻松掌握市场脉搏!

在移动互联网时代,地推作为一种传统的推广方式,依然占据着重要的地位。然而,随着市场竞争的加剧,地推也面临着诸多挑战,如如何有效监测下载来源、解决填码和人工登记的繁琐、避免重复打包和iOS限制、以及如何准确考核推广业绩等。针对这些痛点,Xinstall作为一款强大的移动应用统计与推广平台,推出了全面的地推二维码统计功能,助力地推人员轻松应对各种挑战。 一、一键生成统计二维码,告别繁琐填码 地推

吴恩达教程以及《统计学习方法》学习笔记

之前都在有道云笔记写的,CSDN不能上传文件,搬运过来实在比较耗费精力,在此给出分享链接: 1、吴恩达教程 2、统计学习方法

Hive笔记-2

第 3 章 DDL (Data Definition Language) 数据定义 DDL数据定义语言 DML数据操作语言 3.1 数据库 (database) 3.1.1 创建数据库 1) 语法 CREATE DATABASE [IF NOT EXISTS] database_name[COMMENT database_comment][LOCATION hdfs_pat

Web渗透:文件上传漏洞

文件上传漏洞(File Upload Vulnerability)是网络安全中的一种常见漏洞,攻击者可以通过此漏洞将恶意文件上传到服务器,从而执行任意代码、覆盖重要文件、或进行其他恶意操作。这种漏洞可能带来严重的安全风险,包括数据泄露、系统入侵、甚至完全控制服务器。 文件上传漏洞的危害 ①代码执行:攻击者可以上传包含恶意代码的脚本文件,如PHP、ASP、JSP等,直接在服务器上执行。②文件