######好#######输入DStreams和receivers

2024-05-07 15:08
文章标签 输入 ###### ####### dstreams receivers

本文主要是介绍######好#######输入DStreams和receivers，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

输入DStreams和receivers

输入DStreams表示从数据源获取输入数据流的DStreams。在快速例子中，lines表示输入DStream，它代表从netcat服务器获取的数据流。每一个输入流DStream和一个Receiver对象相关联，这个Receiver从源中获取数据，并将数据存入内存中用于处理。

输入DStreams表示从数据源获取的原始数据流。Spark Streaming拥有两类数据源

  • 基本源（Basic sources）：这些源在StreamingContext API中直接可用。例如文件系统、套接字连接、Akka的actor等。
  • 高级源（Advanced sources）：这些源包括Kafka,Flume,Kinesis,Twitter等等。它们需要通过额外的类来使用。我们在关联那一节讨论了类依赖。

需要注意的是，如果你想在一个流应用中并行地创建多个输入DStream来接收多个数据流，你能够创建多个输入流（这将在性能调优那一节介绍）。它将创建多个Receiver同时接收多个数据流。但是，receiver作为一个长期运行的任务运行在Spark worker或executor中。因此，它占有一个核，这个核是分配给Spark Streaming应用程序的所有核中的一个（it occupies one of the cores allocated to the Spark Streaming application）。所以，为Spark Streaming应用程序分配足够的核（如果是本地运行，那么是线程）用以处理接收的数据并且运行receiver是非常重要的。

几点需要注意的地方：

  • 如果分配给应用程序的核的数量少于或者等于输入DStreams或者receivers的数量，系统只能够接收数据而不能处理它们。
  • 当运行在本地，如果你的master URL被设置成了“local”，这样就只有一个核运行任务。这对程序来说是不足的，因为作为receiver的输入DStream将会占用这个核，这样就没有剩余的核来处理数据了。

基本源

我们已经在快速例子中看到，ssc.socketTextStream(...)方法用来把从TCP套接字获取的文本数据创建成DStream。除了套接字，StreamingContext API也支持把文件以及Akka actors作为输入源创建DStream。

  • 文件流（File Streams）：从任何与HDFS API兼容的文件系统中读取数据，一个DStream可以通过如下方式创建
streamingContext.fileStream[keyClass, valueClass, inputFormatClass](dataDirectory)

Spark Streaming将会监控dataDirectory目录，并且处理目录下生成的任何文件（嵌套目录不被支持）。需要注意一下三点：

1 所有文件必须具有相同的数据格式
2 所有文件必须在`dataDirectory`目录下创建，文件是自动的移动和重命名到数据目录下
3 一旦移动，文件必须被修改。所以如果文件被持续的附加数据，新的数据不会被读取。

对于简单的文本文件，有一个更简单的方法streamingContext.textFileStream(dataDirectory)可以被调用。文件流不需要运行一个receiver，所以不需要分配核。

在Spark1.2中，fileStream在Python API中不可用，只有textFileStream可用。

  • 基于自定义actor的流：DStream可以调用streamingContext.actorStream(actorProps, actor-name)方法从Akka actors获取的数据流来创建。具体的信息见自定义receiver指南actorStream在Python API中不可用。
  • RDD队列作为数据流：为了用测试数据测试Spark Streaming应用程序，人们也可以调用streamingContext.queueStream(queueOfRDDs)方法基于RDD队列创建DStreams。每个push到队列的RDD都被当做DStream的批数据，像流一样处理。

关于从套接字、文件和actor中获取流的更多细节，请看StreamingContext和JavaStreamingContext

高级源

这类源需要非Spark库接口，并且它们中的部分还需要复杂的依赖（例如kafka和flume）。为了减少依赖的版本冲突问题，从这些源创建DStream的功能已经被移到了独立的库中，你能在关联查看细节。例如，如果你想用来自推特的流数据创建DStream，你需要按照如下步骤操作：

  • 关联：添加spark-streaming-twitter_2.10到SBT或maven项目的依赖中
  • 编写：导入TwitterUtils类，用TwitterUtils.createStream方法创建DStream,如下所示
import org.apache.spark.streaming.twitter._
TwitterUtils.createStream(ssc)
  • 部署：将编写的程序以及其所有的依赖（包括spark-streaming-twitter_2.10的依赖以及它的传递依赖）打为jar包，然后部署。这在部署章节将会作更进一步的介绍。

需要注意的是，这些高级的源在spark-shell中不能被使用，因此基于这些源的应用程序无法在shell中测试。

下面将介绍部分的高级源：

  • Twitter：Spark Streaming利用Twitter4j 3.0.3获取公共的推文流，这些推文通过推特流API获得。认证信息可以通过Twitter4J库支持的任何方法提供。你既能够得到公共流，也能够得到基于关键字过滤后的流。你可以查看API文档（scala和java）和例子（TwitterPopularTags和TwitterAlgebirdCMS）
  • Flume：Spark Streaming 1.2能够从flume 1.4.0中获取数据，可以查看flume集成指南了解详细信息
  • Kafka：Spark Streaming 1.2能够从kafka 0.8.0中获取数据，可以查看kafka集成指南了解详细信息
  • Kinesis：查看Kinesis集成指南了解详细信息

自定义源

在Spark 1.2中，这些源不被Python API支持。输入DStream也可以通过自定义源创建，你需要做的是实现用户自定义的receiver，这个receiver可以从自定义源接收数据以及将数据推到Spark中。通过自定义receiver指南了解详细信息

Receiver可靠性

基于可靠性有两类数据源。源(如kafka、flume)允许。如果从这些可靠的源获取数据的系统能够正确的应答所接收的数据，它就能够确保在任何情况下不丢失数据。这样，就有两种类型的receiver：

  • Reliable Receiver：一个可靠的receiver正确的应答一个可靠的源，数据已经收到并且被正确地复制到了Spark中。
  • Unreliable Receiver ：这些receivers不支持应答。即使对于一个可靠的源，开发者可能实现一个非可靠的receiver，这个receiver不会正确应答。

怎样编写可靠的Receiver的细节在自定义receiver中有详细介绍。

这篇关于######好#######输入DStreams和receivers的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/967697。

相关文章

【Python如何输入升高和体重判断你是偏胖还是偏瘦】

【Python如何输入升高和体重判断你是偏胖还是偏瘦】

1、求体质指数得Python代码如下： # BMI（Body Mass Index）指数:简称体质指数，# 是国际上常用的衡量人体胖瘦程度以及是否健康的一个标准。# 常用指标:BMI<18.5 偏瘦 18.5<=MBI<=24 正常 MBI>24 偏胖# 计算公式:BMI=体重kg/身高的平方ma = eval(input("请输入你的体重（kg）：")) # 输入体重b = e
阅读更多...
网页脚本输入这么简单

网页脚本输入这么简单

如何在网页中进行脚本操作呢？ 研究了一下，很简单，用google浏览器的Console直接操作javaScript。思路： Created with Raphaël 2.1.0 开始 输入(如何输入) 点击（如何点击） 结束 下面是，通过脚本刷直播屏的实现，直接在Console输入即可 var words=new Arra
阅读更多...
输入url发生了什么

输入url发生了什么

1.浏览器查询缓存，如果有缓存，则直接跳到第9步 2.浏览器询问操作系统服务器ip 3.操作系统做dns查询，返回ip地址给浏览器 4.浏览器打开对服务器的tcp连接(如果是https的话则更复杂) 5.浏览器通过tcp发送http请求 6.浏览器接收响应并且可能关掉Tcp连接，或者是重新使用连接处理新请求 7.浏览器检查响应是否为一个重定向(3xx结果状态码)，或者是重新
阅读更多...
C语言中的字符输入/输出和验证输入

C语言中的字符输入/输出和验证输入

在C语言中，字符输入/输出功能允许程序与用户进行交互，读取用户的输入信息并展示输出结果。同时，验证输入的作用在于确保用户输入的数据符合预期，以提高程序的稳定性和可靠性，防止无效输入引发的错误或异常行为，从而提供更好的用户体验。 基础概念 输入(Input)：指的是向程序填充数据的过程，通常来源于用户输入、文件读取或其他外部数据源。 输出(Output)：指的是将数据显示在屏幕上、打印机上或
阅读更多...
poi生成的excel，输入数字后变成1.11111111111111E+23

poi生成的excel，输入数字后变成1.11111111111111E+23

poi版本4.1.2 生成excel后，单元格输入数字，过长的话变成这样 解决：生成的时候设置单元格格式为文本格式 import org.apache.poi.ss.usermodel.*;import org.apache.poi.xssf.usermodel.XSSFWorkbook;import java.io.FileOutputStream;import java.io.IOEx
阅读更多...
java编程：命令行输入的三个整数判断是否构成三角形，不能就抛异常。

java编程：命令行输入的三个整数判断是否构成三角形，不能就抛异常。

写一个方法void sanjiao(int a,int b,int c)，判断三个参数是否能构成一个三角形，如果不能则抛出 异常IllegalArgumentException，显示异常信息“a,b,c不能构成三角形”， 如果可以构成则显示三角形三个边长，在主方法中得到命令行输入的三个整数，调用此方法，并捕获异常。 附源代码： package 异常;public class Sa
阅读更多...
输入一个整数，判断其是否是2^n，是就输出这个数，不是就输出和它最接近的为2^n的那个整数。

输入一个整数，判断其是否是2^n，是就输出这个数，不是就输出和它最接近的为2^n的那个整数。

输入一个整数，判断其是否是2^n，若是，输出这 //个数，若不是，输出和它最接近的为2^n的那个整数。 附加源代码1： #include<stdio.h>#include<stdlib.h>#include<math.h>int main(){int input;//键盘输入一个整数inputint i,j;//i,j待会儿存放input与左边和右边的为2^n的差值int m
阅读更多...
C语言编程：从键盘中输入一个数字，返回值为整数有效位数

C语言编程：从键盘中输入一个数字，返回值为整数有效位数

//从键盘中输入一个数字(可以包含小数点，其位数在60位以下，求其整数的有效位数，如输入 //0123.456，返回值为整数有效位数为3) //1) 输入数据为浮点型，不用数组，不用字符串，只有变量的算术运算实现此功能。 #include<stdio.h>int main(){int weiShu = 0;//计算位数的变量初始化为0；float num;//控制台输入的数字in
阅读更多...
c#:输入5个字符，将其倒序打印出来

c#:输入5个字符，将其倒序打印出来

using System;using System.Collections.Generic;using System.Linq;using System.Text;//运用所学知识，输入5个字符，将其倒序打印出来namespace ans2{class Program{static void Main(string[] args){string s = Console.Rea
阅读更多...
stm32学习笔记---GPIO输入（理论部分）

stm32学习笔记---GPIO输入（理论部分）

目录 GPIO输入模式下的硬件和电路 按键原理 传感器原理 什么是上下拉电阻？ 运算放大器当做比较器 按键的硬件电路 传感器的硬件电路 STM32用到的C语言知识 STM32中的C语言数据类型 C语言中的宏定义 typedef和define的区别是什么？ C语言的枚举 声明：本专栏是本人跟着B站江科大的视频的学习过程中记录下来的笔记，我之所以记录下来是为了方便自己
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2