博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
SparkStreaming(4):Discretized Streams (DStreams)理解
阅读量:4281 次
发布时间:2019-05-27

本文共 243 字,大约阅读时间需要 1 分钟。

参考:

1.概念

(1)DStreams是一个连续的数据流,可以通过两种方式产生:数据源来的输入数据流,或者处理后的数据源的数据。

(2)DStreams是一系列的RDD构成的。其中RDD包含了每个interval间隔的数据。(如下图)

           

2.特点

(1)每个作用在DStream的操作,都会作用在其中所有的RDDs。例如,每个作用在DStreams的flatMap操作,都会作用在其中的每个RDD上。(图下图)

        

(2)DStream中的RDDs是使用Spark engine进行运算的。

 

 

 

 

 

你可能感兴趣的文章
shiro的使用freemark实现前端控制权限
查看>>
权限管理系统中功能权限&数据权限以及权限模块的实现
查看>>
shiro中LoginUrl与UnauthorizedUrl的作用
查看>>
权限管理系统之数据权限表RBAC
查看>>
shiro权限执行逻辑流程
查看>>
使用Aop实现日志记录
查看>>
shiro中数据字典管理
查看>>
shiro中考勤部门的管理
查看>>
基于idea+session组件+wagon实现打包部署
查看>>
shiro的总结篇
查看>>
在linux服务器上使用软连接进行启动jar包
查看>>
linux中查看磁盘是否使用沾满
查看>>
linux同一台机器安装两台nginx
查看>>
让es进行后端进程的方式启动
查看>>
es2.4.5 离线安装head插件
查看>>
实战项目经验得到的常用linux命令(-)
查看>>
Mysql的设计规范和结构优化(-)
查看>>
查看是否安装mysql以及是否正在运行的mysql
查看>>
题目:在一个文件中有 10G 个整数,乱序排列,要求找出中位数。内存限制为 2G。只写出思路即可(内存限制为 2G的意思就是,可以使用2G的空间来运行程序,而不考虑这台机器上的其他软件的占用内存)。
查看>>
springboot注解中@controller和@restcontroller,以及@springbootApplication注解的区别和联系
查看>>