下面哪个组件适用于离线批量处理数据?
A.Spark Streaming
B.Flink
C.MapReduce
D.Storm
A.Spark Streaming
B.Flink
C.MapReduce
D.Storm
A、Spark Streaming采用的数据抽象是DStream(本质上就是一系列RDD),而Structured Streaming采用的数据抽象是DataFrame
B、Structured Streaming将Spark SQL和Spark Streaming二者的特性结合起来
C、Structured Streaming可以使用Spark SQL的DataFrame/Dataset来处理数据流,但Spark SQL只能处理静态的数据,而Structured Streaming可以处理结构化的数据流
D、Spark Streaming只能实现秒级的实时响应,而Structured Streaming由于采用了全新的设计方式,采用微批处理模型时可以实现100毫秒级别的实时响应,采用持续处理模型时可以支持毫秒级的实时响应。
A、Spark Streaming的基本原理是将实时输入数据流以时间片为单位进行拆分,然后采用Spark引擎以类似批处理的方式处理每个时间片数据
B、Spark Streaming最主要的抽象是DStream(Discretized Stream,离散化数据流),表示连续不断的数据流
C、Spark Streaming可整合多种输入数据源,如Kafka、Flume、HDFS,甚至是普通的TCP套接字
D、Spark Streaming的数据抽象是DataFrame
A、Structured Streaming的关键思想是将实时数据流视为一张正在不断添加数据的表
B、Structured Streaming可以把流计算等同于在一个静态表上的批处理查询,Spark会在不断添加数据的无界输入表上运行计算,并进行增量查询
C、在无界表上对输入的查询将生成结果表,系统每隔一定的周期会触发对无界表的计算并更新结果表
D、处理流数据的方式同spark Streaming, 只能实现秒级响应。
为了保护您的账号安全,请在“简答题”公众号进行验证,点击“官网服务”-“账号验证”后输入验证码“”完成验证,验证成功后方可继续查看答案!