宜宾网站建设公司

spark的缺点是什么

这篇文章主要介绍“spark的缺点是什么”，在日常操作中，相信很多人在spark的缺点是什么问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”spark的缺点是什么”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

超过10年行业经验，技术领先，服务至上的经营模式，全靠网络和口碑获得客户，为自己降低成本，也就是为客户降低成本。到目前业务范围包括了：网站建设、成都做网站，成都网站推广，成都网站优化，整体网络托管，重庆小程序开发，微信开发，app开发定制，同时也可以让客户的网站和网络营销和我们一样获得订单和生意！

Q1：spark streaming 可以不同数据流 join吗？

  • Spark Streaming不同的数据流可以进行join操作；

  • Spark Streaming is an extension of the core Spark API that allows enables high-throughput, fault-tolerant stream processing of live data streams. Data can be ingested from many sources like Kafka, Flume, Twitter, ZeroMQ or plain old TCP sockets and be processed using complex algorithms expressed with high-level functions like map, reduce, join and window

  • join(otherStream, [numTasks])：When called on two DStreams of (K, V) and (K, W) pairs, return a new DStream of (K, (V, W)) pairs with all pairs of elements for each key.

 

Q2：flume  与  spark streaming 适合 集群模式吗？

  • Flume与Spark Streaming是为集群而生的；

  • For input streams that receive data over the network (such as, Kafka, Flume, sockets, etc.), the default persistence level is set to replicate the data to two nodes for fault-tolerance.

  • Using any input source that receives data through a network - For network-based data sources like Kafka and Flume, the received input data is replicated in memory between nodes of the cluster (default replication factor is 2).

 

Q3：spark有缺点嘛？

  • Spark的核心缺点在于对内存的占用比较大；

  • 在以前的版本中Spark对数据的处理主要的是粗粒度的，难以进行精细的控制；

  • 后来加入Fair模式后可以进行细粒度的处理；

Q4：spark streming现在有生产使用吗？

  • Spark Streaming非常易于在生产环境下使用；

  • 无需部署，只需安装好Spark，，就按照好了Spark Streaming；

  • 国内像皮皮网等都在使用Spark Streaming；

到此，关于“spark的缺点是什么”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注创新互联网站，小编会继续努力为大家带来更多实用的文章！


当前名称：spark的缺点是什么
文章起源：http://hbruida.cn/article/gosiho.html

其他资讯