Home
Sign Up
Sign In
›
Spark
›
Databricks
›
Mastering Apache Spark 2
V2EX
›
Spark
疑问:spark对于迭代运算场景很有优势,那对于迭代不严重的计算场景呢?
xiaochong
·
Jan 2, 2014
· 7142 views
This topic created in 4633 days ago, the information mentioned may be changed or developed.
对于汇总n天的log这种扫一次或几次的非严重迭代运算的场景,spark相比于hadoop而言的性能是继续有优势、差不多还是差了?
还有就是除了文档里面机器学习的几个算法,大家在日常还有哪些比较合适的应用场景,以及集群的规模(cpu个数,内存数),希望大家分享。
迭代
场景
Spark
2 replies
•
2017-03-01 16:42:43 +08:00
1
Livid
MOD
PRO
Mar 1, 2017
扫 log 这种事情,如果数据量不大(<100G )的时候, Spark 不一定有传统工具快。
2
xiaochong
OP
Mar 1, 2017
@
Livid
嗯,现在扫 log 也不用 spark ,即使大数据量,因为 ETL 本身不太耗内存, spark 这种性能没优势,稳定性还可能差了
About
·
Help
·
Advertise
·
Blog
·
API
·
FAQ
·
Privacy
·
Solana
·
3749 Online
Highest 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 22ms ·
UTC 05:09
·
PVG 13:09
·
LAX 22:09
·
JFK 01:09
♥ Do have faith in what you're doing.
❯