首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
V2EX
›
程序员
关于 spark 应用的请教
chy373180
·
2016 年 5 月 10 日
· 2640 次点击
这是一个创建于 3558 天前的主题,其中的信息可能已经有所发展或是发生改变。
现有如下场景: mongo 中有大量记录,现在需要计算两两之间的相似度,用 spark 合适么,我觉得不是典型的 map reduce ,不知道是不是不适合用 spark 计算。希望大家给点思路。
Spark
reduce
mongo
map
2 条回复
•
2016-05-10 14:29:40 +08:00
1
lsnl8480
2016 年 5 月 10 日
1
1 ,合适
2 , spark 实现了一些协同推荐的算法
3 , spark 读取 mongo 数据:
https://databricks.com/blog/2015/03/20/using-mongodb-with-spark.html
2
chy373180
OP
2016 年 5 月 10 日
@
lsnl8480
可以加个扣扣什么的 详细请教下么
关于
·
帮助文档
·
自助推广系统
·
博客
·
API
·
FAQ
·
Solana
·
980 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 24ms ·
UTC 22:05
·
PVG 06:05
·
LAX 14:05
·
JFK 17:05
♥ Do have faith in what you're doing.
❯