各位 spark 上用的语言是 Python 还是 scala
ufo22940268 · ufo22940268 · 2017-11-28 07:08:04 +08:00 · 21265 次点击这是一个创建于 2547 天前的主题，其中的信息可能已经有所发展或是发生改变。
我们用的是 Python，但是 python 上还是少了一些功能，比如说 udaf
想问下大家用的是哪个语言，有没有必要从 python 切换到 scala
第 1 条附言 · 2017-12-07 15:37:08 +08:00
用了一段时间 scala 之后觉得对我来说从 python 切换到 scala 是明智的决定
 |
1
echo1937 2017-11-28 07:16:28 +08:00 via iPhone
用的 Java，学习 Scala 的成本有点高
|
 |
2
tinybaby365 2017-11-28 07:18:04 +08:00 via iPhone
Scala，越用越喜欢
|
 |
3
ihainan 2017-11-28 07:29:42 +08:00 via Android
Scala。
|
 |
4
anjunecha 2017-11-28 07:39:43 +08:00 via iPhone
python 和 java 都有，想学 Scala
|
 |
5
kuroismith 2017-11-28 07:41:19 +08:00
我们用的 kotlin, scala 学习成本太高了
kotlin 非常容易上手, 写起来至少有 scala 8 成体验 |
 |
6
teloti 2017-11-28 07:46:42 +08:00 via iPhone
python+spark 有性能问题，java 和 Scala 靠谱一些，Scala 是 spark 标配
|
 |
7
knightdf 2017-11-28 09:58:31 +08:00
必须 scala, 再怎么也得 java，不会选择 python
|
 |
8
burnex 2017-11-28 10:00:17 +08:00
网上看大家都用 scala，就用的 scala
|
 |
9
lianxiaoyi 2017-11-28 10:54:41 +08:00
python 最简单。。。所以用的 python。。。。。
|
 |
10
wusuopuBUPT 2017-11-28 11:22:23 +08:00
Scala，可以用最新的 feature
|
 |
11
bnbvb 2017-11-28 11:40:52 +08:00
python 可以，听了前两天 java 迭代计划，新的 feature 出的会比以前快多了，而就新公布的语法糖来看，会跟 scala 之类的语言越长越像(chao de kuai)，学习 scala 动力不足了。
|
 |
12
90928yao 2017-11-28 12:08:36 +08:00
@kuroismith kotlin 还是用的 JAVARDD 把，还是有点蹩脚把
|
 |
13
bramblex 2017-11-28 12:13:14 +08:00  1
被 Haskell 虐过的表示...
楼上说学 scala 学习成本高? |
 |
14
ufo22940268 OP @bnbvb 能不能发个链接给我
|
 |
15
bigknife 2017-11-28 13:35:18 +08:00 1
首选 Scala ！
如果把 Scala 当作 Better Java 其实学起来并不难，仅仅是一些语法上的变换，一旦学会了 Scala 的语法以后，再也不想写 Java 代码了，然后真的理解了为什么那么多人说 Java 非常啰嗦！ 如果把编程范式一起也变了（命令式 -> 函数式），那还是有一定难度的，关键是思想的改变，推荐 Scala 的红宝书《 Functional Programming in Scala 》，https://www.manning.com/books/functional-programming-in-scala 网上也有英文的 pdf 版本，国内有一个翻译版，英文好的同学建议看英文版，因为有些东西翻译过来后，感觉怪怪的，不容英文容易懂。 另外我们团队有一个分享视频集合，对大家学习 Scala 有帮助： ?spm=a2hzp.8244740.0.0&f=51304613 如果大家发现里面有什么错误可以跟我交流：bigknife AT outlook.com |
 |
17
hwsdien 2017-11-28 13:49:09 +08:00
scala
|
 |
18
wilsonwen 2017-11-28 13:59:50 +08:00 via Android
人生苦短，我用 scala
|
 |
19
Todd_Leo 2017-11-28 14:14:46 +08:00
写了几年 Scala 之后再写 Python 感觉动态类型语言随时都是心惊肉跳...
|
 |
20
linuxchild 2017-11-28 14:28:12 +08:00
最近开始写 spark，前两天看同时写了一下午 Scala，然后发现有点问题，和我之前写的 python 程序做一下对比，发现 py 2 行就搞定了，他有一些崩溃……
不过我还是开始学习 Scala 了 |
|
21
90928yao 2017-11-28 14:39:05 +08:00
@linuxchild scala 那 2 行肯定也可以。。。
|
|
22
linuxchild 2017-11-28 15:42:12 +08:00
|
 |
23
lszxlong 2017-11-28 16:19:04 +08:00
必须 scala，好像 scala 语言排名下降了..
|
|
24
90928yao 2017-11-28 16:27:24 +08:00
@linuxchild 感觉 scala 算是最复杂的语言之一了
|
 |
25
secondwtq 2017-11-28 16:28:41 +08:00
|
 |
26
owenliang 2017-11-28 18:17:30 +08:00 via Android
大数据生态基本不离开 jvm，逼你上船。
|
|
27
bnbvb 2017-11-28 18:25:31 +08:00
|
|
28
bnbvb 2017-11-28 18:31:16 +08:00
|
 |
29
Comdex 2017-11-28 22:11:48 +08:00
java
|
 |
30
SlipStupig 2017-11-28 22:25:14 +08:00
python 跑 spark 巨难用，前段时间用 spark 读写 es, python 连 API 都没有
|
 |
31
gyf304 2017-11-29 11:31:45 +08:00
scala. scala 比 python 效率高 如果要用 graphX 的话只能用 scala
|
 |
32
lzhCoooder 2017-11-29 12:25:47 +08:00
pyspark 阉割版啊
|
 |
33
xiaoshenke 2017-11-29 15:38:32 +08:00
有什么区别，不还是 spark。。。。。。。。。
|
 |
34
swordspoet 2019-04-17 22:14:52 +08:00
Scala 给人的感觉就是这也可以，那也可以。
|
 |
35
ivanchou 2020-03-11 15:03:14 +08:00
楼主能讲讲 Scala 相比于 python 的优势在哪里么？同时为什么 pass 掉了 java。在我看来写 spark 程序，scala、java 都跑在 jvm 上，差别会很大？
|
Select Language