做大数据方向的 Java 开发，什么水平可以胜任？

关注

同关注

大部分情况下会写 sql 就行了

大数据有那么多方向，你说的也太笼统了，做 Spark ？ Hive ？ ETL ？实时计算？底层开发？。

/t/465884

是做算法 还是底层+优化 还是做 dsl ？

同#3 楼，大多数情况你要知道数据如何处理，代码都不复杂

我觉得，首先重点是，你得看得到真实数据。
一直看不到真实数据要我们搭平台，实时同步，然后遇到特殊数据根本不知道哪里出错了。

为啥要往后端方向发展呢，我一个做 Java 后端的还想往大数据方向发展呢

运维 + sql

服务端

没有什么是精通 sql 搞不定的，我同学在电信还在是写 sql 与存储过程。。。

算法需要用到 java 吗？用 scala 或者 python 的比较多吧。

就身边的例子来说，java 主要还是用于 web 方向开发，java 在大数据项目中一般就是做接口开发(kafka,flume, es 等)。
不知道大家接触到的是什么情况？

@luozic dsl 是什么？

不建议转。我已经往回转了

java,scala，N 多大数据组件

@xiaoshenke 为什么不建议转呢？往回转是指做 java web 开发吗？

@cirton java 的方向太多了 我建议你可以往中间件方向靠。不建议转的原因是大数据很难作出成绩，组件都比较成熟或稳定，你真过去会发现你要么是写 sql 的，要么是做运维的，都没什么前景。

只有巨头有能力在大数据这块做底层、框架和系统的开发，例如百度早年硬是用 c++重写 hadoop，阿里现在的 MaxCompute 和 Blink。
中厂都是把开源的那一堆组件拼在一起，做成 pipeline，封装一下对内服务，本质上还是普通后端开发。
小厂无论是数据量，还是人才，都不会去做“大数据”的东西，即使做也都是 sql 一把梭出报表，spark sql 工程师和 hql 工程师了解一下。

会写 SQL 的就可以用了

用上框架就是普通后端开发，外加事务和性能调优吧。如果是写框架那是真牛了。

@Wisho 没错，我现在天天写 SQL.非常后悔

写业务的基本就是懂 sql 就行，把业务转化为 sql/类 sql 的语言。
做底层框架开发要求相对比较高，底层的 java、scala、反射、分布式、各种缓存、二级索引，比如我现在就在蛋疼得写一个 sql 解析器，把 sql 语法转化为通用的数据处理任务，屏蔽业务层开发复杂度。。。

@snappyone 老哥，纯手写的话了解下 antlr v4 ？高层抽象一点的话看看 calcite 那套能用不

@Wisho 我现在用 druid 做基本的解析，然后想办法匹配到我们的业务层对应方法组件，这两个我也去看看，谢啦

@snappyone 之前做了个 Flink SQL 的解析器，就是用的 calcite

@lycbug666 我也在做这个耶，握个抓

上层工作做大数据系统，下层定制大数据组件

sql 想要写的好也不容易，眼高手低要不得

大数据也分很多种啊。上面有人提到了 calcite，可以一读，代码质量很高

@WaitingForSun 在阿里吗？感觉用上实时计算的公司还不是很多

@lycbug666 都是搞 flink 的啊，实时计算现在很多啊，一般都是离线＋实时啊

@lycbug666 圈子很小很小的 哈哈哈哈哈

@Wisho 难道我周围的大数据工程师都是在写 sql ？感觉他们天天讨论些机器学习的东西

@pain400 看公司吧，有的公司招“大数据工程师”会在 JD 里写清楚要精通机器学习的，那种是招进去做机器学习，不过数据集太大，实现时要用很多大数据组件支持，所以公司会觉得这就是“大数据工程师”。

@WaitingForSun 是这样的 能私下交流么 我也留学生

现在学生。之前也有过楼主的想法，然而，到了公司才发现入门都是先写几个月 sql、hql

@lycbug666 吼哇吼哇，我的邮箱是 inkyle#me.com 一起玩耍~

@Wisho +1

@lycbug666 @WaitingForSun @fuyufjh 我也在研究 Calcite~~