
什么是大數(shù)據(jù)開(kāi)發(fā),很多朋友們都不是很明白什么意思,今天小編整理了一下資料為大家詳細(xì)的講解一下關(guān)于什么是大數(shù)據(jù)開(kāi)發(fā)的幾點(diǎn)小常識(shí)和小知識(shí)吧,一起來(lái)了解一下吧.
2.大數(shù)據(jù)開(kāi)發(fā)其實(shí)分兩種,類是編寫一些Hadoop、Spark的應(yīng)用程序,第二類是對(duì)大數(shù)據(jù)處理系統(tǒng)本身進(jìn)行開(kāi)發(fā)。類感覺(jué)更適用于data analyst這種職位吧,而且現(xiàn)在Hive Spark-SQL這種系統(tǒng)也提供SQL的接口。第二類的話通常才大公司里才有,一般他們都會(huì)搞自己的系統(tǒng)或者再對(duì)開(kāi)源的做些二次開(kāi)發(fā)。這種的話對(duì)理論和實(shí)踐要求的都更深一些,也更有技術(shù)含量。
2.Scala編程語(yǔ)言核心用法、Spark(sql、shell)大數(shù)據(jù)處理、Spark—Streaming大數(shù)據(jù)處理、Spark—Mlib機(jī)器學(xué)習(xí))大數(shù)據(jù)處理、Spark—Streaming大數(shù)據(jù)處理、Spark—Mlib機(jī)器學(xué)習(xí)、hive數(shù)倉(cāng)實(shí)戰(zhàn)、hbase實(shí)戰(zhàn)。
2、大數(shù)據(jù)開(kāi)發(fā)主要學(xué)習(xí)編程技術(shù),不需要數(shù)學(xué)基礎(chǔ)
2、2018年一線城市大數(shù)據(jù)開(kāi)發(fā)崗位年薪30w
3、與人工智能、云計(jì)算以及電商、旅游、物流等行業(yè)的對(duì)接將更加深入,發(fā)展方向也更加廣泛
2、服務(wù)各種業(yè)務(wù)需求,服務(wù)日益增長(zhǎng)的業(yè)務(wù)和數(shù)據(jù)量;
3、深入源碼內(nèi)核改進(jìn)優(yōu)化開(kāi)源項(xiàng)目,解決各種hadoop、spark、hbase疑難l問(wèn)題,參與到開(kāi)源社區(qū)建設(shè)和代碼貢獻(xiàn)。
2、精通C++/Java/Scala/python程序開(kāi)發(fā)(至少一種),熟悉Linux/Unix開(kāi)發(fā)環(huán)境;
3、熟悉常用開(kāi)源分布式系統(tǒng),精通Hadoop/Hive/Spark/Storm/Flink/HBase之一源代碼;
4、有大規(guī)模分布式系統(tǒng)開(kāi)發(fā)、維護(hù)經(jīng)驗(yàn),有故障處理能力,源碼級(jí)開(kāi)發(fā)能力;
5、具有良好的溝通協(xié)作能力,具有較強(qiáng)的分享精神;
6、對(duì)Kudu、Kylin、Impala、ElasticSearch,github等系統(tǒng)有深入使用和底層研究者加分。