大數(shù)據(jù)平臺運維:大數(shù)據(jù)平臺的搭建和維護。對應(yīng)技能:運維的一些技能,以及hadoop,hive等等。
數(shù)據(jù)開發(fā):主要涉及到數(shù)據(jù)的抽取、轉(zhuǎn)換、清洗,即:ETL。對應(yīng)的技能:sql,hive,hadoop,shell,python(其他編程語言也行)、數(shù)據(jù)倉庫的理論;其中數(shù)據(jù)倉庫的理論尤為重要,需要大量的實踐和學習才能建設(shè)良好的數(shù)據(jù)倉庫模型,否則數(shù)據(jù)一團亂麻,很難找到自己想要的數(shù)據(jù),也會出現(xiàn)這樣的情況:天天疲于奔命,根據(jù)不同的需求,進行跑數(shù)據(jù)的操作。當然你如果想再接觸的更深入一些,可以了解一下離線數(shù)據(jù)和實時數(shù)據(jù)開發(fā)(離線數(shù)據(jù)倉庫、準實時數(shù)據(jù)倉庫)。
數(shù)據(jù)平臺開發(fā):主要設(shè)計大數(shù)據(jù)平臺的開發(fā),為了數(shù)據(jù)開發(fā)的方便便捷自動化而存在的。對應(yīng)的技能:java,scala,sql,大數(shù)據(jù)的一些開發(fā)平臺(MR,Spark,Hbase等等)。
數(shù)據(jù)分析:主要是對大數(shù)據(jù)進行跑數(shù)據(jù),做報表,比較適合女生。對應(yīng)技能:sql,excel,tableau,python,R等。數(shù)據(jù)分析崗位,我認識的很多女生從事該崗位,因為該崗位對于要求或許稍微低一些或者說入門簡單一些。但是要想做好也不容易,如果做到自動化數(shù)據(jù)報表也是大家可以考慮的。
算法:主要是對算法模型進行應(yīng)用,開發(fā)。對應(yīng)的技能:算法基礎(chǔ),sql,python、數(shù)學理論。當然現(xiàn)在很多的開發(fā)工具以及平臺都提供很多算法,括python,spark,因此需要我們掌握算法原理的情況和場景的情況下進行調(diào)用。0