主要是讓學(xué)生對自己企業(yè)的大數(shù)據(jù)平臺架構(gòu)、哪些組件和功能有一個大致的了解,因為你以后會使用這些組件,你需要有一個宏觀的理解,括全面的培訓(xùn)和對平臺環(huán)境的全面介紹。
2、數(shù)據(jù)介紹
學(xué)生應(yīng)該知道他們的企業(yè)擁有哪些數(shù)據(jù),這些數(shù)據(jù)的商業(yè)意義是什么,如何對這些數(shù)據(jù)進(jìn)行分類,如何收集數(shù)據(jù),在何處存儲數(shù)據(jù),以及如何循環(huán)這些數(shù)據(jù)。特別是對于一些高價值的數(shù)據(jù),應(yīng)該給出特殊的說明,甚至應(yīng)該給出許多特定的應(yīng)用場景。例如,雖然企業(yè)有數(shù)據(jù)字典,但必須告訴在線數(shù)據(jù),哪些領(lǐng)域是核心,以及通常如何使用它們,但數(shù)據(jù)字典對于許多用途并不清楚,必須允許有經(jīng)驗的用戶表達(dá)自己。
我們都讓企業(yè)建模負(fù)責(zé)人介紹了它??偟膩碚f,整體觀較好,能夠起到很好的引領(lǐng)作用。數(shù)據(jù)是企業(yè)的核心資產(chǎn)。對每個人來說,最重要的是了解自己的財產(chǎn)有多少,就像烹飪一樣。無論廚師有多好,如果沒有食物,熟練的女人很難做沒有稻草的磚,稻草是基礎(chǔ)。
這里有兩門課程:價值數(shù)據(jù)的融合模型和標(biāo)簽以及價值數(shù)據(jù)的基本模型和新數(shù)據(jù)。
3、平臺介紹
有了數(shù)據(jù),學(xué)生需要知道如何訪問和使用它。一個核心任務(wù)是申請平臺的訪問權(quán)限,另一個是如何使用平臺。
例如,浙江移動建立了自己的可視化數(shù)據(jù)管理平臺,也稱為DACP,可用于訪問基于該平臺的不同底層數(shù)據(jù)庫的數(shù)據(jù),如gbase/hive/redis/stream processing等。DACP集成了開發(fā)、調(diào)度、維護、查詢、質(zhì)量管理等一系列功能。本課程耗時16小時。學(xué)生只有掌握DACP,才能打開企業(yè)大數(shù)據(jù)的大門,本課程稱為“DACP實踐開發(fā)”。
4、數(shù)據(jù)挖掘
它主要括三個方面的培訓(xùn)。一是介紹數(shù)據(jù)挖掘的常用理論和算法,這也是大多數(shù)企業(yè)培訓(xùn)機構(gòu)關(guān)注的焦點。第二個是大數(shù)據(jù)挖掘的實際案例。它解釋了自己的企業(yè)端到端的真實案例,使學(xué)生能夠?qū)?shù)據(jù)挖掘有更深入的理解。三是介紹了spark數(shù)據(jù)挖掘平臺的使用,該平臺也很實用,使用的是Scala語言,學(xué)時也為16學(xué)時。當(dāng)然,這遠(yuǎn)遠(yuǎn)不夠。只要扔一塊磚頭來吸引玉。
這里有三門課程:數(shù)據(jù)挖掘理論與算法、大數(shù)據(jù)操作案例解釋和spark操作。
5、應(yīng)用開發(fā)
我們不僅希望學(xué)生能夠自己建模,還鼓勵有能力的人基于大數(shù)據(jù)資源庫和大數(shù)據(jù)平臺的許多組件開發(fā)自己的應(yīng)用程序。因此,我們需要提供應(yīng)用程序設(shè)計規(guī)范、環(huán)境集成方案、組件調(diào)用方法和其他方面的培訓(xùn),以便學(xué)生能夠作為構(gòu)建塊完成自己的應(yīng)用程序。這種模式要求很高,但其價值是可以預(yù)期的。
這里涉及三門課程,括“歌唱大數(shù)據(jù)應(yīng)用開發(fā)階段”、“大數(shù)據(jù)實時計算解決方案與案例講解”、“大數(shù)據(jù)產(chǎn)品建設(shè)經(jīng)驗分享與案例講解”。
6、標(biāo)簽建模
經(jīng)過多年的積累,該公司已存放20000個標(biāo)簽。大多數(shù)學(xué)生不需要從頭開始使用標(biāo)簽,只需在原有的基礎(chǔ)上創(chuàng)新。因此,澄清當(dāng)前公司的現(xiàn)有標(biāo)簽類別和標(biāo)簽價值至關(guān)重要。同時,基于公司DPI在線數(shù)據(jù)的內(nèi)容抓取和解析對于內(nèi)容標(biāo)簽系統(tǒng)的建設(shè)非常重要,也是公司未來內(nèi)容運營的核心競爭力,也有必要對其進(jìn)行明確介紹。
這里有兩門課程:大數(shù)據(jù)標(biāo)記能力和爬蟲以及互聯(lián)網(wǎng)內(nèi)容分析。
7、產(chǎn)品介紹
介紹了該公司最重要的大數(shù)據(jù)產(chǎn)品,括使用標(biāo)簽庫和營銷平臺,這大致相當(dāng)于互聯(lián)網(wǎng)公司的廣告平臺。
企業(yè)建設(shè)大數(shù)據(jù)平臺只是大數(shù)據(jù)運營的開始。如果有舞臺,對那些不唱歌的人來說是沒有用的。很多時候,企業(yè)依靠幾個人從它的舞臺上跳舞,這顯然是杯水車薪