大數(shù)據(jù)時代有哪些改革?
大數(shù)據(jù)
128已閱讀
2020-04-14 17:44:40
導(dǎo)讀
大數(shù)據(jù)時代的到來正在改變?nèi)藗兊纳罘绞?、思維模式和研究范式,我們可以總結(jié)出10個重大變革。
課程導(dǎo)讀
大數(shù)據(jù)時代的到來正在改變?nèi)藗兊纳罘绞?、思維模式和研究范式,我們可以總結(jié)出10個重大變革。
1大數(shù)據(jù)
1.目標(biāo)驅(qū)動型→數(shù)據(jù)驅(qū)動
決策方式
傳統(tǒng)科學(xué)思維中,決策制定往往是“目標(biāo)”或“模型”驅(qū)動的——根據(jù)目標(biāo)(或模型)進行決策。然而,大數(shù)據(jù)時代出現(xiàn)了另一種思維模式,即數(shù)據(jù)驅(qū)動型決策,數(shù)據(jù)成為決策制定的主要“觸發(fā)條件”和“重要依據(jù)”。例如,近年來,很多高新企業(yè)中的部門和崗位設(shè)置不再是“固化的”,而是根據(jù)所做項目與所處的數(shù)據(jù)環(huán)境,隨時動態(tài)調(diào)整其部門和崗位設(shè)置。然而,部門和崗位設(shè)置的敏捷性往往是基于數(shù)據(jù)驅(qū)動的,根據(jù)數(shù)據(jù)分析的結(jié)果靈活調(diào)整企業(yè)內(nèi)部結(jié)構(gòu)。
2.基于知識的方法→基于數(shù)據(jù)的方法方法論
我們傳統(tǒng)的方法論往往是“基于知識”的,即從“大量實踐(數(shù)據(jù))”中總結(jié)和提煉出一般性知識(定理、模式、模型、函數(shù)等)之后,用知識去解決(或解釋)問題。因此,傳統(tǒng)的問題解決思路是“問題→知識→問題”,即根據(jù)問題找“知識”,并用“知識”解決“問題”。然而,數(shù)據(jù)科學(xué)中興起了另一種方法論——“問題→數(shù)據(jù)→問題”,即根據(jù)問題找“數(shù)據(jù)”,并直接用數(shù)據(jù)(不需要把“數(shù)據(jù)”轉(zhuǎn)換成“知識”的前提下)解決問題。
3.復(fù)雜算法→簡單算法
計算智能
“只要擁有足夠多的數(shù)據(jù),我們可以變得更聰明”是大數(shù)據(jù)時代的一個新認(rèn)識。因此,在大數(shù)據(jù)時代,原本復(fù)雜的“智能問題”變成簡單的“數(shù)據(jù)問題”——只要對大數(shù)據(jù)的進行簡單查詢就可以達到“基于復(fù)雜算法的智能計算的效果”。為此,很多學(xué)者曾討論過一個重要話題——“大數(shù)據(jù)時代需要的是更多數(shù)據(jù)還是更好的模型(moredata or better model)?”。機器翻譯是傳統(tǒng)自然語言技術(shù)領(lǐng)域的難點,雖曾提出過很多種“算法”,但應(yīng)用效果并不理想。近年來,Google翻譯等工具改變了“實現(xiàn)策略”,不再僅靠復(fù)雜算法進行翻譯,而對他們之前收集的跨語言語料庫進行簡單查詢的方式,提升了機器翻譯的效果和效率。
4.業(yè)務(wù)數(shù)據(jù)化→數(shù)據(jù)業(yè)務(wù)化
數(shù)據(jù)管理
在大數(shù)據(jù)時代,企業(yè)需要重視一個新的課題——數(shù)據(jù)業(yè)務(wù)化,即如何“基于數(shù)據(jù)”動態(tài)地定義、優(yōu)化和重組業(yè)務(wù)及其流程,進而提升業(yè)務(wù)的敏捷性,降低風(fēng)險和成本。但是,在傳統(tǒng)數(shù)據(jù)管理中我們更加關(guān)注的是業(yè)務(wù)的數(shù)據(jù)化問題,即如何將業(yè)務(wù)活動以數(shù)據(jù)方式記錄下來,以便進行業(yè)務(wù)審計、分析與挖掘??梢姡瑯I(yè)務(wù)數(shù)據(jù)化是前提,而數(shù)據(jù)業(yè)務(wù)化是目標(biāo)。
5.第三范式→第四范式
研究范式
2007年,圖靈獎獲得者Jim Gray提出了科學(xué)研究的第四范式——數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn)(Data-intensive ScientificDiscovery)。在他看來,人類科學(xué)研究活動已經(jīng)歷過三中不同范式的演變過程(原始社會的“實驗科學(xué)范式”、以模型和歸納為特征的“理論科學(xué)范式”和以模擬仿真為特征的“計算科學(xué)范式”),目前正在從“計算科學(xué)范式”轉(zhuǎn)向“數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn)范式”。第四范式,即“數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn)范式”的主要特點是科學(xué)研究人員只需要從大數(shù)據(jù)中查找和挖掘所需要的信息和知識,無須直接面對所研究的物理對象。例如,在大數(shù)據(jù)時代,天文學(xué)家的研究方式發(fā)生了新的變化——其主要研究任務(wù)變?yōu)閺暮A繑?shù)據(jù)庫中發(fā)現(xiàn)所需的物體或現(xiàn)象的照片,而不再需要親自進行太空拍照。
6.數(shù)據(jù)是資源→數(shù)據(jù)是資產(chǎn)
數(shù)據(jù)的屬性
在大數(shù)據(jù)時代,數(shù)據(jù)不僅是一種“資源”,而更是一種重要的“資產(chǎn)”。因此,數(shù)據(jù)科學(xué)應(yīng)把數(shù)據(jù)當(dāng)做“一種資產(chǎn)來管理”,而不能僅僅當(dāng)做“資源”來對待。也就是說,與其他類型的資產(chǎn)一樣,數(shù)據(jù)也具有財務(wù)價值,且需要作為獨立實體進行組織與管理。
7.統(tǒng)計學(xué)→數(shù)據(jù)科學(xué)
數(shù)據(jù)分析
在傳統(tǒng)科學(xué)中,數(shù)據(jù)分析主要以數(shù)學(xué)和統(tǒng)計學(xué)為直接理論工具。但是,云計算等計算模式的出現(xiàn)以及大數(shù)據(jù)時代的到來,提升了我們對數(shù)據(jù)的獲取、存儲、計算與管理能力,進而對統(tǒng)計學(xué)理論與方法產(chǎn)生了深遠影響,主要有:
(1)隨著數(shù)據(jù)獲取、存儲與計算能力的提升,我們可以很容易獲得統(tǒng)計學(xué)中所指的“總體”中的全部數(shù)據(jù),且可以在總體上直接進行計算——不再需要進行“抽樣操作”;
(2)在海量、動態(tài)、異構(gòu)數(shù)據(jù)環(huán)境中,人們更加關(guān)注的是數(shù)據(jù)計算的“效率”而不再盲目追求其“精準(zhǔn)度”。例如,在數(shù)據(jù)科學(xué)中,廣泛應(yīng)用“基于數(shù)據(jù)的”思維模式,重視對“相關(guān)性”的分析,而不是等到發(fā)現(xiàn)“真正的因果關(guān)系”之后才解決問題。在大數(shù)據(jù)時代,人們開始重視相關(guān)分析,而不僅僅是因果分析。
8.以戰(zhàn)略為中心→以數(shù)據(jù)為中心
產(chǎn)業(yè)競合關(guān)系
在大數(shù)據(jù)時代,企業(yè)之間的競合關(guān)系發(fā)生了變化,原本相互激烈競爭,甚至不愿合作的企業(yè),不得不開始合作,形成新的業(yè)態(tài)和產(chǎn)業(yè)鏈。例如,近年來IBM公司和Apple公司“化敵為友”,并有報道稱他們正在從競爭對手轉(zhuǎn)向合作伙伴——IBM的100多名員工前往Apple的加州庫比蒂諾總部,與Apple一起為IBM的客戶(例如花旗、Sprint和日本郵政)聯(lián)合開發(fā)iPhone和iPad應(yīng)用。
9.不接受→接受
數(shù)據(jù)復(fù)雜性
在傳統(tǒng)科學(xué)看來,數(shù)據(jù)需要徹底“清洗”和“集成”,計算目的是需要找出“精確答案”,而其背后的哲學(xué)是“不接受數(shù)據(jù)的復(fù)雜性”。然而,大數(shù)據(jù)中更加強調(diào)的是數(shù)據(jù)的動態(tài)性、異構(gòu)性和跨域等復(fù)雜性——彈性計算、魯棒性、虛擬化和快速響應(yīng),開始把“復(fù)雜性”當(dāng)作數(shù)據(jù)的一個固有特征來對待,組織數(shù)據(jù)生態(tài)系統(tǒng)的管理目標(biāo)轉(zhuǎn)向?qū)⒔M織處于混沌邊緣狀態(tài)。
10.小眾參與→大規(guī)模協(xié)同
數(shù)據(jù)處理模式
傳統(tǒng)科學(xué)中,數(shù)據(jù)的分析和挖掘都是具有很高專業(yè)素養(yǎng)的“企業(yè)核心員工”的事情,企業(yè)管理的重要目的是如何激勵和績效考核這些“核心員工”。但是,在大數(shù)據(jù)時代,基于“核心員工”的創(chuàng)新成本和風(fēng)險越來越大,而基于“專家余(Pro-Am)”的大規(guī)模協(xié)作日益受到重視,正成為解決數(shù)據(jù)規(guī)模與形式化之間矛盾的重要手段。