每到歲末年初，行業(yè)專家就會(huì)對(duì)未來(lái)一年的技術(shù)發(fā)展進(jìn)行預(yù)測(cè)，而如今，一切始于大數(shù)據(jù)問(wèn)題最關(guān)鍵的方面：數(shù)據(jù)本身。

不可否認(rèn)，亞洲服務(wù)器，Hadoop在2019年的發(fā)展經(jīng)歷了艱難的一年。但是它完全消亡了嗎? Alluxio公司創(chuàng)始人兼首席技術(shù)官Haoyuan Li為此表示，以Hadoop分布式文件系統(tǒng)(HDFS)形式存在的Hadoop存儲(chǔ)已失效，但以Apache Spark形式存在的Hadoop計(jì)算仍然存在。

Haoyuan Li說(shuō)：“關(guān)于Hadoop消亡的說(shuō)法很多。但是Hadoop生態(tài)系統(tǒng)還有后起之秀。諸如Spark和Presto之類的計(jì)算框架可從數(shù)據(jù)中獲取更多價(jià)值，并已被更廣泛的計(jì)算生態(tài)系統(tǒng)所采用。Hadoop存儲(chǔ)(HDFS)由于其復(fù)雜性和成本以及由于與HDFS保持聯(lián)系，而從根本上無(wú)法彈性擴(kuò)展因此導(dǎo)致消亡。為了獲得實(shí)時(shí)見解，用戶需要云中可用的即時(shí)和靈活的計(jì)算能力。HDFS中的數(shù)據(jù)將遷移到最優(yōu)化和最具成本效益的系統(tǒng)，無(wú)論是云存儲(chǔ)還是本地對(duì)象存儲(chǔ)。HDFS將會(huì)消亡，但是Hadoop計(jì)算將持續(xù)存在并且越來(lái)越強(qiáng)大。”

Cloudian公司首席營(yíng)銷官(CMO)Jon Toor表示，隨著HDFS數(shù)據(jù)湖部署的緩慢，Cloudian公司已經(jīng)準(zhǔn)備就緒，可以將數(shù)據(jù)捕獲并將其捕獲到其對(duì)象存儲(chǔ)中。

Toor說(shuō)，“在2020年，我們將看到越來(lái)越多的組織利用對(duì)象存儲(chǔ)從非結(jié)構(gòu)化數(shù)據(jù)創(chuàng)建結(jié)構(gòu)化/標(biāo)記數(shù)據(jù)，從而允許使用元數(shù)據(jù)來(lái)理解人工智能和機(jī)器工作負(fù)載生成的數(shù)據(jù)海嘯。”

ThoughtSpot公司首席執(zhí)行官Sudheesh Nair表示，像Hadoop這樣的事情的終結(jié)將引發(fā)另一件事的開始。

Nair說(shuō)：“在過(guò)去的10年中，我們看到了Hadoop的興起、平穩(wěn)發(fā)展和終結(jié)的開始。這不是因?yàn)?a href="http://m.n2049.cn/cnidc/bigdata/news/2018/20089.html">大數(shù)據(jù)已經(jīng)死亡。恰恰相反，幾乎每個(gè)組織都在致力于成為大數(shù)據(jù)公司。這是在當(dāng)今商業(yè)環(huán)境下運(yùn)作的要求。數(shù)據(jù)已經(jīng)變得如此龐大，而且對(duì)這種數(shù)據(jù)的靈活性需求如此之大，然而，很多企業(yè)或者正在構(gòu)建自己的數(shù)據(jù)池或數(shù)據(jù)倉(cāng)庫(kù)，或者直接進(jìn)入云平臺(tái)。隨著2020年這一趨勢(shì)的加速，我們將看到Hadoop的應(yīng)用繼續(xù)下降。”

當(dāng)數(shù)據(jù)變得足夠大時(shí)，就會(huì)施加類似引力的力，使其難以移動(dòng)，同時(shí)還可以吸引更多數(shù)據(jù)。Digital Realty公司首席技術(shù)官Chris Sharp說(shuō)，了解數(shù)據(jù)的引力將幫助企業(yè)克服數(shù)字化轉(zhuǎn)型的障礙。

Sharp說(shuō)：“數(shù)據(jù)的生成速度是許多企業(yè)無(wú)法跟上的。這不僅增加了這種復(fù)雜性，企業(yè)還從難以移動(dòng)和有效利用的多個(gè)位置處理有用卻不實(shí)用的數(shù)據(jù)。這給企業(yè)帶來(lái)了一個(gè)‘數(shù)據(jù)引力’問(wèn)題，這將阻止數(shù)字化轉(zhuǎn)型計(jì)劃向前推進(jìn)。在2020年，我們將看到企業(yè)通過(guò)將應(yīng)用程序更靠近數(shù)據(jù)源而不是將資源傳輸?shù)街醒胛恢脕?lái)解決數(shù)據(jù)引力問(wèn)題。通過(guò)本地化數(shù)據(jù)流量、分析和管理，企業(yè)將更有效地控制其數(shù)據(jù)并擴(kuò)展數(shù)字業(yè)務(wù)。”

在所有條件都相同的情況下，擁有更多數(shù)據(jù)總比擁有更少數(shù)據(jù)更好。TD Ameritrade公司的人工智能、數(shù)據(jù)科學(xué)和新興技術(shù)總監(jiān)Beaumont Vance認(rèn)為，但企業(yè)可以利用現(xiàn)有技術(shù)來(lái)更好地利用已有數(shù)據(jù)，從而實(shí)現(xiàn)突破。

Vance說(shuō)，“隨著企業(yè)創(chuàng)建新的數(shù)據(jù)池，開發(fā)更好的技術(shù)來(lái)理解研究結(jié)果，我們將看到人工智能前所未有的真正價(jià)值。目前，企業(yè)使用的內(nèi)部數(shù)據(jù)不到所有數(shù)據(jù)的20%，但通過(guò)新的人工智能功能，剩下的80%未開發(fā)的數(shù)據(jù)將是可用的，并且更容易理解。先前無(wú)法解決的問(wèn)題將有顯著的改善，免備案服務(wù)器，有助于推動(dòng)行業(yè)和社會(huì)的巨大變革。”

大數(shù)據(jù)很難管理，那么能用小數(shù)據(jù)采用人工智能技術(shù)嗎?Zinier公司首席執(zhí)行官Arka Dhar對(duì)此表示肯定。

Dhar說(shuō)：“展望未來(lái)，我們將不再需要大量的大數(shù)據(jù)集來(lái)訓(xùn)練人工智能算法。在以往，數(shù)據(jù)科學(xué)家一直需要大量數(shù)據(jù)才能對(duì)人工智能模型進(jìn)行準(zhǔn)確的推斷。人工智能的進(jìn)步使我們能夠以更少的數(shù)據(jù)獲得類似的結(jié)果。”

數(shù)據(jù)的存儲(chǔ)方式?jīng)Q定了應(yīng)該如何處理。GridGain公司首席執(zhí)行官Abe Kleinfeld說(shuō)，人們可以使用存儲(chǔ)在內(nèi)存中的數(shù)據(jù)而不是硬盤上做更多的事情。到2020年，人們將看到組織在基于內(nèi)存的系統(tǒng)上存儲(chǔ)更多數(shù)據(jù)。

Kleinfeld說(shuō)：“到2020年，隨著數(shù)字轉(zhuǎn)型推動(dòng)企業(yè)大規(guī)模進(jìn)行實(shí)時(shí)數(shù)據(jù)分析和決策，內(nèi)存技術(shù)的采用將繼續(xù)飆升。假設(shè)從一架飛機(jī)上的傳感器收集實(shí)時(shí)數(shù)據(jù)，以監(jiān)控性能，并且希望為單臺(tái)發(fā)動(dòng)機(jī)開發(fā)預(yù)測(cè)性維護(hù)功能?，F(xiàn)在必須將實(shí)時(shí)數(shù)據(jù)流中的異常讀數(shù)與數(shù)據(jù)池中存儲(chǔ)的特定引擎的歷史數(shù)據(jù)進(jìn)行比較。目前，唯一經(jīng)濟(jì)有效的方法是使用內(nèi)存中的數(shù)據(jù)集成中心，它基于一個(gè)內(nèi)存計(jì)算平臺(tái)，比如集成了Apache Spark、Apache Kafka，而像Hadoop這樣的DataLake存儲(chǔ)……隨著數(shù)據(jù)集成中心在企業(yè)中的不斷擴(kuò)展，2020年有望成為采用內(nèi)存計(jì)算的關(guān)鍵一年。”

Information Builders公司副總裁Eric Raab和Kabir Choudry表示，大數(shù)據(jù)可以讓企業(yè)的業(yè)務(wù)夢(mèng)想成真，或者也可能會(huì)變成一場(chǎng)噩夢(mèng)。選擇權(quán)在于人們自己。