近幾年,機器學習、深度學習以及大數(shù)據(jù)分析一直是熱門話題,人工智能在金融、營銷、軟件開發(fā)、戰(zhàn)略決策等領域的應用也越來越普遍。
數(shù)據(jù)智能技術供應商Teradata天睿公司于去年推出下一代分析平臺Teradata Vantage,提供描述性、預測性與指示性分析、自主性決策、機器學習、可視化工具等廣泛功能,致力于解決當前分析方案中的各類問題。Teradata Vantage的高級分析是如何利用分析處理引擎實現(xiàn)機器學習和深度學習?上市半年來取得了哪些階段性成果?這些問題在近期召開的Teradata媒體會上得到了詳細解答。
高級分析的三個發(fā)展階段
Teradata天睿公司首席技術官寶立明(Stephen Brobst)認為,高級分析的發(fā)展可以分為三個階段:第一階段是描述性分析,用于洞察過去;第二階段是預測性分析,能夠了解未來;第三階段是指導性分析,為可能發(fā)生的結果提供建議。Teradata開發(fā)的Vantage軟件平臺屬于第三階段的產(chǎn)物,能夠為企業(yè)提供最佳的高級分析能力。
Teradata天睿公司首席技術官寶立明(Stephen Brobst)
如今,機器學習技術取得飛速發(fā)展,其能力超出人類的例子也比比皆是。最讓寶立明印象深刻的是,在某界國際象棋比賽中,來自挪威和美國的兩位象棋大師在最后一局打成了平局,經(jīng)過軟件分析后得知,挪威象棋大師本可以在60步內將死對手,但是由于象棋大師只能預測幾十步以內的可能性,對于60歩的結果完全無能為力,最后只能打成平手。
行業(yè)預測表明,一些需要簡單體力或腦力勞動的職業(yè)將被機器取代,如收銀員、卡車司機、簡單翻譯、放射科醫(yī)生和個人信用評估等等。實際上,機器學習的預測能力已經(jīng)被應用到企業(yè)的實際業(yè)務中,為企業(yè)的未來發(fā)展指引方向。
目前所謂的人工智能都是增強型人工智能,它還無法完全取代人類,只能增強人的能力。例如,軟件可以幫助醫(yī)生診斷一些疾病,但是機器的診斷分析只能提供參考,最后還是要靠醫(yī)生選擇治療方案,進行治療。由這個例子引申開來,人們在制定策略、戰(zhàn)略時,可以讓智能化的軟件輔助我們實現(xiàn)這些戰(zhàn)略,AI不止能夠幫助企業(yè)提速降本增效,還能幫助企業(yè)管理者將戰(zhàn)略制定得更長遠,更完美,Teradata Vantage正是為了這一目標而存在。
Teradata Vantage高級分析平臺
Teradata Vantage高級分析平臺在架構上可以分為四層,由下至上分別是數(shù)據(jù)源、分析引擎、分析語言和分析工具。此前,Teradata收購了一家來自斯坦福大學的創(chuàng)業(yè)公司Aster Data,創(chuàng)新性地同時集成了Map-Reduce和ANSI SQL引擎,能夠將上層的分析引擎與底層的存儲設備打通,進行大數(shù)據(jù)分析和計算。
Teradata Vantage的分析引擎層包含NewSQL引擎、機器學習引擎、圖形引擎、Spark引擎、TensorFlow引擎以及一系列定制引擎。寶立明強調,Teradata Vantage的機器學習引擎由廣泛的分析功能組成,除數(shù)據(jù)準備、非結構化數(shù)據(jù)分析功能以外,還涵蓋人工智能、統(tǒng)計、文本、情感判別等200余種分析引擎,便于科學家進行描述性或預測性的分析。圖引擎可實現(xiàn)關聯(lián)分析,并了解網(wǎng)絡用戶、產(chǎn)品、過程乃至任何聯(lián)網(wǎng)實體中這些關系將怎樣影響結果。其中,云服務器租用,每個引擎都用Docker做成Container封裝起來,不斷迭代。與此同時,基于開源的OpenStack平臺和商業(yè)分析引擎,讓開發(fā)者們可以開發(fā)出一些內部引擎和工具集。
在分析語言方面,早期,Teradata推出了高性能和高可靠性的Teradata關系數(shù)據(jù)庫管理系統(tǒng),該系統(tǒng)采用標準的SQL查詢語言,適用于處理復雜查詢的數(shù)據(jù)倉庫應用。隨著預測性、指導性高級分析需求的逐漸增多,SQL這一結構性的查詢語言已無法滿足需求, Teradata陸續(xù)將NoSQL,R,Python,NewSQL,SAS等語言納入進來,結合頂層的分析工具以及廣泛的商業(yè)智能與可視化工具,讓企業(yè)的分析師和數(shù)據(jù)科學家無需非常了解機器學習算法即可用到機器學習的能力,為用戶提供預測性、指導性的高級分析能力。
Teradata Vantage本地化最佳實踐
為了滿足中國市場的本地化需求,Vantage平臺支持百萬級乃至上億級用戶體量的高級分析需求。據(jù)介紹,Teradata在中國的諸多銀行客戶紛紛開發(fā)出了相關的分析引擎,使數(shù)據(jù)科學家們能夠利用任何他們慣用的開源或商業(yè)的語言和工具,充分利用不同的數(shù)據(jù)源,通過各類分析引擎,與不同的應用相結合,訪問、共享位于分布式存儲以及對象存儲中的各種格式的數(shù)據(jù)。








