大數(shù)據(jù)及應(yīng)用
(1)大數(shù)據(jù)存儲(chǔ)管理技術(shù)。大數(shù)據(jù)存儲(chǔ)技術(shù)首先需要解決的是數(shù)據(jù)海量化和快速增長(zhǎng)需求。存儲(chǔ)的硬件架構(gòu)和文件系統(tǒng)的性價(jià)比要大大高于傳統(tǒng)技術(shù),存儲(chǔ)容量計(jì)劃應(yīng)可以無(wú)限制擴(kuò)展,且要求有很強(qiáng)的容錯(cuò)能力和并發(fā)讀寫能力。目前,谷歌文件系統(tǒng)(GFS)和Hadoop的分布式文件系統(tǒng)HDFS奠定了大數(shù)據(jù)存儲(chǔ)技術(shù)的基礎(chǔ)。大數(shù)據(jù)存儲(chǔ)技術(shù)第二個(gè)要解決的是處理格式多樣化的數(shù)據(jù),這要求大數(shù)據(jù)存儲(chǔ)管理系統(tǒng)能夠?qū)Ω鞣N非結(jié)構(gòu)化數(shù)揖;進(jìn)行高效管理,代表產(chǎn)品如:谷歌BigTable和HadoopHbase等非關(guān)系型數(shù)據(jù)庫(kù)(NoSQL)。
(2)大數(shù)據(jù)并行分析技術(shù)。大數(shù)據(jù)的分析挖掘是數(shù)據(jù)密集型計(jì)算,需要巨大的計(jì)算能力,對(duì)計(jì)算單元和存儲(chǔ)單元的數(shù)據(jù)吞吐率要求極高,并要求計(jì)算系統(tǒng)有非常好的擴(kuò)展性和性價(jià)比。谷歌的MapReduce是主要的大數(shù)據(jù)分布式并行計(jì)算技術(shù)之一,而開源的分布式并行計(jì)算技術(shù)Apache HadoopMapReduce,已經(jīng)成為應(yīng)用最廣泛的大數(shù)據(jù)計(jì)算軟件平臺(tái)。
(3)大數(shù)據(jù)分析技術(shù)。大數(shù)據(jù)分析技術(shù)的發(fā)展需要在兩個(gè)方面取得突破,一是對(duì)規(guī)模非常龐大的結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行高效的深度分析:二是對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析,將海量復(fù)雜多源的語(yǔ)音、圖像和視頻數(shù)據(jù)轉(zhuǎn)化為機(jī)器可識(shí)別的、具有明確語(yǔ)義的信息,獲取隱性的知識(shí)。大數(shù)據(jù)分析的技術(shù)路線主要是通過(guò)建立人工智能系統(tǒng),使用大量樣本數(shù)據(jù)進(jìn)行訓(xùn)練,讓機(jī)器模仿人工,獲得從數(shù)據(jù)中提取知識(shí)的能力。2006年,科學(xué)家根據(jù)人腦認(rèn)知過(guò)程的分層特性,提出增加人工神經(jīng)網(wǎng)絡(luò)層數(shù)和神經(jīng)元節(jié)點(diǎn)數(shù)量,加大機(jī)器學(xué)習(xí)的規(guī)模.構(gòu)建深度神經(jīng)網(wǎng)絡(luò),可以提高訓(xùn)練效果,使得神經(jīng)網(wǎng)絡(luò)技術(shù)成為機(jī)器學(xué)習(xí)分析技術(shù)的熱點(diǎn),并在語(yǔ)音識(shí)別和圖像識(shí)別方面取得了很好的效果。
掃碼關(guān)注公眾號(hào)
溫馨提示:因考試政策、內(nèi)容不斷變化與調(diào)整,信管網(wǎng)網(wǎng)站提供的以上信息僅供參考,如有異議,請(qǐng)以權(quán)威部門公布的內(nèi)容為準(zhǔn)!
信管網(wǎng)致力于為廣大信管從業(yè)人員、愛好者、大學(xué)生提供專業(yè)、高質(zhì)量的課程和服務(wù),解決其考試證書、技能提升和就業(yè)的需求。
信管網(wǎng)軟考課程由信管網(wǎng)依托10年專業(yè)軟考教研傾力打造,官方教材參編作者和資深講師坐鎮(zhèn),通過(guò)深研歷年考試出題規(guī)律與考試大綱,深挖核心知識(shí)與高頻考點(diǎn),為學(xué)員考試保駕護(hù)航。面授、直播&錄播,多種班型靈活學(xué)習(xí),滿足不同學(xué)員考證需求,降低課程學(xué)習(xí)難度,使學(xué)習(xí)效果事半功倍。
相關(guān)內(nèi)容