系統(tǒng)集成項目管理工程師高頻考點：大數(shù)據(jù)關鍵技術

[詳細內容可查看《系統(tǒng)集成項目管理工程師教程》(第3版)第81-82頁]

★考察次數(shù)：5次

★統(tǒng)計年份：2016年下至2023年上

★相關真題：2016年下半年、2017年上半年、2017年下半年、2018年上半年、2018年下半年、2019年下半年

★溫馨提示：第三版教材該知識點跟前版教材變化很大，所以以往的真題不需要做

▼考點內容：

大數(shù)據(jù)技術架構主要包含：大數(shù)據(jù)獲取技術、分布式數(shù)據(jù)處理技術、大數(shù)據(jù)管理技術、大數(shù)據(jù)應用和服務技術。

1、大數(shù)據(jù)獲取技術

大數(shù)據(jù)獲取的研究主要集中在：數(shù)據(jù)采集、整合和清洗三個方面。

對于網(wǎng)絡流量的采集可以使用DPI或DFI等帶寬管理技術進行處理。

2、分布式數(shù)據(jù)處理技術

其核心是將任務分解成許多小的部分，分配給多臺計算機進行處理，通過并行工作的機制，達到節(jié)約整體計算時間，提高計算效率的目的。

目前，主流的分布式計算系統(tǒng)有：Hadoop、Spark和Storm。

Hadoop常用于離線的、復雜的大數(shù)據(jù)處理

Spark常用于離線的、快速的大數(shù)據(jù)處理

Storm常用于在線的、實時的大數(shù)據(jù)處理。

3、大數(shù)據(jù)管理技術

大數(shù)據(jù)管理技術主要集中在大數(shù)據(jù)存儲、大數(shù)據(jù)協(xié)同和安全隱私等方面。

大數(shù)據(jù)存儲技術主要有三個方面：

①采用MPP架構的新型數(shù)據(jù)庫集群，通過列存儲、粗粒度索引等多項大數(shù)據(jù)處理技術和高效的分布式計算模式，實現(xiàn)大數(shù)據(jù)存儲。

②圍繞Hadoop衍生出相關的大數(shù)據(jù)技術，應對傳統(tǒng)關系型數(shù)據(jù)庫較難處理的數(shù)據(jù)和場景，通過擴展和封裝Hadoop來實現(xiàn)對大數(shù)據(jù)存儲、分析的支撐

③基于集成的服務器、存儲設備、操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)，實現(xiàn)具有良好的穩(wěn)定性、擴展性的大數(shù)據(jù)一體機。

4、大數(shù)據(jù)應用和服務技術

大數(shù)據(jù)應用和服務技術主要包含：分析應用技術和可視化技術。

大數(shù)據(jù)分析應用主要是面向業(yè)務的分析應用。大數(shù)據(jù)分析應用技術以業(yè)務需求為驅動。

可視化通過交互式視覺表現(xiàn)的方式來幫助人們探索和理解復雜的數(shù)據(jù)。大數(shù)據(jù)的可視化技術主要集中在文本可視化技術、網(wǎng)絡(圖)可視化技術、時空數(shù)據(jù)可視化技術、多維數(shù)據(jù)可視 化和交互可視化等。