數(shù)據(jù)采集工程師崗位職責：應負責數(shù)據(jù)調(diào)研、采集、歸類、預處理、歸類存儲等工作。

數(shù)據(jù)采集工程師初級能力要求具體如下：

a) 專業(yè)知識：

1) 網(wǎng)絡爬蟲知識，

2) 離線數(shù)據(jù)采集知識，

3) 實時數(shù)據(jù)采集知識，

4) 作業(yè)調(diào)度知識，

5) 文件系統(tǒng)數(shù)據(jù)存儲知識，

6) 關系型數(shù)據(jù)庫知識，

7) 非關系型數(shù)據(jù)庫知識，

8) 數(shù)據(jù)清洗知識，

9) 數(shù)據(jù) ETL 知識，

10) 數(shù)據(jù)庫基礎操作知識，

11) SQL 函數(shù)知識，

12) 結(jié)構(gòu)化、半結(jié)構(gòu)化與非結(jié)構(gòu)化知識，

13) 分布式計算知識，

14) 內(nèi)存計算知識，

15) 數(shù)據(jù)結(jié)構(gòu)封裝知識，

16) 關鍵業(yè)務指標知識，

17) OLAP 系統(tǒng)應用知識，

18) 數(shù)據(jù)檢索知識，

19) 交互式計算知識，

20) 報表制作知識。

b) 專業(yè)技能：

1) 能根據(jù)業(yè)務需求進行網(wǎng)絡、離線、實時數(shù)據(jù)采集;

2) 能根據(jù)調(diào)度策略使用框架設置調(diào)度作業(yè);

3) 能根據(jù)存儲策略進行數(shù)據(jù)存儲;

4) 能根據(jù)業(yè)務需求對遺漏數(shù)據(jù)、噪音數(shù)據(jù)、不一致數(shù)據(jù)等進行清洗;

5) 能根據(jù)業(yè)務需求對不同數(shù)據(jù)源數(shù)據(jù)進行整合;

6) 能根據(jù)業(yè)務規(guī)則對數(shù)據(jù)格式進行轉(zhuǎn)換;

7) 能根據(jù)數(shù)據(jù)歸一性原則對數(shù)據(jù)進行單位、數(shù)值規(guī)約;

8) 能根據(jù)業(yè)務需求編寫批量、實時數(shù)據(jù)計算作業(yè);

9) 能根據(jù)數(shù)據(jù)特征計算數(shù)據(jù)標簽并進行匯總;

10) 能根據(jù)數(shù)據(jù)指標規(guī)則計算關鍵業(yè)務指標;

11) 能根據(jù)數(shù)據(jù)平臺構(gòu)建聯(lián)機事務分析系統(tǒng)并進行即席查詢;

12) 能根據(jù)檢索引擎創(chuàng)建索引庫并進行數(shù)據(jù)檢索;

13) 能使用交互式查詢工具創(chuàng)建數(shù)據(jù)接口并提供對外服務接口;

14) 能使用交互式查詢平臺制作報表及展示圖表。

c) 經(jīng)驗：

1) 累計從事本崗位工作 1 年以上。

數(shù)據(jù)采集工程師中級能力要求具體如下：

a) 專業(yè)知識：

1) 信息系統(tǒng)配置知識，

2) 數(shù)據(jù)監(jiān)測與遷移知識，

3) 數(shù)據(jù)存儲策略知識，

4) 常用算法與數(shù)據(jù)結(jié)構(gòu)知識，

5) 數(shù)據(jù)畫像知識，

6) 數(shù)據(jù)傾斜知識，

7) 大規(guī)模并行分析數(shù)據(jù)庫知識，

8) 數(shù)據(jù)立方知識，

9) 查詢引擎知識，

10) 數(shù)據(jù)分詞知識。

b) 專業(yè)技能：

1) 能根據(jù)業(yè)務需求進行網(wǎng)絡、離線、實時數(shù)據(jù)采集，并配置數(shù)據(jù)緩存及消息隊列;

2) 能根據(jù)業(yè)務需求參與制定數(shù)據(jù)遷移方案;

3) 能制定調(diào)度策略;

4) 能制定存儲策略并指導初級工程師存儲數(shù)據(jù);

5) 能根據(jù)業(yè)務需求編寫批量、實時數(shù)據(jù)計算作業(yè)并優(yōu)化作業(yè)參數(shù);

6) 能根據(jù)業(yè)務規(guī)則設計相應標簽庫并進行標簽管理;

7) 能根據(jù)業(yè)務規(guī)則設計相應數(shù)據(jù)指標計算算法;

8) 能根據(jù)業(yè)務規(guī)則對關系對象進行圖計算;

9) 能使用大規(guī)模并行分析數(shù)據(jù)庫優(yōu)化聯(lián)機事務分析系統(tǒng)性能;

10) 能使用計算引擎優(yōu)化數(shù)據(jù)查詢效率;

11) 能通過計算平臺構(gòu)建檢索分析系統(tǒng)。

c) 經(jīng)驗：

1) 具備一定的采集相關項目經(jīng)驗;

2) 累計從事本崗位工作 3 年以上。

數(shù)據(jù)采集工程師高級能力要求具體如下：

a) 專業(yè)知識：

1) 數(shù)據(jù)采集與遷移策略，

2) 依賴調(diào)度原理知識，

3) 存儲架構(gòu)知識，

4) 數(shù)據(jù)算法設計，

5) 數(shù)據(jù)分區(qū)及緩存知識，

6) 外部程序管道知識，

7) 計算引擎優(yōu)化知識，

8) 索引優(yōu)化知識，

9) 數(shù)據(jù)加鹽知識，

10) 驅(qū)動器與執(zhí)行器知識。

b) 專業(yè)技能：

1) 能根據(jù)業(yè)務場景制定數(shù)據(jù)采集策略并監(jiān)控采集情況;

2) 能根據(jù)業(yè)務場景制定數(shù)據(jù)遷移策略并監(jiān)測遷移情況;

3) 能根據(jù)業(yè)務及性能需求設計消息傳輸及推送方案;

4) 能根據(jù)業(yè)務需求及依賴關系設計調(diào)度方案;

5) 能根據(jù)業(yè)務需求及存儲應用設計存儲策略;

6) 能根據(jù)業(yè)務需求設計離線或?qū)崟r數(shù)據(jù)計算算法;

7) 能制定數(shù)據(jù)標簽庫管理及規(guī)范;

8) 能制定數(shù)據(jù)計算開發(fā)流程及規(guī)范;

9) 能制定數(shù)據(jù)查詢操作流程及規(guī)范;

10) 能深入計算引擎對底層代碼進行優(yōu)化以提升查詢性能;

11) 能制定對外數(shù)據(jù)接口規(guī)范及權限。

c) 經(jīng)驗：

1) 具備數(shù)據(jù)采集相關項目經(jīng)驗;

2) 累計從事本崗位工作 5 年以上。