- 相關(guān)推薦
數(shù)據(jù)倉庫工程師的工作職責(zé)8篇
數(shù)據(jù)倉庫工程師的工作職責(zé)1
職責(zé):
1、負(fù)責(zé)數(shù)據(jù)源導(dǎo)入、清洗、集成等工作,優(yōu)化ETL流程并解決ETL相關(guān)技術(shù)問題;
2、負(fù)責(zé)參與數(shù)據(jù)模型體系構(gòu)建及數(shù)據(jù)主題設(shè)計(jì)和開發(fā),數(shù)據(jù)倉庫和業(yè)務(wù)數(shù)據(jù)集市的建設(shè);
3、負(fù)責(zé)數(shù)據(jù)集市需求調(diào)研和需求分析;
4、基于阿里云Maxcompute,進(jìn)行數(shù)據(jù)開發(fā)工作。
崗位要求:
1、3年或以上數(shù)據(jù)倉庫開發(fā)和模型設(shè)計(jì)經(jīng)驗(yàn);
2、深入理解DW,BI相關(guān)的.知識,包括:ETL、數(shù)據(jù)倉庫、OLAP、多維數(shù)據(jù)模型等;
3、熟悉MapReduce、Hive原理;
4、精通SQL,能夠熟練使用HiveSQL進(jìn)行數(shù)據(jù)開發(fā);
5、具有良好的團(tuán)隊(duì)協(xié)作精神和溝通能力,較強(qiáng)的邏輯思維,學(xué)習(xí)能力和解決問題的能力,可承擔(dān)較大的工作壓力;
6、熟悉阿里云大數(shù)據(jù)開發(fā)平臺優(yōu)先,如Maxcompute;
7、熟悉跨境電商及供應(yīng)鏈業(yè)務(wù)優(yōu)先。
數(shù)據(jù)倉庫工程師的工作職責(zé)2
1)基于傳感數(shù)據(jù)與場景建模,完成基于人工智能算法的物體識別與跟蹤;
2)完成基于機(jī)器學(xué)習(xí)的`場景物體識別與分類;
3)完成基于場景態(tài)勢感知數(shù)據(jù)的概率決策算法開發(fā);
4)基于點(diǎn)云與圖像數(shù)據(jù)融合識別場景特征;
5)開發(fā)適用于自動駕駛的場景、物體、行人、標(biāo)志、車道線等的人工智能識別算法;
數(shù)據(jù)倉庫工程師的工作職責(zé)3
職責(zé):
1、參與數(shù)據(jù)倉庫及ETL基礎(chǔ)架構(gòu)規(guī)劃、安全規(guī)劃制定;
2、負(fù)責(zé)數(shù)據(jù)倉庫及ETL的開發(fā)、測試和優(yōu)化,并及時解決相關(guān)技術(shù)問題;
3、負(fù)責(zé)相關(guān)數(shù)據(jù)準(zhǔn)確性驗(yàn)證及報(bào)表等日常維護(hù);
4、報(bào)表性能優(yōu)化:對存在性能問題的數(shù)據(jù)報(bào)表進(jìn)行優(yōu)化;
5、數(shù)據(jù)運(yùn)維:及時處理線上問題;
6、完成上級交代的`其他工作。
崗位要求:
1.計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷,2年以上ETL開發(fā)或數(shù)倉相關(guān)工作經(jīng)驗(yàn);
2.熟練使用Oracle、MySQL、PostgreSQL等主流數(shù)據(jù)庫,具有較強(qiáng)的SQL編寫、優(yōu)化能力,熟悉存儲過程編寫;
3.熟悉數(shù)據(jù)倉庫數(shù)據(jù)處理流程,有一定的數(shù)據(jù)建模能力;
4.具有良好的溝通理解能力,能根據(jù)業(yè)務(wù)提出的需求,快速理解并落地實(shí)施;
5.有Kettle、Greenplum開發(fā)經(jīng)驗(yàn)者優(yōu)先。
數(shù)據(jù)倉庫工程師的工作職責(zé)4
1、負(fù)責(zé)醫(yī)院各種生化分析儀器的'參數(shù)調(diào)試、定標(biāo)、校準(zhǔn)、做質(zhì)控,保證公司試劑在生化分析儀上面正常使用及后期的維護(hù)、保養(yǎng)工作;
2、負(fù)責(zé)生化試劑的技術(shù)支持、異常結(jié)果處理工作;
3、負(fù)責(zé)收集市場反饋信息,提高終端用戶的滿意度。
數(shù)據(jù)倉庫工程師的工作職責(zé)5
職責(zé):
1、 負(fù)責(zé)不同大型客戶環(huán)境下Linux業(yè)務(wù)服務(wù)器的配置,維護(hù),監(jiān)控,調(diào)優(yōu),故障排除等;
2、 針對用戶量大的集群,做高性能GPU服務(wù)器系統(tǒng)的部署方案及實(shí)施;
3、 保障服務(wù)器與數(shù)據(jù)庫安全,檢查并消除安全漏洞;
4、 數(shù)據(jù)備份、數(shù)據(jù)監(jiān)控、應(yīng)急響應(yīng)、故障排除、編寫數(shù)據(jù)分析報(bào)告等;
任職資格:
1、 兩年以上大中型系統(tǒng)運(yùn)維工作經(jīng)驗(yàn)、Linux基礎(chǔ)較好,熟悉Linux相關(guān)數(shù)據(jù)庫、操作系統(tǒng)、硬件服務(wù)器、系統(tǒng)部署、網(wǎng)絡(luò)安全等,對存儲、網(wǎng)絡(luò)安全有一定的了解,具備網(wǎng)絡(luò)故障診斷能力;
2、 精通Linux系統(tǒng)如Redhat、Gentoo、精通Apache、NginX、MySQL、FTP、DNS、Squid等常用服務(wù)的`安裝、配置和維護(hù);
3、 精通并靈活運(yùn)用1種以上的腳本語言,包括:Python、Shell、PERL、PHP等;
4、 對事物有敏銳的洞察力,高度的責(zé)任感,較強(qiáng)的故障分析及排除能力,運(yùn)用相關(guān)工具及資源,保障系統(tǒng)的運(yùn)行。善于在工作中學(xué)習(xí),有較強(qiáng)的抗壓能力;
數(shù)據(jù)倉庫工程師的工作職責(zé)6
職責(zé):
1.負(fù)責(zé)直播業(yè)務(wù)相關(guān)數(shù)據(jù)倉庫的數(shù)據(jù)模型設(shè)計(jì);
3.參與數(shù)據(jù)倉庫ETL流程設(shè)計(jì)、開發(fā)和優(yōu)化,解決ETL過程相關(guān)技術(shù)問題;
3.參與項(xiàng)目規(guī)劃,數(shù)據(jù)采集設(shè)計(jì),數(shù)據(jù)倉庫開發(fā),模型開發(fā),報(bào)表開發(fā)等;
4. 總結(jié)數(shù)據(jù)倉庫建模的方法,負(fù)責(zé)數(shù)據(jù)產(chǎn)品平臺化和系統(tǒng)化;
任職資格:
1. 2年及以上的數(shù)據(jù)倉庫/BI相關(guān)研發(fā)經(jīng)驗(yàn),對數(shù)據(jù)和業(yè)務(wù)敏感,有較好的'數(shù)據(jù)模型設(shè)計(jì)能力;
2.熟悉數(shù)據(jù)倉庫各類模型建模理論,了解數(shù)據(jù)倉庫數(shù)據(jù)分層架構(gòu),多維數(shù)據(jù)模型設(shè)計(jì);
3.熟練使用Hadoop/Spark/Hive/HBase/Mysql,有列式數(shù)據(jù)庫/Kylin/ElasticSearch等經(jīng)驗(yàn)者優(yōu)先;
4.有較強(qiáng)的編程能力和編程經(jīng)驗(yàn),至少熟悉Java/Scala/Python/PHP等其中一門編程語言;
5.參與過大型數(shù)據(jù)倉庫架構(gòu)設(shè)計(jì)、模型設(shè)計(jì)、ETL設(shè)計(jì),具備海量數(shù)據(jù)處理、性能調(diào)優(yōu)經(jīng)驗(yàn);
6.學(xué)習(xí)能力強(qiáng),熱衷開源技術(shù),有團(tuán)隊(duì)觀念,具備獨(dú)立解決問題的能力;
數(shù)據(jù)倉庫工程師的工作職責(zé)7
職責(zé):
1.負(fù)責(zé)數(shù)據(jù)倉庫架構(gòu)設(shè)計(jì)與開發(fā)
2.根據(jù)業(yè)務(wù)調(diào)研,設(shè)計(jì)信息模型與數(shù)據(jù)模型,負(fù)責(zé)大數(shù)據(jù)建模、ETL、數(shù)據(jù)產(chǎn)品及平臺的設(shè)計(jì)與開發(fā)
3.滿足業(yè)務(wù)數(shù)據(jù)需求,設(shè)計(jì)面向業(yè)務(wù)的數(shù)據(jù)集市模型
4.需求的溝通與數(shù)據(jù)開發(fā)項(xiàng)目管理
5.基于Hadoop生態(tài)的程序設(shè)計(jì)、開發(fā)和維護(hù)
崗位要求:
1.熟悉SQL語言,至少熟悉Oracle、MySQL、SQL sever一種及以上
2.精通數(shù)據(jù)庫系統(tǒng)(Oracle、SQL、mysql等):精通熟悉Oracle數(shù)據(jù)庫體系結(jié)構(gòu),基礎(chǔ)扎實(shí);精通熟悉DataGuardRAC等高可用技術(shù),能順利的配置和管理dataGuard;精通熟悉Oracle的備份與恢復(fù)技術(shù);熟悉SQL和PLSQL,能編寫日常維護(hù)需要的.腳本
3.從事過數(shù)倉邏輯模型、物理模型設(shè)計(jì)與實(shí)施等工作
4.有使用Hive、Hbase、kettle等相關(guān)應(yīng)用經(jīng)驗(yàn)更佳
數(shù)據(jù)倉庫工程師的工作職責(zé)8
職責(zé)
1.負(fù)責(zé)數(shù)據(jù)ETL開發(fā),優(yōu)化ETL流程設(shè)計(jì);
2.負(fù)責(zé)數(shù)據(jù)質(zhì)量問題的分析、跟進(jìn)、解決,進(jìn)行數(shù)據(jù)質(zhì)量監(jiān)測、校驗(yàn)和提升;
3.負(fù)責(zé)ETL開發(fā)實(shí)施文檔的編寫;
4.負(fù)責(zé)梳理公司數(shù)據(jù)倉庫/數(shù)據(jù)集市數(shù)據(jù)清單、數(shù)據(jù)映射關(guān)系,優(yōu)化現(xiàn)有數(shù)據(jù)倉庫模型;
5.完善和梳理數(shù)據(jù)指標(biāo)體系,完成和維護(hù)數(shù)據(jù)字典的工作;
6.參與數(shù)據(jù)標(biāo)準(zhǔn)的制定、數(shù)據(jù)標(biāo)準(zhǔn)管理和數(shù)據(jù)安全管理工作;
7.參與公司大數(shù)據(jù)平臺的建設(shè),包括Sugar報(bào)表或神策接口配置,用戶畫像標(biāo)簽體系的開發(fā)等
任職要求:
1.有shell或Python腳本開發(fā)經(jīng)驗(yàn);
2.有傳統(tǒng)數(shù)據(jù)庫SQL Server和MySQL,有存儲過程編寫能力;
3.熟悉Hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實(shí)踐經(jīng)驗(yàn),包括但不限于Sqoop、Hive、HBase、Kylin等開發(fā)經(jīng)驗(yàn);
4.有kettle、azkaban或oozie工作流調(diào)度經(jīng)驗(yàn);
5.熟悉Hive SQL或Flink SQL的`開發(fā);
6.有數(shù)據(jù)倉庫模型設(shè)計(jì),有使用kafka+Flink Streaming實(shí)時數(shù)據(jù)處理經(jīng)驗(yàn)優(yōu)先;
7.有Sugar、神策或Tableau使用經(jīng)驗(yàn),有用戶畫像或客戶召回標(biāo)簽工作經(jīng)驗(yàn)優(yōu)先;
8.對數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)有所了解,包括常用的機(jī)器學(xué)習(xí)算法和數(shù)據(jù)建模過程的優(yōu)先