資深(shen)大數據開發工程(cheng)師提供現場開發服務

服務地區：南京

技術能力

熟練運用大數據主流框架，如Mapreduce、Hive、Impala、Kudu、Spark、Flume、Hbase、OOzie、Kafka、Redis、ELK等(deng)，進行數據開發

精(jing)通數據(ju)治理(li)框(kuang)架(jia)，如Ranger、Dolphinscheduler、Atlas、Griffin、Dremio等，包括功能(neng)開(kai)發

掌握WEB技術，如Springboot、Mybatis等(deng)，進行開發工作(zuo)

熟悉(xi)數據同步工(gong)具，如(ru)Sqoop、DataX、StreamSets、Kettle等

具備(bei)搭(da)建和部署(shu)CDH版本大數據集(ji)群的經驗

項目經驗

中(zhong)科院自動化(hua)研(yan)究所(suo)數(shu)據中(zhong)臺項目(mu)

使用技術：Ranger、Dolphinscheduler、Atlas、Griffin、Dremio、Spark、Elasticsearch、SpringBoot、Mybatis

工作內容：負(fu)責數據權限管理、數據共享(xiang)模塊、數據資源監控(kong)管理的數據庫設計和開發測(ce)試

一汽集團數據湖項目

使用技術：OGG、KAFKA、KUDU、HBASE、Kettle、Sqoop、Springboot、Mybatis

工作內容：完成業務(wu)數據的準實時同步，開發測試歷史(shi)數據遷(qian)移、批量建表(biao)、導(dao)入(ru)Kudu表(biao)的功能程序

一汽集團車聯網項目

使用(yong)技術：SparkSQL、SparkStreaming、Kafka、Hbase、Impala、Elasticsearch

工作內(nei)容：處理(li)車(che)(che)輛(liang)實(shi)時位置數據，開發數據接(jie)口，實(shi)現(xian)車(che)(che)輛(liang)分(fen)析(xi)業(ye)務場景的數據接(jie)口，完(wan)成車(che)(che)聯網(wang)數據跨集群遷移

一汽大眾道路試(shi)驗(yan)車(che)項(xiang)目

使用(yong)技術：Mapreduce、Hive、Oozie、Impala、Springboot、Mybatis

工作內容：開發MapReduce程序解析(xi)文本(ben)數(shu)(shu)據(ju)，使用OOZIE配置定時任(ren)務解析(xi)增量數(shu)(shu)據(ju)，整合HIVE進行快(kuai)速查詢

浦發大數據洞察平臺項目(mu)

使用技術：Flink、Ignite、ELK、Spark、Hive、Impala

工(gong)作內容：參與(yu)搭建大數據(ju)(ju)洞察(cha)平(ping)臺集群，支持銀行原始數據(ju)(ju)向(xiang)Hive數據(ju)(ju)倉庫遷移，開(kai)發(fa)造數程序生成報文，配(pei)置上線交(jiao)易碼的(de)mappingfile和parser文件(jian)，熟悉(xi)Flink、Ignite、Elasticsearch等框架的(de)安裝使(shi)用(yong)并記錄文檔。