51职场>人才招聘>岗位职责>数据工程岗位职责

数据工程岗位职责

时间：2023-04-08 13:30:14 岗位职责我要投稿

数据工程岗位职责

　　在不断进步的社会中，岗位职责起到的作用越来越大，制定岗位职责能够有效的地防止因为职位分配不合理而导致部门之间或是员工之间出现工作推脱、责任推卸等现象发生。那么你真正懂得怎么制定岗位职责吗？以下是小编精心整理的数据工程岗位职责，希望能够帮助到大家。

数据工程岗位职责

数据工程岗位职责1

　　职责：

　　1、基于互联网行业特点构建企业级数据仓库架构，建设PB级共享数据平台；

　　2、负责数据平台相关数据研发及管理工作，参与制定EDW相关规范并推动实施落地；

　　3、对海量数据处理的相关需求进行评估及方案设计；

　　4、负责数据产品如用户画像等模型设计；

　　5、了解行业前沿大数据处理方法。

　　任职资格：

　　1、8年以上数据仓库开发及管理经验，5年以上互联网/电商行业经验；

　　2、精通数据仓库建设方法论，有大型数据仓库建设项目经验（PB级以上）；

　　3、熟悉HADOOP、HIVE、HBASE、SPARK、FLUME等工作原理；

　　4、精通HiveSQL，有较丰富的'HiveSQL性能调优经验；

　　5、至少熟练使用Shell、Python、Perl等脚本语言之一；

　　6、工作认真、负责，有良好的团队合作精神，良好的分析及沟通能力；

数据工程岗位职责2

　　职责：

　　业务数据的收集整理和分析;

　　负责公安、交通领域的业务建模和算法设计;

　　分析项目数据需求，完成系统中数据分析模块的设计、实现和测试;

　　设计、构建和优化基于大数据的存储平台架构，编写相关技术文档;

　　设计并实现基于开源项目(Cobar，Spark等)的海量数据集成与处理平台;

　　为其他部门提供数据分析支撑。

　　任职资格：

　　计算机相关专业;

　　熟悉数据挖掘算法，对分类、聚类、时序、图等算法有很深了解;

　　熟练掌握Hadoop、Spark生态系统组件(MR、HBase、Hive、ZooKeeper、SparkSQL、SparkMlib等)，有相关大数据架构,开发成功案例;

　　熟练的使用、开发ETL工具经验，有数据库建模ER建模经验优先;

　　有海量数据BI或数据挖掘项目实施和管理经验，对数据挖掘理论方法有一定了解者优先;

　　熟悉的.BashShell和Python等脚本编程能力;

　　强烈的责任心和工作热情，良好的团队合作精神。

数据工程岗位职责3

　　职责：

　　1、利用数据挖掘、机器学习相关知识和算法，解决工厂业务需求，驱动业务数字化；

　　2、利用数据处理和挖掘相关知识实现工厂KPI要求，包括生产线IDC降低，预测性维护等数据挖掘的多方面应用场景实现；

　　3、负责数据挖掘项目管理，进度把控，同时针对工厂各方面需求推广数据挖掘和机器学习的主流应用算法和工具，并制定相关的规范和标准；

　　4、针对数据挖掘涉及的'数据库和业务相关硬件网络架构的搭建和日常运维支持；

　　岗位要求：

　　1、本科或以上学历，数学、计算机或者信息工程等相关专业。

　　2、有工业领域或AI领域数据分析处理或者相关行业一年及以上工作经验。

　　3、熟悉运用各种常用算法和数据结构，有聚类、分类、回归等数据挖掘工作经验优先考虑；

　　3、熟悉Linux平台上的编程环境，至少掌握R/Python/C#一门编程语言，有项目应用优先考虑

　　4、至少掌握SQL Server/Oracle/MySQL一种数据库，有项目实践者优先考虑

　　5、熟悉Hadoop架构、网络通信和数据平台架构设计知识者优先考虑

数据工程岗位职责4

　　职责：

　　1、从事Hadoop、Spark、Hbase、hive等分布式大数据产品的设计和开发；

　　2、针对部门大数据业务进行大数据分析、挖掘等产品应用的开发；

　　3、大数据平台各类数据业务抽象及模型化；

　　4、参与大数据管理平台的开发及维护；

　　5、负责大数据平台数据及相关的应用开发，调优及维护；

　　6、为项目相关开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题；

　　7、良好的.团队合作与沟通能力。

　　任职要求：

　　1、本科及以上学历，2年以上大数据应用开发经验；

　　2、具备Java、Python、Scala其中两种语言的开发经验；

　　3、了解泛Hadoop大数据生态圈，熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka其中两种以上技术，并有实际的项目开发经验，有相关源码研究者优先；

　　4、具备ETL开发与运维能力，有Flume、kettle经验优先；

　　5、熟悉大数据平台的搭建过程，熟悉数据处理流程，有TB级以上数据处理经验优先，有实时数据处理经验者优先；

　　6、熟悉离线和实时数据处理流程，熟练使用Spark，Flink处理TB级数据优先；

　　7、熟悉Linux系统环境，有shell等脚本编写经验，熟悉Mysql、PostgreSql、Oracle等常用关系数据库，熟练编写SQL语句；

　　8、熟悉Yarn，Kubernetes，Azkaban等资源调度框架者优先；

　　9、熟悉Datax的二次开发，并有实际开发经验优先。

数据工程岗位职责5

　　1、负责数据平台数据整合与数据仓库模型的建立、维护和优化；

　　2、参与指标体系与报表的设计、开发与维护；

　　3、了解、监控应用需求及数据源的变化，并评估对数据仓库模型的影响；

　　4、设计数据模型的etl实现，参与团队etl流程的优化以及相关技术问题的`解决。

　　5、基于数据分析和数据资源的挖掘，提升数据的商业应用价值。

数据工程岗位职责6

　　职责：

　　1、进行用户需求、问题沟通整理、分析;

　　2、参与需求调研和产品定义评估,业务需求讨论与设计;根据产品定义实现详细需求分析并形成标准文档;与开发测试团队一起保证最终产品发布;

　　3、负责原型界面绘制;

　　4、完成公司临时赋予的任务;

　　职位要求：

　　1、语言表达和思维逻辑清晰、性格乐观较外向、沟通能力强;

　　2、1年及以上实际需求分析或相关工作经验;

　　3、熟练掌握建模工具或者Axure界面设计工具;

　　4、熟悉需求调研方法，较强的业务流程及业务模型分析设计能力，掌握软件需求获取与分析方法;

数据工程岗位职责7

　　1.高质量地完成集团内外各类数据生产集成、数据分析应用建设工作，涉及投研、市场、ERP、全球金融资讯等四个业务领域方向;

　　2.需求及源系统数据分析，完成数据仓库/EDM等系统数据模型及应用模型设计、数据Mapping规则文档撰写、开发、自测及上线部署;

　　3.数据质量稽核、问题分析及处理,优化数据处理程序;

　　4.洞察数据、满足业务场景需求。

数据工程岗位职责8

　　职责：

　　1.负责业务的数仓数据集市的建设,能提炼通用需求,数仓标准,实现高质量的.数据互通共享

　　2.对海量数据进行统计与分析,产品效果评估与分析,为产品策略优化迭代提供强有力的数据支持

　　3.和业务团队紧密合作推动数据产品与服务的落地,具备良好的沟通协调能力

　　任职要求：

　　1.计算机数学统计,金融等相关专业的本科或以上学历;从事数仓领域至少3年以上,具备海量数据的DW模型设计与ETL开发经验2.熟悉数仓领域知识,包括但不局限于:数据质量,元数据管理,主数据管理,数据开发测试工具与方法;

　　3.掌握Greenplum,Oracle,Teradata,Mysql等至少一种,灵活运用SQL实现海量数据ETL加工处理;有Greenplum经验优先

　　4.具有数据仓库相关开发经验,如ETL,建模,BI,数据产品等,熟悉数仓模型

　　5.掌握一门或多门开发语言,不限于java/python/scala等,熟悉Linux/Unix平台上的开发环境

　　6、主导过大型数据仓库架构或模型设计经验者优先;

　　7、较好的沟通理解能力，性格乐观，态度踏实，积极上进;

数据工程岗位职责9

　　职责：

　　1、利用数据挖掘、机器学习相关算法，解决业务需求，提高产品的用户体验；

　　2、对海量的业务数据、用户数据进行挖掘分析，发现数据和业务背后的规律；

　　3、针对业务流程进行分析调研，探索提升转化率效果的'思路和方案并推动转化、

　　岗位要求：

　　1、熟悉大规模数据挖掘、机器学习、分布式计算等相关技术，能熟练使用聚类、回归、分类等算法并调优；

　　2、熟悉Linux环境开发，至少熟悉java/PHP/Python/Scala/Go/C/C++等语言中一种或一种以上；

　　3、熟悉基于Spark、ElasticSearch、hbase等大数据平台的相关开发；

　　4、有深度学习实践经验者优先，有sparkmlib经验者优先。

数据工程岗位职责10

　　职责：

　　1、负责公司服务器日常维护及监控，提供系统功能方面的服务和支持。

　　2、负责机房巡检及相关故障、疑难问题排查处理；

　　3、负责公司办公电脑软硬件及其外设日常维护；

　　任职资格：

　　1、熟悉微软windows系列操作系统，熟悉Windows Server产品，有域控管理经验；

　　2、熟练掌握VMware虚拟化软件的使用，有虚拟主机维护经验者优先；

　　3、熟悉EXchange server邮件产品，有相关的'安装配置经验；

　　4、能够熟练使用常用的服务器系统监控软件等；

　　5、熟悉计算机硬件、windows操作系统及应用软件日常故障排除；

　　6、工作认真、仔细，有强烈的责任感和良好的沟通能力；

　　7、专科及以上学历，1年以上相关工作经验，计算机相关专业；

　　8、有MCSE、RHCE等证书者优先；

数据工程岗位职责11

　　工作职责：

　　1.负责Hadoop及相关组件的部署和维护，保证其稳定运行；

　　2.开发和使用Hadoop大数据自动化运维与监控工具；

　　3.基于大数据应用需求，不断调整和优化Hadoop框架及组件的配置，提升性能；

　　4.为数据仓库、数据挖掘建模等数据应用项目提供运行环境支持；

　　任职要求：

　　1.本科及以上学历，计算机相关专业，2年以上相关工作经验；

　　2.熟悉Linux开发环境和shell脚本；

　　3.熟悉Hadoop及其相关组件部署维护，有实际大数据集群运维经验；

　　4.熟悉IT系统基础架构及网络原理，具备大型集群运维经验；

　　5.熟悉数据仓库。

数据工程岗位职责12

　　职责：

　　1、参与大规模数据快速查询系统的架构设计和开发;

　　2、大规模数据挖掘和机器学习算法的实现;

　　3、在线和离线海量数据分析平台的`开发;

　　4、研究大数据前沿技术，提升系统的运维效率;

　　5、实现大数据基础架构平台的自动化运维。

　　任职要求：

　　1、计算机相关专业,具有3年以上大数据开发经验，熟悉Java,Linux;

　　2、熟悉Hadoop大数据处理系统的开发,搭建及部署者优先

　　3、熟练地处理数据模型、数据ETL以及存储管理;

　　4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能独自进行Mapreduce程序开发者优先;

　　5、熟悉分布式系统概念、架构，有大规模分布式系统设计、实现、部署等经验;

　　6、有较强的书面与口头沟通表达能力，独立分析、解决问题的能力。

数据工程岗位职责13

　　职责：

　　1、对通信和金融业务数据进行分析和挖掘，满足研发和运营等部门的业务需求和决策需求;

　　2、能根据业务特点选择最合适的'数据挖掘算法，并做调优;

　　3、支持数据分析、挖掘算法平台的部署和日常运营;

　　4、撰写分析类报告。

　　任职资格：

　　1、大学本科或本科以上统计学、数学或其他相关专业，对数据结构熟悉;

　　2、熟练使用python进行数据分析、处理、可视化。熟悉numpy/pandas/matplotlib等常用模块。熟练使用sql,最好用过hive-sql或spark-sql;

　　3、对hadoop/spark有一定了解。能够简单使用hadoop系列命令;

　　4、对线性回归，决策森林，xgboost，评分卡等数据挖掘相关算法有一定了解;

　　5、做过web接口调试，熟悉json者优先;

　　6、熟练掌握PPT和EXCEL制作;

　　7、具备良好的学习、沟通与表达能力，具有较强的团队合作精神，对工作富有热情，能承受工作压力;

　　8、有运营商或金融类相关数据经验工作优先考虑;

　　9、能适应中长期现场出差。

数据工程岗位职责14

　　1、光学工程/应用光学等相关专业，本科以上学历，3年以上工作经验;

　　2、熟练使用Zemax等光学机械设计软件;做事认真细致;态度积极向上。

　　3、了解掌握光学设备的`装调和技术问题的解决;

　　4、动手能力强，能够熟练设计光学系统的装调方案，熟悉光学设备定标的实际操作;

　　5、有激光工作经验优先、最好做过激光设备调试及售后工作。

数据工程岗位职责15

　　相关文件的定义和编写

　　2.生产良率和抛料率的监控和改善

　　3.生产异常的分析解决

　　4.技术人员的班别安排

　　5.设备保养的安排和作业follow

　　6.设备故障维修&coordinator

　　7.配合新产品导入或者其他需求的`试产验证

　　8.主管交付的其他事项

【数据工程岗位职责】相关文章：