高级大数据工程师

【岗位职责】
1、负责大数据技术及团队建设；
2、建立实时和离线大数据处理流程，为上层应用提供各种数据输出；
3、按进度和质量要求完成核心业务的编码实现工作；
4、负责公司产品研发过程中的数据计算及存储设计；
5、负责架构优化及系统关键模块的设计开发，协助团队解决开发过程中的技术难题；
【任职要求】
1、本科及以上学历，计算机、软件工程、应用数学、自动化等相关专业；
2、5年以上Java或.net功底及项目经验和开发经验；
3、3年以上大数据开发经验，熟悉大数据存储和分布式计算的基本原理，并具有大型分布式集群项目的开发经验，负责过大数据平台或数据仓库设计者优先，能够对分布式计算性能进行优化，熟练应用成熟的分布式缓存，熟悉分布式系统设计；
4、熟悉Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume、kylin、Flink等相关技术的基础架构，有至少一个以上存储、计算相关项目开发经验；
5、熟练掌握至少1种关系型数据库: sqlserver/mysql/oracle, 对索引, 事务, 复制, 读写分离, 分表分库, 对应用场景有深入的理解和实战经验；
6、掌握1种或多种消息中间件: ActiveMQ,Kafka, RabbitMQ；
7、至少掌握1种分布式搜索中间件: solr,elasticsearch；
8、有一定的数据分析和挖掘能力，对新技术敏感，能及时发现和分析其中隐含的变化和问题；
9、具有较强的沟通表达能力，具有良好的团队意识和协作精神