【岗位职责】
1、负责大数据技术及团队建设;
2、建立实时和离线大数据处理流程,为上层应用提供各种数据输出;
3、按进度和质量要求完成核心业务的编码实现工作;
4、负责公司产品研发过程中的数据计算及存储设计;
5、负责架构优化及系统关键模块的设计开发,协助团队解决开发过程中的技术难题;
【任职要求】
1、本科及以上学历,计算机、软件工程、应用数学、自动化等相关专业;
2、5年以上Java或.net功底及项目经验和开发经验;
3、3年以上大数据开发经验,熟悉大数据存储和分布式计算的基本原理,并具有大型分布式集群项目的开发经验,负责过大数据平台或数据仓库设计者优先,能够对分布式计算性能进行优化,熟练应用成熟的分布式缓存,熟悉分布式系统设计;
4、熟悉Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume、kylin、Flink等相关技术的基础架构,有至少一个以上存储、计算相关项目开发经验;
5、熟练掌握至少1种关系型数据库: sqlserver/mysql/oracle, 对索引, 事务, 复制, 读写分离, 分表分库, 对应用场景有深入的理解和实战经验;
6、掌握1种或多种消息中间件: ActiveMQ,Kafka, RabbitMQ;
7、至少掌握1种分布式搜索中间件: solr,elasticsearch;
8、有一定的数据分析和挖掘能力,对新技术敏感,能及时发现和分析其中隐含的变化和问题;
9、具有较强的沟通表达能力,具有良好的团队意识和协作精神