招聘人数: 2人工作性质:全职
工作经验: 毕业生最低学历: 未填写
工作地点: 西安市截止日期: 2019-07-05
岗位职责:
1、负责大数据平台的设计和开发,数据仓库建模、数据预处理子系统的设计和开发;
2、负责海量数据的处理、分析、挖掘;
3、负责高并发、大存储的数据系统,实时计算处理系统的研发;
4、负责大数据平台通用数据处理框架开发。
5. 负责设计、构建和优化基于hadoop/Hbase的存储平台架构;
6. 负责整体提升hadoop/Hbase/Storm/Spark集群的高可用性、高性能、高扩展特性;
7. 带领团队攻克高并发、高稳定性,复杂业务模型等带来的各种挑战及技术难关;
8. 参与项目的系统设计和核心代码开发,指导和培训其他工程师;
任职要求:
1. 精通Java开发,2年以上Hadoop相关开发经验;
2. 对基于hadoop的大数据处理体系有深入认识,熟悉Hadoop、Hive和hbase、storm等开源项目;具备相关产品(hadoop/storm /hive/hbase)项目应用研发经验,能熟练掌握相关核心技术的工作机理;
3. 熟悉分布式系统、服务器负载均衡、分布式计算系统的工作机制,拥有memcache、redis、ehcache 、cache 等 nginx 开发经验,理解其原理和工作模式;
4. 熟悉Linux系统,具备shell、perl等脚本开发能力;
5. 熟悉全文检索技术,如solr、lucene等使用;
6. 对hadoop的Map/Reduce原理有深入研究,有相关项目的实际开发经验;
7. 具有大规模数据平台,高并发大型系统,大数据等架构设计和开发经验;具有丰富的数据分析、挖掘和数据仓库建模的项目实践经验;
8. 具备数据库系统基本理论知识,至少掌握一种主流商业数据库产品如Oralce的管理和应用,精通SQL语言,精通存储过程;有一定数据仓库使用经验者优先
9. 具有良好的沟通、组织和领导能力,优秀的分析问题和解决问题的能力,对解决具有挑战性问题充满激情,具备强烈的进取心和优秀团队合作精神;
10.有网络编程、分布式计算等学科背景或编程经验者优先
11.对某一个基于分布式的开源框架的源代码有深入研究者优先