一、etl开发工具有哪些
etl是用来描述将数据从来源端经过抽取、转换、加载至目的端的过程。
etl一词较常用在数据仓库,但其对象并不限于数据仓库。
etl所描述的过程,一般常见的作法包含etl或是ELT,并且混合使用。
通常愈大量的数据、复杂的转换逻辑、目的端为较强运算能力的数据库,愈偏向使用 ELT,以便运用目的端数据库的平行处理能力。
etl的流程可以用任何的编程语言去开发完成,由于etl是极为复杂的过程,而手写程序不易管理,有愈来愈多的企业采用工具协助etl的开发,并运用其内置的metadata功能来存储来源与目的的对应以及转换规则。
二、etl开发项目
是靠谱公司。北京兰天马科技有限公司于2018年03月14日成立。法定代表人侯红艳。
公司经营范围包括:人力资源服务;技术服务、技术转让、技术开发、技术推广、技术咨询;软件开发;计算机系统服务;基础软件服务、应用软件服务(不含医用软件);经济贸易咨询、企业管理咨询(不含中介服务);企业管理;组织文化艺术交流活动(不含演出);承办展览展示活动;销售计算机软、硬件及辅助设备等。
三、etl开发必备技术
岗位职责:
1、参与大数据项目各类数据源ETL的接口设计和文档、流程规范;
2、负责项目中数据清洗、数据处理、数据校验相关开发工作;
3、负责数据预处理、数据导入等系统的设计和开发;
4、负责ETL流程的优化及解决ETL相关技术问题。
岗位要求:
1、计算机软件相关专业本科及以上学历,4年及以上数据库\ ETL相关开发工作经验;
2、熟悉Oracle数据库;熟悉UNIX/LINUX 命令,精通sql、pl/sql,Oracle下的sql优化;
3、熟练使用kettle、Informatica、datastage其中一种ETL工具;
4、精通etl架构,有一定的etl开发经验,了解日常作业的部署和调度。
5、能够适应短期的出差要求。
四、etl开发招聘
1、数据敏感性和探知欲、分析和解决问题的能力、良好的数据呈现能力。
2、工作认真、负责、严谨,有良好的团队合作精神。
3、有良好沟通能力和技巧。
4、有外语沟通能力、海外背景优先。
5、计算机、数学相关专业全日制本科及以上学历。
6、熟练使用SQL, 了解数仓ETL开发。
7、熟悉R、Python、Shell等脚本的至少一种语言,有实战经验的优先
五、etl开发过程
etl工程师累呀
ETL工程师做的是一些偏底层的脏活累活,不容易体现价值,一般3~5年后就会达到职业瓶颈。
程序员的工作确实很枯燥,也很累,不过收入尚可,如果你不是天才级别的程序员,没有什么其他的出路。
在中国顶尖的互联网公司里,ETL工程师的薪酬也比同级别的其他职位高出30%以上。