返回首页

etl开发工具有哪些

160 2023-07-02 09:16 admin

一、etl开发工具有哪些

etl是用来描述将数据从来源端经过抽取、转换、加载至目的端的过程。

etl一词较常用在数据仓库,但其对象并不限于数据仓库。

etl所描述的过程,一般常见的作法包含etl或是ELT,并且混合使用。

通常愈大量的数据、复杂的转换逻辑、目的端为较强运算能力的数据库,愈偏向使用 ELT,以便运用目的端数据库的平行处理能力。

etl的流程可以用任何的编程语言去开发完成,由于etl是极为复杂的过程,而手写程序不易管理,有愈来愈多的企业采用工具协助etl的开发,并运用其内置的metadata功能来存储来源与目的的对应以及转换规则。

二、etl开发项目

是靠谱公司。北京兰天马科技有限公司于2018年03月14日成立。法定代表人侯红艳。

公司经营范围包括:人力资源服务;技术服务、技术转让、技术开发、技术推广、技术咨询;软件开发;计算机系统服务;基础软件服务、应用软件服务(不含医用软件);经济贸易咨询、企业管理咨询(不含中介服务);企业管理;组织文化艺术交流活动(不含演出);承办展览展示活动;销售计算机软、硬件及辅助设备等。

三、etl开发必备技术

岗位职责:

1、参与大数据项目各类数据源ETL的接口设计和文档、流程规范;

2、负责项目中数据清洗、数据处理、数据校验相关开发工作;

3、负责数据预处理、数据导入等系统的设计和开发;

4、负责ETL流程的优化及解决ETL相关技术问题。

岗位要求:

1、计算机软件相关专业本科及以上学历,4年及以上数据库\ ETL相关开发工作经验;

2、熟悉Oracle数据库;熟悉UNIX/LINUX 命令,精通sql、pl/sql,Oracle下的sql优化;

3、熟练使用kettle、Informatica、datastage其中一种ETL工具;

4、精通etl架构,有一定的etl开发经验,了解日常作业的部署和调度。

5、能够适应短期的出差要求。

四、etl开发招聘

1、数据敏感性和探知欲、分析和解决问题的能力、良好的数据呈现能力。

2、工作认真、负责、严谨,有良好的团队合作精神。

3、有良好沟通能力和技巧。

4、有外语沟通能力、海外背景优先。

5、计算机、数学相关专业全日制本科及以上学历。

6、熟练使用SQL, 了解数仓ETL开发。

7、熟悉R、Python、Shell等脚本的至少一种语言,有实战经验的优先

五、etl开发过程

etl工程师累呀

ETL工程师做的是一些偏底层的脏活累活,不容易体现价值,一般3~5年后就会达到职业瓶颈。

程序员的工作确实很枯燥,也很累,不过收入尚可,如果你不是天才级别的程序员,没有什么其他的出路。

在中国顶尖的互联网公司里,ETL工程师的薪酬也比同级别的其他职位高出30%以上。