etl工程师和数据分析师的区别
二者主要负责的工作内容不同。
etl工程师主要负责数据的接入,清洗,入库,能够保证业务人员使用。数据分析师主要负责数据监控,异动归因,以及数据的其他问题。
ETL工程师又叫数据库工程师。ETL工程师的主要工作内容有:从事系统编程、数据库编程与设计。数据分析师指的是不同行业中,专门从事行业数据搜集、整理、分析,并依据数据做出行业研究,评估和预测的专业人员。
ETL工程师是做什么的?
ETL工程师又叫数据库工程师。
ETL工程师的主要工作内容有:从事系统编程、数据库编程与设计。ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库,数据仓库技术没有严格的数学理论基础,它更面向实际工程应用。
所以从工程应用的角度来考虑,按着物理数据模型的要求加载数据并对数据进行一些系列处理,处理过程与经验直接相关,同时这部分的工作直接关系数据仓库中数据的质量,从而影响到联机分析处理和数据挖掘的结果的质量。
职业前景
从业务角度讲,随着数据应用的日益丰富,不同平台、系统的相互大批量数据交互成常态,仅仅满足于采集数据已经不适应业务需要,还需要能够为数据的目的端落地提供支撑,ETL工程师需要一个端到端的更适应业务需要的数据交换系统。
从技术角度讲,ETL做一定的扩展可以升级为兼具交换能力,两者有传承,可以实现平滑过渡,但交换却要考虑用另一个工具实现,同时未来大数据平台组件将异常丰富,相互之间的数据交换将是常态,必要要有更高级别的交换工具满足这些需求。
etl工程师是做什么的?工作内容是什么?
etl工程师是从事系统编程、数据库编程与设计,要掌握各种常用的编程语言的专业技术人员。也叫数据库工程师。
工作内容:
见岗位职责:
1. 海量数据的ETL开发,抽取成各种数据需求。
2. 参与数据仓库架构的设计及开发 。
3. 参与数据仓库ETL流程优化及解决ETL相关技术问题。
4、熟悉主流数据库技术,如oracle、Sql server、PostgeSQL等。
4、精通etl架构,有一定的etl开发经验,了解日常作业的部署和调度。
5、会数据etl开发工具,如Datastage,Congos,Kettle等。
ETL工程师要学什么?
技术方面:需要学习使用数据源、目标端工具的基本使用(如 oracle MySQL hive等);需要学习etl工具的安装配置常用错误解决(如 kettle DataStage infa sqoop datax等)
理论方面:懂得数仓分层架构,维度建模等。
从ETL的字面来看,它主要包含三大阶段,分别是数据抽取、数据转换、数据加载。
1.数据抽取
这个阶段的主要目标是汇总多种数据源,为下一步的转换做准备。
2.数据转换
这个阶段是ETL的核心环节,也是最复杂的环节。它的主要目标是将抽取到的各种数据,进行数据的清洗、格式的转换、缺失值填补、剔除重复等操作,最终得到一份格式统一、高度结构化、数据质量高、兼容性好的数据,为后续的分析决策提供可靠的数据支持。
3.数据加载
这个阶段的主要目标是把数据加载至目的地,比如数据仓库中。通常的做法是,将处理好的数据写成特定格式(如parquet、csv等)的文件,然后再把文件挂载到指定的表分区上。也有些表的数据量很小,不会采用分区表,而是直接生成最终的数据表。
了解了ETL这部分的工作主要做什么,接下来再来说作为ETL工程师需要具备哪些技能,这些也就是需要学习的重点——
1、精通SQL语言,具备存储过程开发能力,能熟练进行SQL查询优化;
2、熟悉Hive数据仓库设计,了解数据仓库模型及思想、维度建模思想,了解数据仓库;
3、熟悉Hadoop、Spark、Flink、Kafka等相关技术;
4、熟练Python、Java中至少一种语言;
5、熟悉Mysql、Nosql等常见数据库。
上述文章内容就是对etl工程师是做什么的和的详细解答,希望能够帮助到大家;如有其他更多疑问请关注华展网。
标签: etl工程师是做什么的