From faae5a261cf0f88b8efcb1d9e06042a235210b2b Mon Sep 17 00:00:00 2001 From: gaojia Date: Sun, 3 Mar 2024 21:13:43 +0800 Subject: [PATCH] =?UTF-8?q?=E6=8A=80=E6=9C=AF=E7=9F=A5=E8=AF=86=E5=BA=93/?= =?UTF-8?q?=E6=8A=80=E6=9C=AF=E6=96=87=E6=A1=A3/=E6=95=B0=E6=8D=AE/ETL?= =?UTF-8?q?=E5=B7=A5=E5=85=B7DataX=E4=B8=8EDataX-Web=E7=9A=84=E5=AE=89?= =?UTF-8?q?=E8=A3=85=E9=83=A8=E7=BD=B2.md=20updated?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...L工具DataX与DataX-Web的安装部署.md | 22 ++++++++++++++++++- 1 file changed, 21 insertions(+), 1 deletion(-) diff --git a/技术知识库/技术文档/数据/ETL工具DataX与DataX-Web的安装部署.md b/技术知识库/技术文档/数据/ETL工具DataX与DataX-Web的安装部署.md index ce17a1a..906ccd2 100644 --- a/技术知识库/技术文档/数据/ETL工具DataX与DataX-Web的安装部署.md +++ b/技术知识库/技术文档/数据/ETL工具DataX与DataX-Web的安装部署.md @@ -1,8 +1,28 @@ auth: 高佳、韩健 +**（一） 术语介绍** +DataX是一个开源的数据同步工具，而DataX-Web是构建在DataX之上的分布式数据同步工具，提供了可视化的操作界面。具体来说： +- **DataX**：DataX的主要作用是实现不同数据源之间的离线数据同步，它支持包括关系型数据库（例如MySQL、Oracle等）、HDFS、Hive、ODPS、HBase、FTP等多种异构数据源之间的稳定高效的数据迁移工作。DataX通过提供命令行工具和JSON配置文件的方式来执行数据同步任务，但这种方式在管理和多任务处理上存在一定的局限性。 +- **DataX-Web**：为了解决DataX在使用过程中的配置复杂性以及管理上的不便捷，DataX-Web应运而生。DataX-Web提供了一个简单易用的操作界面，降低了用户使用DataX的学习成本，并缩短了任务配置时间。此外，它还避免了配置过程中可能出现的错误，并支持远程分布式调用DataX的功能，使得多节点之间的协作变得更加容易控制。 + +总的来说，DataX适用于需要进行大规模数据迁移的场景，而DataX-Web则更适合需要简化操作流程和提升任务管理效率的用户。两者结合使用，可以有效提升数据处理的效率和便捷性。 + +**（二）工具安装** +一、下载tar包 +github地址：https://github.com/alibaba/DataX +下载tar包地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz + +二、上传tar包解压并安装 +上传至服务器/opt/下并解压 + + tar -xzvf datax.tar.gz + + + +**（三） 实际应用** \ No newline at end of file