前尘入梦,相别不忘。
ContOS7安装Python3&替换DataX的pPthon2脚本为Python3脚本 ContOS7安装Python3&替换DataX的pPthon2脚本为Python3脚本
前言DataX用了3个Python脚本来启动调度,官方版本是依赖Python2的,但是Python2已经不维护升级,刚写了个解析DataX日志的脚本也是用Python3,上次部署DataX-Web的时候发现已经有人用Python3重写了Da
2020-09-25
CentOS7安装和测试mssql-tools的bcp大数据导出 CentOS7安装和测试mssql-tools的bcp大数据导出
前言我司要进行大量数据抽取的场景主要是SQL Server到GreenPlum,已知GP的GPLOAD可以高效加载数据到GP,那么SQL Server有没有什么高效导出数据的工具呢?到微软的SQL文档里面查了一下,果然找到了一个叫‘大容量复
2020-07-27
DataX管理系统datax-web安装部署记录 DataX管理系统datax-web安装部署记录
前言DataX是阿里巴巴的一款开源ETL工具,但是他是纯代码操作的,并不方便小白使用。有大神基于DataX开发了一款datax-web的开源管理系统,可以通过web端配置自动生成DataX的job.json,且可以管理和监控DataX的调度
2020-07-21
开源ETL工具DataX在Windows上安装部署 开源ETL工具DataX在Windows上安装部署
前言ETL是数仓平台里面非常重要的一个组件,此前使用上海绎维公司的Fone产品,BS结构图形化界面操作,虽有一些功能操作不便,但总体来说还是可以轻松上手的,现在公司内部尝试自建数据平台,在ETL工具选择上面发现开源且有图形化界面的只有CS架
2020-07-16
windows上安装Greenplum的客户端使用gpload windows上安装Greenplum的客户端使用gpload
前言公司数据中心搭建了一套Greenplum数仓,而我们团队有许多数据目前依赖别人的数仓进行抽取和提供,由于源数据库在内网,跟公司GP网络并不互通,因此想要利用一个可以同时访问两边数据的服务器作为ETL服务器,进而实现数据同步。同事对GP的
2020-07-13