前尘入梦，相别不忘。
  文章分类
数据平台 5 MySQL 1 Django 6 Hexo 2 Scrapy 5 Vue 1 Pandas 1 admin后台 1 企业微信 1 Python文件处理 2 other 1
ContOS7安装Python3&替换DataX的pPthon2脚本为Python3脚本 ContOS7安装Python3&替换DataX的pPthon2脚本为Python3脚本
前言DataX用了3个Python脚本来启动调度，官方版本是依赖Python2的，但是Python2已经不维护升级，刚写了个解析DataX日志的脚本也是用Python3，上次部署DataX-Web的时候发现已经有人用Python3重写了Da
2020-09-25 数据平台
CentOS DataX Python
CentOS7安装和测试mssql-tools的bcp大数据导出 CentOS7安装和测试mssql-tools的bcp大数据导出
前言我司要进行大量数据抽取的场景主要是SQL Server到GreenPlum，已知GP的GPLOAD可以高效加载数据到GP，那么SQL Server有没有什么高效导出数据的工具呢？到微软的SQL文档里面查了一下，果然找到了一个叫‘大容量复
2020-07-27 数据平台
SQL Server bcp Linux
DataX管理系统datax-web安装部署记录 DataX管理系统datax-web安装部署记录
前言DataX是阿里巴巴的一款开源ETL工具，但是他是纯代码操作的，并不方便小白使用。有大神基于DataX开发了一款datax-web的开源管理系统，可以通过web端配置自动生成DataX的job.json，且可以管理和监控DataX的调度
2020-07-21 数据平台
DataX ETL DataX-Web 任务调度 Java
开源ETL工具DataX在Windows上安装部署 开源ETL工具DataX在Windows上安装部署
前言ETL是数仓平台里面非常重要的一个组件，此前使用上海绎维公司的Fone产品，BS结构图形化界面操作，虽有一些功能操作不便，但总体来说还是可以轻松上手的，现在公司内部尝试自建数据平台，在ETL工具选择上面发现开源且有图形化界面的只有CS架
2020-07-16 数据平台
DataX ETL Java 数据平台
windows上安装Greenplum的客户端使用gpload windows上安装Greenplum的客户端使用gpload
前言公司数据中心搭建了一套Greenplum数仓，而我们团队有许多数据目前依赖别人的数仓进行抽取和提供，由于源数据库在内网，跟公司GP网络并不互通，因此想要利用一个可以同时访问两边数据的服务器作为ETL服务器，进而实现数据同步。同事对GP的
2020-07-13 数据平台
Python GreenPlum GPload 数据仓库