Tips
每个人都是自己的上帝。如果你自己都放弃自己了,还有谁会救你?每个人都在忙,有的忙着生,有的忙着死。忙着追名逐利的你,忙着柴米油盐的你,停下来想一秒:你的大脑,是不是已经被体制化了?你的上帝在哪里?。——肖申克的救赎
企业微信使用指南一:使用前准备 企业微信使用指南一:使用前准备
企业微信使用指南一:使用前准备一、注册企业微信​ 准备好创建人手机,访问企业微信官方注册页面(https://work.weixin.qq.com/wework_admin/register_wx),如实填写信息并勾选同意协议
2021-06-17
pandas数据处理笔记(一) pandas数据处理笔记(一)
pandas是Python最常用的数据分析处理包,使用起来也非常方便,在此做下记录。 案例场景客户公司使用我司系统,有部分数据需要从第三方公司的ERP系统获取,ERP系统没有程序接口获取数据,也不提供数据库访问权限,需要从不同报表导出数据
2021-03-07
ContOS7安装Python3&替换DataX的pPthon2脚本为Python3脚本 ContOS7安装Python3&替换DataX的pPthon2脚本为Python3脚本
前言DataX用了3个Python脚本来启动调度,官方版本是依赖Python2的,但是Python2已经不维护升级,刚写了个解析DataX日志的脚本也是用Python3,上次部署DataX-Web的时候发现已经有人用Python3重写了Da
2020-09-25
CentOS7安装和测试mssql-tools的bcp大数据导出 CentOS7安装和测试mssql-tools的bcp大数据导出
前言我司要进行大量数据抽取的场景主要是SQL Server到GreenPlum,已知GP的GPLOAD可以高效加载数据到GP,那么SQL Server有没有什么高效导出数据的工具呢?到微软的SQL文档里面查了一下,果然找到了一个叫‘大容量复
2020-07-27
DataX管理系统datax-web安装部署记录 DataX管理系统datax-web安装部署记录
前言DataX是阿里巴巴的一款开源ETL工具,但是他是纯代码操作的,并不方便小白使用。有大神基于DataX开发了一款datax-web的开源管理系统,可以通过web端配置自动生成DataX的job.json,且可以管理和监控DataX的调度
2020-07-21
CentOS安装MySQL8.0 CentOS安装MySQL8.0
MySQL8.0相对之前版本有了一些改动,本文记录一下CentOS7安装Mysql8.0的步骤。 由于centos默认源里面没有mysql,因此我们先下载rpm源,然后再安装: #回到用户目录 cd ~ #下载rpm wget http:/
2020-07-17
开源ETL工具DataX在Windows上安装部署 开源ETL工具DataX在Windows上安装部署
前言ETL是数仓平台里面非常重要的一个组件,此前使用上海绎维公司的Fone产品,BS结构图形化界面操作,虽有一些功能操作不便,但总体来说还是可以轻松上手的,现在公司内部尝试自建数据平台,在ETL工具选择上面发现开源且有图形化界面的只有CS架
2020-07-16
windows上安装Greenplum的客户端使用gpload windows上安装Greenplum的客户端使用gpload
前言公司数据中心搭建了一套Greenplum数仓,而我们团队有许多数据目前依赖别人的数仓进行抽取和提供,由于源数据库在内网,跟公司GP网络并不互通,因此想要利用一个可以同时访问两边数据的服务器作为ETL服务器,进而实现数据同步。同事对GP的
2020-07-13
使用frp实现内网穿透 使用frp实现内网穿透
前言前一段时间 被TeamViewer折磨得够呛,各种‘检测到商业行为’和‘连接失败,未知原因’,因此决心要找到可以远程操控的替代方案,度娘上看了一圈,对以下两个比较有兴趣: frp内网穿透:配置简单,需要一个vps做服务器,所有数据流量
2020-06-17
1 / 3