归档 | 无咎

2020

06

09

Scrapy使用日志logging一、setting启用日志先在项目根目录创建文件夹log，然后在setting.py里面增加以下代码： #日志存储在log文件夹下，以log日期命名，每天一个日志文件 #获取当前时间 import date

2020-06-09 Scrapy

07

Scrapy自带的图片和文件下载器

前言我们在使用Scrapy爬取资料时，除了获取页面看得到的文本信息外，经常会遇到需要下载图片或文件的情况，这个时候就可以使用Scrapy自带的下载起来下载，下面我们来学习一下Scrapy里面图片和文件下载器的使用。应用案例简书上有对Fil

2020-06-07 Scrapy

Python Scrapy 爬虫 pipelines FilesPipeline ImagesPipeline

01

用Python词云库WordClound制作词云图片

前言之前练习Scrapy爬取网页文本，爬完后发现有2W多个TXT文档，如果一个个去看内容的话肯定不现实，这时突然想起了快速了解文本信息的‘词云’，因此萌生了用这2W多TXT文档制作一个词云图片快速了解核心内容的想法，顺便熟悉一下Python

2020-06-01 Python文件处理

Python os WordClound

05

31

使用python将四万多图片分文件夹存储

1 前言先说明下背景吧，之前学习Scrapy爬了一个网站的美女图片，爬完后发现数量居然有4W多个，此前完全没想到这么多，所以存储时直接放在了一个文件夹，导致现在打开文件夹时巨慢无比，因此想要批量给他们归个类，按不同的文件夹存储。爬取图片时

2020-05-31 Python文件处理

Python sqlalchemy os

30

Scrapy的pipelines使用sqlalchemy

前言Scrapy爬取到的数据可以使用MySql持久化存储，通常Scrapy通过在pipiline.py里面连接数据库获取游标，然后写原生SQL语句来插入数据到Mysql里面，所以一旦数据字段较多时，pipiline里面会出现大段SQL语句，

2020-05-30 Scrapy

Python Scrapy 爬虫 Xpath Mysql sqlalchemy pipelines

30

Scrapy中使用USER_AGENT模拟浏览器请求

前言在使用爬虫的过程中，经常遇到网站的一些反爬措施。通常Scrapy爬虫的请求头里面的用户代理user agent是固定的一种，很容易被识别出，因此许多网站将过滤指定user agent作为最基础的反爬手段，那么我们要绕开的方法就是每次请求

2020-05-30 Scrapy

Python Scrapy 爬虫 USER_AGENT

18

Django Web开发入门——Admin后台

上文中，我们说Django自带了一个强大的后台管理系统，那么强大在何处呢？本文来学习Django后台的强大之处。一、使用simpleui优化django后台页面前文中见到的Django原生后台巨丑无比，好在现在网上有很多好看的后台管理系统

2020-05-18 Django

Python Django Admin后台

17

Django Web开发入门——MVC框架开发新应用

接着上篇启动项目后，开始按Django的MVC框架开发新应用。创建APP并注册进入刚刚创建的项目目录，使用以下命令创建APP，命名为base: python manage.py startapp base 进入workdesk\setti

2020-05-17 Django

Python Django Web开发

17

对国光大佬Django重写Hexo博客项目的学习

前言前两天在Django群里看到国光大佬说用Django重写了自己博客后台，顺手点进他的Blog看了下，瞬间喜欢上了他博客的风格，经过一番研究，顺利给自己也部署了一个Blog，使用Hexo框架的Matery主题，全部xml配置，写文章直接到

2020-05-17 Django

Django Admin后台 Hexo

16

Django Web开发入门——启动项目

学习Django有一段时间了，现在整理一下笔记，发布到Bolg。环境安装使用PIP安装Django: pip install django Django原生支持多种数据库，此处我们使用MySQL，安装方式百度很多，此处不赘述。创建项目进

2020-05-16 Django

Python Django Web开发