分类
摘要：
学习爬虫有一段时间了，今天使用Scrapy框架将校花网的图片爬取到本地。Scrapy爬虫框架相对于使用requests库进行网页的爬取，拥有更高的性能。
Scrapy官方定义：Scrapy是用于抓取网站并提取结构化数据的应用程序框架，可用于广泛的有用应用程序，如数据挖掘，信息处理或历史存档。
建立Scrapy爬虫工程... 阅读原文
2017-10-23 06:31:02 阅读(810) 评论(0)
摘要：
1、取绝对值函数：abs() 。
2、比较函数： cmp(x, y) ，需要两个参数，如果 x<y，返回 -1，如果 x==y，返回 0，如果 x>y，返回 1。
3、int()函数可以把其他数据类型转换为整数。
4、str()函数把其他类型转换成 str。
阅读原文
2017-10-23 06:00:32 阅读(832) 评论(0)
摘要：
Twisted是用Python实现的基于事件驱动的网络引擎框架，Twisted支持许多常见的传输及应用层协议，包括TCP、UDP、SSL/TLS、HTTP、IMAP、SSH、IRC以及FTP。就像Python一样，Twisted也具有“内置电池”（batteries-included）的特点。Twisted对于其支持... 阅读原文
2017-10-23 00:39:01 阅读(846) 评论(0)
摘要：
1.功能简介
此程序模拟员工信息数据库操作，按照语法输入指令即能实现员工信息的增、删、改、查功能。
2.实现方法
架构：
本程序采用python语言编写，关键在于指令的解析和执行：其中指令解析主要运用了正则表达式来高效匹配有效信息；指令执行通过一个commd_exe主执行函数和增、删、改、查4个子执行函数来实... 阅读原文
2017-10-23 00:18:03 阅读(754) 评论(0)
摘要：
一 代码编排1 缩进。4个空格的缩进（编辑器都可以完成此功能），不使用Tap，更不能混合使用Tap和空格。2 每行最大长度79，换行可以使用反斜杠，最好使用圆括号。换行点要在操作符的后边敲回车。3 类和top-level函数定义之间空两行；类中的方法定义之间空一行；函数内逻辑无关段落之间空一行；其他地方尽量不要再空行... 阅读原文
2017-10-23 00:13:01 阅读(805) 评论(0)
摘要：
0x00 Base64简介
0x01 常用场景举例
0x02 编、解码流程
0x03 Python中Base64编码与解码
0x00 Base64简介
我们知道在计算机中任何数据都是按ascii码存储的，而ascii码的128～255之间的值是不可见字符。而在网络上交换数据时，比如说从A... 阅读原文
2017-10-22 23:15:01 阅读(804) 评论(0)
摘要：
FIRSTCRM
学员管理开发需求： 1.分讲师\学员\课程顾问角色, 2.学员可以属于多个班级,学员成绩按课程分别统计 3.每个班级至少包含一个或多个讲师 4.一个学员要有状态转化的过程 ,比如未报名前,报名后,毕业老学员 5.客户要有咨询纪录, 后续的定期跟踪纪录也要保存 6... 阅读原文
2017-10-22 21:59:01 阅读(818) 评论(0)
摘要：
问题描述
利用搜狗的微信搜索抓取指定公众号的最新一条推送，并保存相应的网页至本地。
注意点
搜狗微信获取的地址为临时链接，具有时效性。
公众号为动态网页(JavaScript渲染)，使用requests.get()获取的内容是不含推送消息的，这里使用selenium+PhantomJS处理
代码
#! /usr/... 阅读原文
2017-10-22 20:20:07 阅读(790) 评论(0)
摘要：
os.getcwd() 获取当前工作目录，即当前python脚本工作的目录路径
os.chdir("dirname") 改变当前脚本工作目录；相当于shell下cd
os.curdir 返回当前目录: ('.')
os.pa... 阅读原文
2017-10-22 19:59:01 阅读(810) 评论(0)
摘要：
今天在调试项目开发好的一个模块的时候，发现了一个很诡异的现象，最后追踪发现是因为在项目中事务处理有误所致。这个问题坑了我好一会，所以记录一下，以免再踩坑。下面开始详述。
我们都知道 Django 框架提供了很多的开启事务的方式，这在后面会有详述。笔者比较喜欢使用的是使用 @transaction.atomic 装饰的... 阅读原文
2017-10-22 16:02:02 阅读(836) 评论(0)