分类
摘要：
import random
import base64
#方法一
#设置代理ip
class IpProxyDownLoadMiddleWares(object):
Proxys=['178.44.170.152:8080','110.44.113.182:8080','209.126.... 阅读原文
2020-06-24 14:06:03 阅读(2408) 评论(0)
摘要：
Scrapy入门实战
采集目标：采集西祠网的IP代理 包括 IP PORT
1. 新建项目
scrapy startproject xicidailiSpider
# scrapy 新建项目 项目名
2. 创建爬虫
scrapy genspider xicidaili xicidaili.com
# sc... 阅读原文
2020-06-24 12:23:02 阅读(2275) 评论(0)
摘要：
Scrapy快速入门
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，它使用Twisted这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。个人认为Scrapy是Python世界里面最强大的爬虫框架，没有之一，它比BeautifulSoup更加完善，... 阅读原文
2020-06-24 12:12:03 阅读(2384) 评论(0)
摘要：
当今大数据的时代，网络爬虫已经成为了获取数据的一个重要手段。
但要学习好爬虫并没有那么简单。首先知识点和方向实在是太多了，它关系到了计算机网络、编程基础、前端开发、后端开发、App 开发与逆向、网络安全、数据库、运维、机器学习、数据分析等各个方向的内容，它像一张大网一样把现在一些主流的技术栈都连接在了一起。正... 阅读原文
2020-06-24 09:52:02 阅读(2875) 评论(0)
摘要：
案例故事: 接Python mediainfo批量重命名图片文件，测试图片是批量重命名好了，
但是将测试图片放于一个文件夹相册，图库App并不能显示图片信息，
为了测试的方便性， 需要把图片放到对应的文件夹下，这些文件夹导入手机后，
图库App则就会以相册的形式加载这些文件夹，效果如下:
根据相册名，点击... 阅读原文
2020-06-24 00:05:03 阅读(2359) 评论(0)
摘要：
import numpy
from matplotlib import pyplot
from matplotlib import animation
def update_points(num):
point_ani.set_data(x[num],y[num]) #更新... 阅读原文
2020-06-24 00:00:02 阅读(2386) 评论(0)
摘要：
def excel_to_json(file_name): wb = load_workbook(file_name) all_data = defaultdict(list) for sheet_name in wb.sheetnames: rows = list(wb[sh... 阅读原文
2020-06-23 21:46:02 阅读(2327) 评论(0)
摘要：
def get_arbitrage_contract_detail_num(): sql = """select A,count(A) from tablename group by A """ data = query_db(sql) key = [row[0] for row in da... 阅读原文
2020-06-23 20:08:03 阅读(2360) 评论(0)
摘要：
一、介绍
1、工具目标:
1）执行adb devices,shell,root,pull命令；
2）有图形界面，可以傻瓜式操作
2、方法：
经过技术可行性分析，可以使用python3，PyQt5，pyinstaller，subprocess.run，adb等技术实现目标
3、原理：使用python... 阅读原文
2020-06-23 19:02:04 阅读(2716) 评论(0)
摘要：
每种编程语言都会有一些特殊的单词，称为关键词。对待关键词的基本要求是，你在命名的时候要避免与之重复。本文将介绍一下Python中的关键词。关键词不是内置函数或者内置对象类型，虽然在命名的时候同样也最好不要与这些重名，但是，毕竟你还可以使用与内置函数或者内置对象类型重名的名称来命名。关键词则不同，它是不允许你使... 阅读原文
2020-06-23 18:39:03 阅读(2598) 评论(0)