分类
摘要：
很多时候，在爬取没有登录的情况下，我们也可以访问一部分页面或请求一些接口，因为毕竟网站本身需要做 SEO，不会对所有页面都设置登录限制。
但是，不登录直接爬取会有一些弊端，弊端主要有以下两点。
很多人学习python，不知道从何学起。很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。很多已... 阅读原文
2020-08-07 06:00:55 阅读(2448) 评论(0)
摘要：
接下来，我们将实现微信朋友圈的爬取。
如果直接用 Charles 或 mitmproxy 来监听微信朋友圈的接口数据，这是无法实现爬取的，因为数据都是被加密的。而 Appium 不同，Appium 作为一个自动化测试工具可以直接模拟 App 的操作并可以获取当前所见的内容。所以只要 App 显示了内容，我们就... 阅读原文
2020-08-07 00:44:29 阅读(2408) 评论(0)
摘要：
11.6 Appium+mitmdump 爬取京东商品
在前文中，我们曾经用 Charles 分析过京东商品的评论数据，但是可以发现其参数相当复杂，Form 表单有很多加密参数。如果我们只用 Charles 探测到这个接口链接和参数，还是无法直接构造请求的参数，构造的过程涉及一些加密算法，也就无法直接还原... 阅读原文
2020-08-07 00:44:20 阅读(2958) 评论(0)
摘要：
首先说一下这个有啥用?要说有用也没啥用,要说没用吧，既然能拿到这些数据，拿来做数据分析。能有效的得到职位信息，薪资信息等。也能为找工作更加简单吧，且能够比较有选择性的相匹配的职位及公司
很多人学习python，不知道从何学起。很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。很多已经做案例... 阅读原文
2020-08-07 00:34:17 阅读(3582) 评论(0)
摘要：
前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
作者：周颖
TypeError: unsupported operand type(s) for ^: 'float' and 'int'
解决办法：把乘方号^改成了**
参... 阅读原文
2020-08-06 23:53:03 阅读(2371) 评论(0)
摘要：
说起循环，发一张图，不知道能不能勾起大家小时候的回忆。
循环就是让指定的代码重复地执行。
python 中的 while 语句用于循环执行程序，即在某条件下，循环执行某段程序，以处理需要重复处理的相同任务。
当要求你在页面上打印5遍“Hello Python”，你可以写5行 print代码，但是如果要求打印... 阅读原文
2020-08-06 22:00:09 阅读(2412) 评论(0)
摘要：
爬取笔趣阁小说（搜索+爬取）
首先看看最终效果（gif）：
实现步骤：1.探查网站“http://www.xbiquge.la/”，看看网站的实现原理。
2.编写搜索功能（获取每本书目录的URL）。
3.编写写入功能（按章节写入文件）。
4.完善代码（修修bug，建了文件夹）... 阅读原文
2020-08-06 20:50:07 阅读(2403) 评论(0)
摘要：
确立需求目标
之所以写爬虫，肯定是有需求才会写，不然就没啥意义了。我们今天这个爬虫主要的任务就是，输入一个关键字，然后将京东返回的商品结果按一定的条件取得前十的商品名称和价格。知道了要干什么，就开始上干货吧。我也是一个初学者，不喜勿喷啊。
python3
urllib库
pyquery库
在爬取之前我们得... 阅读原文
2020-08-06 20:00:04 阅读(2410) 评论(0)
摘要：
from typing import List# 这道题我是用动态规划的方法来做的，# 时间复杂度是O(n~2)空间复杂度是O（n）。# 定义一个列表，其中用来存放当前数比前面几个数递增大。class Solution: def increasingTriplet(self, nums: List[in... 阅读原文
2020-08-06 18:13:01 阅读(2593) 评论(0)
摘要：
目录
QuantLib 金融计算——案例之固息债的久期、凸性和 BPS
概述
计算久期和凸性
三种久期
QuantLib 金融计算——案例之固息债的久期、凸性和 BPS
概述
从本篇开始计划开启一个系列，以《Interest Rate Risk Modeling》为蓝本，介绍有关利率风险的计算案例... 阅读原文
2020-08-06 16:46:31 阅读(2477) 评论(0)