分类
摘要:
scrapy提供了很多中间组件可以让我们更加自定义想要的效果,比如项目管道(item pipeline),下载中间件(downloader middleware),蜘蛛中间件(spider middleware)等。通过更改或者添加的方式我们可以实现很多的功能。这种中间组件就像钩子一样,在完成结果之前,修改部... 阅读原文
2020-05-19 22:27:04 阅读(2029) 评论(0)
摘要:
scrapy组件
首先我们看下scrapy官网提供的新结构图,乍一看这画的是啥啊,这需要你慢慢的理解其原理就很容易看懂了,这些都是一个通用爬虫框架该具有的一些基本组件。上一篇博客说了项目管道(也就是图中的ITEM PIPELINES),可以看到中间的引擎(ENGINE)将item传递给了项目管道,也就是让项... 阅读原文
2020-05-19 22:17:05 阅读(2192) 评论(0)
摘要:
报错信息如下所示
排查原因:本地打开了filder,导致安装失败
关闭filder,重试,安装成功
阅读原文
2020-05-19 20:39:03 阅读(2164) 评论(0)
摘要:
这几天看到了一个高大上的东东,它的名字叫水晶易表,名字超好听,它其实大有来头。
水晶易表是全球领先的商务智能软件商SAP Business Objects的最新产品,通常我们只需要简单的进行点击和拖拽操作,Crystal Xcelsius就可以令您静态的Excel电子表格充满生动的数据展示、动态表格、图像和可... 阅读原文
2020-05-19 20:22:02 阅读(2142) 评论(0)
摘要:
导入配置
如何优雅的导入scrapy中settings.py的配置参数呢?总不能用from scrapy import settings吧,或者from scrapy.settings import XXX吧。这看起来一点逼格都没有。
scrapy提供了导入设置的方法:from_crawler
@classm... 阅读原文
2020-05-19 19:57:02 阅读(2051) 评论(0)
摘要:
这篇博客说了怎么去hook微信来接收好友消息和发送消息,现在就来实现一下,写了个成品软件
软件下载地址:https://www.lanzous.com/ib4g30j
界面很简单,如图:(需要注意的是软件只匹配微信版本2.8.0.121)
主要也就两个功能。
1、自动聊天:使用腾讯AI开放平台的智能聊天,需要... 阅读原文
2020-05-19 19:15:06 阅读(2293) 评论(0)
摘要:
(一)二分查找
1、例如:抱着一堆书走出图书馆的时候,检测器突然响了(其中一本书没有消磁),现在要检查哪一本书没有消磁。
(1)比较耗时的方式就是,一本一本书用检测器都检查下。
(2)比较快的方式是:分成相等的2份,分别给检测器检测。引起报警的那一份,再分成2份,分别给检测器检测,重复这个过程,直到找到引起报... 阅读原文
2020-05-19 17:21:05 阅读(2206) 评论(0)
摘要:
前言:
这篇文章不是像评论区的某些大佬所想的那样是来炫技的,更多的是来给大家科普一些实用的渗透工具和方法,我相信不是所在的人都用过文中提到的这些方法。
很多人学习python,不知道从何学起。很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。很多已经做案例的人,却不知道如何去学习... 阅读原文
2020-05-19 16:33:07 阅读(2081) 评论(0)
摘要:
前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
项目背景
网上PDF转换工具眼花缭乱,选择困难症,有些甚至还收费;
直接以其他格式打开PDF效果一般较差;
有些小可爱通过复制粘贴的方式进行操作,浪费了大量的时间。
那... 阅读原文
2020-05-19 15:37:03 阅读(2053) 评论(0)
摘要:
微信机器人的实现有三种:web,app和exe。其中web很多账号受限登录不了,而hook app的话需要使用xposed则会封号,所以现在大部分机器人都是基于PC微信。
先实现一下最基本的机器人的功能:接收消息和发送消息。找相关call请看:https://blog.csdn.net/qq_38474570... 阅读原文
2020-05-19 14:27:06 阅读(1996) 评论(0)