分类
摘要:
获取待爬取页面
今天继续爬取一个网站,http://www.27270.com/ent/meinvtupian/ 这个网站具备反爬,so我们下载的代码有些地方处理的也不是很到位,大家重点学习思路,有啥建议可以在评论的地方跟我说说。
为了以后的网络请求操作方向,我们这次简单的进行一些代码的封装操作。
在这里你可... 阅读原文
2018-12-17 20:46:31 阅读(8472) 评论(0)
摘要:
最近在学习Flask, 其中遇到了一个错误, 发现这个问题和Flask, 路由有关系, 所以就记了下来
错误代码:
from flask import Flask, render_template, request, redirect, session
app = Flask(__name_... 阅读原文
2018-12-17 20:14:31 阅读(10058) 评论(0)
摘要:
本人小白一枚,今天在使用selenium+webdriver的时候遇到了一个小问题:
WebDriverException: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.or... 阅读原文
2018-12-17 20:02:02 阅读(8204) 评论(0)
摘要:
pandas使用浮点值NaN表示浮点和非浮点数组中的缺失数据:
In [14]: string_data = Series(['aardvark','artichoke',np.nan,'avocado'])
In [15]: string_data
Out[15]:
0 aardvark
1 ar... 阅读原文
2018-12-17 18:30:42 阅读(8450) 评论(0)
摘要:
Python基础知识(35):电子邮件(Ⅱ)
收取邮件就是编写一个MUA作为客户端,从MDA把邮件获取到用户的电脑或者手机上
收取邮件最常用的协议是POP协议,目前版本号是3,俗称POP3
Python内置一个poplib模块,实现了POP3协议,可以直接用来收邮件
1、通过POP3协议下载邮件
获取最新的一封邮件内... 阅读原文
2018-12-17 17:51:02 阅读(8084) 评论(0)
摘要:
一、什么是rest_framework
它是基于Django的,帮助我们快速开发符合RESTful规范的接口框架。
安装方式有很多种,可以通过pip,或者在pycharm中安装也可以
二、APIView
它的作用和from django.views import View中的View作用... 阅读原文
2018-12-17 16:29:02 阅读(9722) 评论(0)
摘要:
概念:
Python中有一个有趣的语法,只要定义类型的时候,实现__call__函数,这个类型就成为可调用的。换句话说,我们可以把这个类型的对象当作函数来使用,相当于 重载了括号运算符。
示例:
所有的函数都是可调用对象。一个类实例也可以变成一个可调用对象,只需要实现一个特殊方法__call__ ,我们... 阅读原文
2018-12-17 14:33:03 阅读(8477) 评论(0)
摘要:
简介
上一篇写的时间有点长了,接下来继续把美空网的爬虫写完,这套教程中编写的爬虫在实际的工作中可能并不能给你增加多少有价值的技术点,因为它只是一套入门的教程,老鸟你自动绕过就可以了,或者带带我也行。
爬虫分析
首先,我们已经爬取到了N多的用户个人主页,我通过链接拼接获取到了
http://www.moko.cc/po... 阅读原文
2018-12-17 13:54:18 阅读(8263) 评论(0)
摘要:
网络请求不可避免会遇上请求超时的情况,在 requests 中,如果不设置你的程序可能会永远失去响应。超时又可分为连接超时和读取超时。
连接超时
连接超时指的是在你的客户端实现到远端机器端口的连接时(对应的是connect()),Request 等待的秒数。
import timeimport requestsurl... 阅读原文
2018-12-17 13:33:01 阅读(8325) 评论(0)
摘要:
本文介绍python中的while循环、for循环。在python中for可以用于循环,也可用于另一种近亲的列表解析,列表解析是python中非常重要的特性,详细内容见后面的文章。
一般来说,python写for循环比写while更容易、方便,而且python中的for比while效率要更高,如果可以,用for而不是... 阅读原文
2018-12-17 12:44:03 阅读(8960) 评论(0)