分类
摘要：
防盗链原理
http标准协议中有专门的字段记录referer
一来可以追溯上一个入站地址是什么
二来对于资源文件，可以跟踪到包含显示他的网页地址是什么
因此所有防盗链方法都是基于这个Referer字段
so:很多网站使用防盗链的方法来设置反爬虫机制，设置这种机制后通过图片路由直接访问会返回40... 阅读原文
2019-08-07 08:23:03 阅读(2432) 评论(0)
摘要：
最近，Python编程语言出现了意想不到的变化，经过一些预测之后，它将成为世界上最领先的编程语言。
正如我们所看到的，数以百万计的人正在使用Python，并且几乎没有迹象表明用户的指数增长正在逐渐减少，并且对这种增长的可持续性存在疑问。
最近的Python语言峰会警告说，如果对移动和新web平台的支持得不到改善，... 阅读原文
2019-08-07 07:51:02 阅读(2352) 评论(0)
摘要：
前言
其实很简短就是利用爬虫的第三方库Requests与BeautifulSoup。
其实就几行代码，但希望没有开发基础的人也能一下子看明白，所以大神请绕行。
基本环境配置
python 版本：2.7
IDE ：pycharm
相关模块
import urllib2
import io
import rand... 阅读原文
2019-08-07 06:00:11 阅读(2410) 评论(0)
摘要：
零基础学习pythonDay1
1.首先介绍一下python
Python的优缺点
Python的优点很多，简单的可以总结为以下几点。
简单和明确，做一件事只有一种方法。
学习曲线低，跟其他很多语言相比，Python更容易上手。
开放源代码，拥有强大的社区和生态圈。
解释型语言，天生具有平台可移植性。
... 阅读原文
2019-08-07 00:44:05 阅读(2412) 评论(0)
摘要：
类的使用示例：
class Student:
name="" #类的成员变量，公有的
age=0 #python中定义变量时必须要赋值
def __init__(self,name,age): #构造函数
self.name=name
... 阅读原文
2019-08-07 00:34:01 阅读(2549) 评论(0)
摘要：
设置ip代理是爬虫必不可少的技巧；
查看本机ip地址；打开百度，输入“ip地址”，可以看到本机的IP地址；
本文使用的是goubanjia.com里面的免费ip；
使用时注意要注意传输协议是http还是https，代码如下；
# 用到的库
import requests
# 写入... 阅读原文
2019-08-06 23:02:03 阅读(2380) 评论(0)
摘要：
有一个难点是遇到了 pandas返回的数据类型，DataFrame（） 函数处理才能写入到csv文件里
import pandas as pd
import requests
from bs4 import BeautifulSoup
import csv
url = "http://www... 阅读原文
2019-08-06 22:52:02 阅读(2329) 评论(0)
摘要：
一、for语句：
for 目标 in 表达式：
循环体
1 i = "湖人总冠军"
2 for each in i:
3 print(each)
4 湖
5 人
6 总
7 冠
8 军
9 for each in i:
10 print(e... 阅读原文
2019-08-06 21:26:02 阅读(2378) 评论(0)
摘要：
话不多说，直接上代码；
# 需要的库
import requests
import re
import os
from multiprocessing import Pool
# 请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT ... 阅读原文
2019-08-06 20:26:04 阅读(2350) 评论(0)
摘要：
一、通信socket
socket()函数
Python 中，我们用 socket（）函数来创建套接字，语法格式如下：
socket.socket([family[, type[, proto]]])
参数
family: 套接字家族可以使AF_UNIX或者AF_INET
type: 套接字类型可以根据... 阅读原文
2019-08-06 19:32:03 阅读(2399) 评论(0)