分类
摘要:
半次元COS图爬取-写在前面
今天在浏览网站的时候,忽然一个莫名的链接指引着我跳转到了半次元网站 https://bcy.net/ 打开之后,发现也没有什么有意思的内容,职业的敏感让我瞬间联想到了 cosplay ,这种网站必然会有这个的存在啊,于是乎,我准备好我的大爬虫了。
把上面的链接打开之后,被我发... 阅读原文
2019-05-05 13:30:19 阅读(2855) 评论(0)
摘要:
网络编程-SOCKET开发
网络编程架构分类
B/S架构
B指的是web(网页),S指的是Server(服务端软件)
C/S架构
C指的是Client(客户端软件),S指的是Server(服务端软件)
OSI七层模型
OSI七层模型设计的目的
是成为一个所有计算机厂商都能实... 阅读原文
2019-05-05 12:34:28 阅读(2370) 评论(0)
摘要:
1 知识大纲
列表的初识
列表的索引切片
列表的增删改查
列表的嵌套
元组的初识(了解)
元组的简单应用(了解)
range
2 主要内容
1.列表的初识
why:
字符串: 存储少量的数据。字符串只能存储少量的数据,对于大量的数据用字符串操作不方便也不易存储。
字符串:无论切片还是对其进行任何操作,获取... 阅读原文
2019-05-05 12:01:01 阅读(2413) 评论(0)
摘要:
类:
Python中的类是一个抽象的概念,甚至比函数还要抽象。可以把它简单的看作是数据以及由存取、操作这些数据的方法所组成的一个集合。类是Python的核心概念,是面向对象编程的基础。
类有如下的优点:
类对象是多态的:也就是具有多种形态,意味着我们可以对不同的类对象使用同样的操作方法... 阅读原文
2019-05-05 10:48:01 阅读(2304) 评论(0)
摘要:
网络编程
# notes 要点网络编程
客户端/服务器架构
客户端/服务器网络编程
套接字是计算机网络数据结构。在任何类型的通信开始之前,网络应用程序必须创建套接字。可以将它们比作电话插孔,没有它将无法进行通信。
进程间通信(Inter Process Communication)
地址家族(addres... 阅读原文
2019-05-05 10:40:04 阅读(3505) 评论(0)
摘要:
蜂鸟网图片--简介
今天玩点新鲜的,使用一个新库 aiohttp ,利用它提高咱爬虫的爬取速度。
安装模块常规套路
pip install aiohttp
运行之后等待,安装完毕,想要深造,那么官方文档必备 :https://aiohttp.readthedocs.io/en/stable/
接下来就可... 阅读原文
2019-05-05 09:52:28 阅读(3528) 评论(0)
摘要:
引言
回想Django的部署方式
以Django为代表的python web应用部署时采用wsgi协议与服务器对接(被服务器托管),而这类服务器通常都是基于多线程的,也就是说每一个网络请求服务器都会有一个对应的线程来用web应用(如Django)进行处理。
考虑两类应用场景
用户量大,高并发
如秒杀抢... 阅读原文
2019-05-05 09:47:07 阅读(2365) 评论(0)
摘要:
今天继续爬取一个网站,http://www.27270.com/ent/meinvtupian/ 这个网站具备反爬,so我们下载的代码有些地方处理的也不是很到位,大家重点学习思路,有啥建议可以在评论的地方跟我说说。
为了以后的网络请求操作方向,我们这次简单的进行一些代码的封装操作。
在这里你可以先去... 阅读原文
2019-05-05 07:52:26 阅读(2418) 评论(0)
摘要:
目录
正则表达式(了解)
数量词的贪婪模式与非贪婪模式
反斜杠的困扰
匹配模式
re模块的基本使用(掌握)
re模块中常用功能函数(掌握)
正则表达式的两种书写方式
re.co... 阅读原文
2019-05-05 06:00:03 阅读(2363) 评论(0)
摘要:
在Python中进程操作
multiprocessm模块
multiprocess.process模块
1 1 p.start():启动进程,并调用盖子进程的p.run()
2 2 p.run():进程启动时运行的方法,正是它去调用target指定的函数,我们自定义的类中一定要实现该方法
3 3 ... 阅读原文
2019-05-05 00:22:05 阅读(2364) 评论(0)