摘要: 大家或许知道,Python 为了提高内存的利用效率,采用了一套共用对象内存的分配策略。 例如,对于那些数值较小的数字对象([-5, 256])、布尔值对象、None 对象、较短的字符串对象(通常 是 20)等等,字面量相等的对象实际上是同一个对象。 # 共用内存地址的例子 a = 100 b = 100 s ... 阅读原文
2019-09-14 17:31:05 阅读(2356) 评论(0)
摘要: 进程和线程 进程是程序运行的实例。一个进程里面可以包含多个线程,因此同一进程下的多个线程之间可以共享线程内的所有资源,它是操作系统动态运行的基本单元;每一个线程是进程下的一个实例,可以动态调度和独立运行,由于线程和进程有很多类似的特点,因此,线程又被称为轻量级的进程。线程的运行在进程之下,进程的存在依赖于线程... 阅读原文
2019-09-14 17:08:02 阅读(2909) 评论(0)
摘要: from django.shortcuts import render,redirect # Create your views here. import datetime def login(request): print("COOKIES",request.COOKIES) ... 阅读原文
2019-09-14 16:13:01 阅读(2347) 评论(0)
摘要: 之前我们说网站反爬虫的一个常用方法是检测ip,限制访问频率。所以我们要通过设置代理ip的办法绕过这个限制。有不少提供免费代理ip的网站,像https://www.xicidaili.com/nt/,我们可以从网站上拿到很多代理ip。但是这些ip并不是每个都能用的,或者说,没几个能用的。   我们可以用be... 阅读原文
2019-09-14 16:11:01 阅读(2285) 评论(0)
摘要:   阅读原文
2019-09-14 15:44:03 阅读(2294) 评论(0)
摘要: 一、继承 ''' 1、什么是继承 继承是一种新建类的方式,新建的类称之为子类,被继承的类称之为基类、父类、超类 继承描述的是一种“遗传”的关系:子类可以重用父类的属性 在python中的继承注意两点: 1. 在python中支持一个子类同时继承多个父类, 2. python中类... 阅读原文
2019-09-14 14:16:08 阅读(2309) 评论(0)
摘要: 引言:     上次课学习了python turtle库的基本使用,向前向后和转向。本次课需要画多个图形,简单的东西多起来就变得不简单了。   0/1是简单的,但却能组成丰富多彩的多媒体世界。 课程内容:   1. 再看python turtle库   2. 画一个正方形,画两个正方形,画多个正方形... 阅读原文
2019-09-14 12:41:08 阅读(2527) 评论(0)
摘要: 场景描述 线上mysql数据库里面有张表保存有每天的统计结果,每天有1千多万条,这是我们意想不到的,统计结果咋有这么多。运维找过来,磁盘占了200G,最后问了运营,可以只保留最近3天的,前面的数据,只能删了。删,怎么删? 因为这是线上数据库,里面存放有很多其它数据表,如果直接删除这张表的数据,肯定不行,可能会... 阅读原文
2019-09-14 10:49:01 阅读(2518) 评论(0)
摘要: 爬虫用久了,总是会被封的。——鲁迅   有些网站,特别是一些陈年老站,没有做过反爬虫机制的,我们可以尽情地爬,愉快地爬,把它们的底裤。。数据全都爬下来。最多出于情怀考虑,我们爬慢一点,不给它的服务器太大压力。但是对于有反爬虫机制的网站,我们不能这样。   U-A校验   最简单的反爬虫机制应该是U... 阅读原文
2019-09-14 10:11:02 阅读(2669) 评论(0)
摘要: 9 月 6 日下午,多位业内人士称,杭州知名大数据服务公司杭州魔蝎数据科技有限公司,疑似被相关执法人员控制,其中一位周姓核心高管人员被警方带走。 以上是前几天技术圈传播的一则新闻,又一家数据公司被调查,很多数据从业者、爬虫开发者发出了“感叹” —— 「爬虫用得好,XX进得早;数据玩得溜,XX吃个够」。 魔... 阅读原文
2019-09-14 08:28:03 阅读(2310) 评论(0)