分类
摘要：
1，IPC-PIPE：
管道 pipe
from multiprocessing import Process
from multiprocessing import Pipe
p1,p2 = Pipe() #支持双向通信
# send
p1.send('菠萝蜜干')
# recv
print(p2.recv()... 阅读原文
2018-02-06 13:00:02 阅读(763) 评论(0)
摘要：
Django Rest Framework
一、rest api
a、api就是接口
如： - http://www.oldboyedu.com/get_user/
- http://www.oldboyedu.com/get_users/
b、api的两个用... 阅读原文
2018-02-06 11:28:04 阅读(759) 评论(0)
摘要：
前言
随着大数据时代的到来，爬虫已经成了获取数据的必不可少的方式，做过爬虫的想必都深有体会，爬取的时候莫名其妙 IP 就被网站封掉了，毕竟各大网站也不想自己的数据被轻易地爬走。
对于爬虫来说，为了解决封禁 IP 的问题，一个有效的方式就是使用代理，使用代理之后可以让爬虫伪装自己的真实 IP，如果使用大量的随机的代理进... 阅读原文
2018-02-06 11:03:10 阅读(740) 评论(0)
摘要：
xml: 介绍：包含关于可扩展标记语言xml的函数 使用： python有三种方法解析XML--SAX，DOM，以及ElementTree，由于xml技术落后，所以这里不对sax,dom介绍:
xml文本： <?xml version="1.0"?>
<data>
<f... 阅读原文
2018-02-06 09:14:03 阅读(766) 评论(0)
摘要：
本篇导航：
介绍
scrapy-redis组件
一、介绍
原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址）
所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的... 阅读原文
2018-02-06 09:06:06 阅读(787) 评论(0)
摘要：
1，生产者与消费者模型的矛盾在于数据供需的不平衡
import time
import random
from multiprocessing import Queue
from multiprocessing import Process
def producer(q,food):
for i in ra... 阅读原文
2018-02-06 08:38:02 阅读(723) 评论(0)
摘要：Python学名叫程序设计语言，是人和计算机交流的工具，在众多的编程语言中，python似乎是最接近自然语言的，也和其他语言最友好的，故而称为胶水语言，虽然并未得到证实，从我编写python的经历来看，昨天的学习方式最好了，把程序的流程搞清楚以后，就可以写出伪代码，接着再使用Python的语法使计算机能够明白这个逻辑，... 阅读原文
2018-02-06 06:00:04 阅读(772) 评论(0)
摘要：
该系列教程系个人原创，并完整发布在个人官网刘江的博客和教程
所有转载本文者，需在顶部显著位置注明原作者及www.liujiangblog.com官网地址。
Python及Django学习QQ群：453131687
我们都知道对于ManyToMany字段，Django采用的是第三张中间表的方式。通过这第三张表，来关... 阅读原文
2018-02-06 00:35:04 阅读(779) 评论(0)
摘要：
随着需要存储数据的结构不断复杂化，使用数据库来存储数据是一个必须面临的问题。那么应该如何在python中使用数据库？下面就在本篇博客中介绍一下在python中使用mysql。
首先，本博客已经假定阅读者已经安装了python和mysql，所以不会讲解关于它们的安装（如果未安装，请查阅官方文档进行下载安装）。
... 阅读原文
2018-02-06 00:29:07 阅读(787) 评论(0)
摘要：
Jupyter Notebook（此前被称为 IPython notebook）是一个交互式笔记本，支持运行 40 多种编程语言。在本文中，我们将介绍 Jupyter notebook 的主要特性，以及为什么对于希望编写漂亮的交互式文档的人来说是一个强大工具。
在开始使用 notebook 之前，我们先... 阅读原文
2018-02-05 23:23:19 阅读(736) 评论(0)