摘要: 按分类样本数占比生成并随机获取样本数据 By:授客 QQ:1033553122 开发环境 win 10 python 3.6.5   需求 已知样本分类,每种分类的样本占比数,及样本总数,需要随机获取这些分类的样本。比如,我有4种任务,分别为任务A,任务B,任务C,任务D, 每种任务需要重复执行的总次数为1... 阅读原文
2020-11-20 06:00:04 阅读(2363) 评论(0)
摘要: 在客户端和服务器交互的过程中,有些准备工作或扫尾工作需要处理,比如: 在请求开始时,建立数据库连接; 在请求开始时,根据需求进行权限校验; 在请求结束时,指定数据的交互格式; 为了让每个视图函数避免编写重复功能的代码,Flask提供了通用设置的功能,即请求钩子。 请求钩子是通过装饰器的形式实现... 阅读原文
2020-11-19 23:38:02 阅读(2537) 评论(0)
摘要: 1、手工操作 —— 穿孔卡片 1946年第一台计算机诞生--20世纪50年代中期,计算机工作还在采用手工操作方式。此时还没有操作系统的概念。 特点:   (1)用户独占全机。不会出现因资源已被其他用户占用而等待的现象,但资源的利用率低。   (2)CPU 等待手工操作。CPU的利用不充分。 2、批处理 —— ... 阅读原文
2020-11-19 22:13:01 阅读(2454) 评论(0)
摘要: 1 NUM = 9 2 for i in range(1, NUM+1): 3 print() 4 for j in range(1, i+1): 5 if j == 1: 6 print(5*(NUM-i)*(" "), end="") ... 阅读原文
2020-11-19 21:02:07 阅读(2365) 评论(0)
摘要: 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 以下文章最早早起Python ,作者投稿君   前言 大家好,在之前我们讲过如何使用Python内置一个带有GUI的爬虫小程序,很多这里将迎合热点,延续上次的NBA​爬虫GUI,探讨如何爬取虎扑NBA官网... 阅读原文
2020-11-19 20:26:07 阅读(2399) 评论(0)
摘要: print() print默认是换行的,是end='\n'在起作用。 要想不换行你应该写成 print(str, end = '') >>> print('The length of %s is %d.' %('Python', len('Python'))) The length of P... 阅读原文
2020-11-19 19:22:02 阅读(2579) 评论(0)
摘要: 前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 以下文章来源于APython ,作者铝   1.Requests简介 请求是唯一适用于Python的Non-GMO HTTP库,可供人类安全使用。 Python爬虫中绕过不开的就是request... 阅读原文
2020-11-19 17:52:03 阅读(2891) 评论(0)
摘要: scrapy-redis是一个基于redis的scrapy组件,通过它可以快速实现简单分布式爬虫程序,该组件本质上提供了三大功能: scheduler - 调度器 dupefilter - URL去重规则(被调度器使用) pipeline - 数据持久化 Scrapy-redis提供了下面四种组件(c... 阅读原文
2020-11-19 16:20:07 阅读(2355) 评论(0)
摘要:   最近处理的大多数任务都是基于python的多线程实现的,然而使用python逃避不开的一个话题就是,python的GIL(的全称是 Global Interpreter Lock)全局解释器锁是单线程的,那么是不是意味着python的多线程也是串行的?多线程对共享资源的使用就不需要锁(线程锁)了? 笔者一... 阅读原文
2020-11-19 14:21:04 阅读(2436) 评论(0)
摘要: 一、requests 模块爬虫基础写法 # 基础爬虫写法.py import requests def spider(url): # 定义一个函数,爬取网页源码 headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Ap... 阅读原文
2020-11-19 12:59:01 阅读(2380) 评论(0)