摘要: Shuffle的本意是洗牌、混洗的意思,把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中,Shuffle更像是洗牌的逆过程,指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据,以便reduce端接收处理。其在MapReduce中所处的工作阶段是map输出后到reduce接收... 阅读原文
2021-01-09 18:13:04 阅读(708) 评论(0)
摘要: 背景 在大数据领域我们都知道,开发是最简单,任务的合理调优、问题排查才是最重要的。 我们在之前的文章《Flink面试通关手册》中也讲解过,作者结合线上出现的一些问题,总结了一些任务调优需要注意的点。 一些简单的原则 我们在之前的文章《Flink面试通关手册》中提到过一个问题,Flink任务延迟高,想解决这个... 阅读原文
2021-01-09 17:27:04 阅读(688) 评论(0)
摘要: 小编在去年的时候,写过一篇轰动全网的文章《你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库》,这篇文章当时被各大门户网站和自媒体疯狂转载,保守阅读量也在50万+UV,在这篇文章中提到过Preto,Presto作为OLAP计算领域的一员有着独特的优势和特点。 本篇文章是作者作为Presto小白时期,... 阅读原文
2021-01-09 17:23:08 阅读(680) 评论(0)
摘要: 原文链接http://zhhll.icu/2020/05/18/java%E5%9F%BA%E7%A1%80/IO/java%E5%9F%BA%E7%A1%80%E4%B9%8BIO%E6%93%8D%E4%BD%9C/ 用户进程发起请求,内核接收到请求后,从I/O设备中获取数据到buffer中,再将buff... 阅读原文
2021-01-09 14:08:02 阅读(690) 评论(0)
摘要: 作者:huashiouhttps://segmentfault.com/a/1190000018626163 本文以设计淘宝网的后台架构为例,介绍从一百个并发到千万级并发情况下服务端的架构的14次演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知。 文章最后汇总了一些架构... 阅读原文
2021-01-09 11:38:08 阅读(666) 评论(0)
摘要: 版本说明 JDK 1.8 RabbitMQ 3.7.15 Erlang 22.0 SpringBoot 2.3.3.RELEASE // TODO 2021年1月8日 整理CentOS安装RabbitMQ流程 1. 在RabbitMQ的Web管理界面,创建test队列 参数的含义 durability:... 阅读原文
2021-01-09 00:26:03 阅读(665) 评论(0)
摘要: Java生鲜电商平台-商品数据库的设计与SQL下载(小程序/APP) 说明:Java生鲜电商平台中根据自己的经验,把相关的商品数据库分享给大家,希望对大家有用.   阅读本文,你需要了解以下内容:   在开始之前,我们先来参考一下电商领域的一些概念。   商品分类 商品分类,俗称商品类别、商品目录,指的是... 阅读原文
2021-01-09 00:00:09 阅读(672) 评论(0)
摘要: 一直建议Java程序员必须把springboot搞清楚,现在企业中Springboot太重要了,不管是大互联网公司比如阿里,还是小公司都在用springboot,现在分享一份学习资料希望能帮到大家。 SpringBoot系列从⼊⻔到进阶手册 目录: 因为笔记内容太多,下面只截取部分内容展示。需要获取完整笔... 阅读原文
2021-01-08 23:30:48 阅读(687) 评论(0)
摘要: 以项目驱动学习,以实践检验真知 前言 登录认证,估计是所有系统中最常见的功能了,并且也是最基础、最重要的功能。为了做好这一块而诞生了许多安全框架,比如最常见的Shiro、Spring Security等。 本文是一个系列文章,最终的目的是想与大家分享在实际项目中如何运用安全框架完成登录认证(Authent... 阅读原文
2021-01-08 22:59:08 阅读(657) 评论(0)
摘要: 作者:冯忠旗 juejin.im/post/5cfde01bf265da1bba58f863 一、背景 对于互联网应用和企业大型应用而言,多数都尽可能地要求做到7*24小时不间断运行,而要做到完全不间断运行可以说“难于上青天”。为此,对应用可用性程度的衡量标准一般有3个9到5个9。 对于一个功能和数据量... 阅读原文
2021-01-08 22:07:06 阅读(633) 评论(0)