搜云库技术团队

　　引言：当从HDFS删除文件时，将释放与该文件相关联的块。而配置HDFS的回收站功能后，其会将删除的文件和目录存储在特定回收站目录中一定的时间后释放块，然后再将其永久删除，即可防止意外数据删除。如果配置了回收站功能且回收间隔大于0，那么删...

赞(0)站长2020-08-20技术文章汇总 阅读()

前言 大纲: 正文 中断屏蔽方法 介绍一下为什么只适用单处理机，因为开关指令是针对某一个处理机的，如果多个处理机的话，那么两个进程他们相当于独立的处理机。 testandset 指令 简称tsl指令，或者ts指令 swap指令 结 文章永久...

赞(0)站长2020-08-20技术文章汇总 阅读()

　　本文是基于已经搭建好且正常运行的Spark以及Hadoop集群上进行，为了支持Spark on Yarn是需要额外的配置。 1、Spark on Yarn配置 　　在搭建好的Spark上修改spark-env.sh文件： # vim $...

赞(1)站长2020-08-20技术文章汇总 阅读()

前言 大纲： 正文 原则: 单标志法 缺点： trun 表示当前允许进入临界区的进程号，而只有当前允许进入临界区的进程在访问临界区后，才能修改turn的值。 两个进程如果相互等待，那么会形成一个轮流访问的过程。那么会产生一个问题，那就是资源...

赞(0)站长2020-08-20技术文章汇总 阅读()

前言 什么是进程互斥呢？这其实是一个资源利用问题。 资源共享方式，有两种一种是互斥共享一种是同时共享。 这里再次解释一下，同时共享是宏观的，微观可能不是同时，比如读取文件。 正文 一个时间段内只允许一个进程使用的资源称为临界资源，比如说硬件...

赞(0)站长2020-08-20技术文章汇总 阅读()

一、概念综述 　　MapReduce是一种可用于数据处理的编程模型（或计算模型），该模型可以比较简单，但想写出有用的程序却不太容易。MapReduce能将大型数据处理任务分解成很多单个的、可以在服务器集群中并行执行的任务，而这些任务的计算结...

赞(0)站长2020-08-20技术文章汇总 阅读()

前言 过了这么久，都快忘了计算机原理了，整理一下。 正文 我们知道计算机只知道0和1，那么0和1是怎么来的呢？ 0是弱点流，1是强电流。 硬件之间的信息传递实际上传递的也就是0和1，这个东西是cpu的针脚，或者说是内存条的插头。 那么内存条...

赞(0)站长2020-08-20技术文章汇总 阅读()

　　Spark大数据平台有使用一段时间了，但大部分都是用于实验而搭建起来用的，搭建过Spark完全分布式，也搭建过用于测试的伪分布式。现在是写一遍随笔，记录一下曾经搭建过的环境，免得以后自己忘记了。也给和初学者以及曾经挖过坑的人用作参考。 ...

赞(0)站长2020-08-20技术文章汇总 阅读()

前言 大纲: 正文 进程控制概念。 进程控制的主要功能是对系统找那个的所有进程实施的有效管理，他具有创建新的进程、撤销已有进程、实现进程转换等功能。 创建态:需要初始化pcb、分配系统资源 创建态到就绪态: 修改pcb内容，将pcb放到就绪...

赞(0)站长2020-08-20技术文章汇总 阅读()

　　自己的主机上的Hadoop版本是2.7.6，是测试用的伪分布式Hadoop，在前段时间部署了Hive on Spark，但由于没有做好功课，导致了Hive无法正常启动，原因在于Hive 3.x版本不适配Hadoop 2.x版本。之前我在...

赞(0)站长2020-08-20技术文章汇总 阅读()