技术文章汇总 第65页

　　本文是基于已经搭建好且正常运行的Spark以及Hadoop集群上进行，为了支持Spark on Yarn是需要额外的配置。 1、Spark on Yarn配置 　　在搭建好的Spark上修改spark-env.sh文件： # vim $...

赞(1)站长2020-08-20阅读(705)

前言 大纲： 正文 原则: 单标志法 缺点： trun 表示当前允许进入临界区的进程号，而只有当前允许进入临界区的进程在访问临界区后，才能修改turn的值。 两个进程如果相互等待，那么会形成一个轮流访问的过程。那么会产生一个问题，那就是资源...

赞(0)站长2020-08-20阅读(667)

前言 什么是进程互斥呢？这其实是一个资源利用问题。 资源共享方式，有两种一种是互斥共享一种是同时共享。 这里再次解释一下，同时共享是宏观的，微观可能不是同时，比如读取文件。 正文 一个时间段内只允许一个进程使用的资源称为临界资源，比如说硬件...

赞(0)站长2020-08-20阅读(707)

一、概念综述 　　MapReduce是一种可用于数据处理的编程模型（或计算模型），该模型可以比较简单，但想写出有用的程序却不太容易。MapReduce能将大型数据处理任务分解成很多单个的、可以在服务器集群中并行执行的任务，而这些任务的计算结...

赞(0)站长2020-08-20阅读(740)

前言 过了这么久，都快忘了计算机原理了，整理一下。 正文 我们知道计算机只知道0和1，那么0和1是怎么来的呢？ 0是弱点流，1是强电流。 硬件之间的信息传递实际上传递的也就是0和1，这个东西是cpu的针脚，或者说是内存条的插头。 那么内存条...

赞(0)站长2020-08-20阅读(699)

　　Spark大数据平台有使用一段时间了，但大部分都是用于实验而搭建起来用的，搭建过Spark完全分布式，也搭建过用于测试的伪分布式。现在是写一遍随笔，记录一下曾经搭建过的环境，免得以后自己忘记了。也给和初学者以及曾经挖过坑的人用作参考。 ...

赞(0)站长2020-08-20阅读(693)

前言 大纲: 正文 进程控制概念。 进程控制的主要功能是对系统找那个的所有进程实施的有效管理，他具有创建新的进程、撤销已有进程、实现进程转换等功能。 创建态:需要初始化pcb、分配系统资源 创建态到就绪态: 修改pcb内容，将pcb放到就绪...

赞(0)站长2020-08-20阅读(708)

　　自己的主机上的Hadoop版本是2.7.6，是测试用的伪分布式Hadoop，在前段时间部署了Hive on Spark，但由于没有做好功课，导致了Hive无法正常启动，原因在于Hive 3.x版本不适配Hadoop 2.x版本。之前我在...

赞(0)站长2020-08-20阅读(742)

前言 大纲： 正文 3种基本状态 创建态和终止态 创建态： 操作系统需要完成创建进程，操作系统为该进程分配所需的内存空间等系统资源，并为其创建、初始化pcb。 终止态： 无论是异常终止还是执行结束，操作系统要完成撤销进程的相关工作。将分配给...

赞(0)站长2020-08-20阅读(659)

　　本编随笔是小编参照个人的笔记、官方文档以及网上的资料等后对HDFS的概念以及运行原理进行系统性地归纳，说起来真的惭愧呀，自学了很长一段时间也没有对Hadoop知识点进行归纳，有时候在实战中或者与别人交流Hadoop相关技术时，很多概念也...

赞(0)站长2020-08-20阅读(655)