linux中编写同步文件的脚本
搭集群最麻烦的就是修改配置文件，如果只用修改一个机器上的配置文件，然后用一个脚本就可以把配置文件同步到其他机器上，岂不快哉！ 编写一个名为xsync的脚本文件： 作用： 将当前机器的文件，同步到集群所有机器的相同路径下！ hadoop102...
站长SSH实现免密登录
举例： A机器的a用户，希望在A机器上，使用b用户的身份登录到B机器！ ssh b@B 实现步骤： ①A机器的a用户，在A机器上生成一对密钥 ssh-keygen -t rsa，然后三次回车即可。 ②密钥分为公钥和私钥，a用户需要将公钥拷贝...
JetBrains 全家桶，激活、破解、教程
获取 IDEA 激活码、PyCharm 激活码、WebStorm 激活码和 DataGrip 激活码，提供详细破解教程与永久激活方法。支持 IDEA 永久激活与破解，免费获取注册码与激活码，解决 2024/2025 版本激活问题，轻松实现所有 JetBrains 工具的激活。
scp（安全拷贝）和rsync（增量复制）
1、 scp（安全拷贝） 又称为全量复制，每次复制都会复制所有文件。 使用： scp -r 源文件用户名A@主机名1：path1 目标文件用户名B@主机名2：path2 -r: 递归，复制目录 执行过程： 在主机1上，使用A用户读取path...
完全分布式集群的准备工作
1、规划 Hadoop中的进程在多台机器运行！ HDFS: 1个nn+N个DN n个2nn YARN: 1个RM+N个NM 避免单点故障，NN和RM建议分散到多台机器！ 注意负载均衡 hadoop101 hadoop102 hadoop10...
Linux登陆的两种状态
登录脚本的执行顺序：【注：仅适用于 bash shell】 Login-Shell 是指登录时，需要提供用户名密码的shell，如：su – user1 , 图形登录， ctrl+alt+F2-6进入的登录界面。 这种Login shell...
HDFS和MR的配置和使用
一、分布式HDFS的安装和启动 ①在$HADOOP_HOME/etc/hadoop/core-site.xml文件 <configuration> <property> <name>fs.defaultF...
Hadoop运行模式及相关文件说明
一、Hadoop的安装 ①Hadoop运行的前提是本机已经安装了JDK，配置JAVA_HOME变量 ②在Hadoop中启动多种不同类型的进程 例如NN,DN，RM,NM，这些进程需要进行通信！ 在通信时，常用主机名进行通信！ 在19...
Hadoop生态圈
一、Hadoop 1.hadoop的初衷是采用大量的廉价机器，组成一个集群！完成大数据的存储和计算！ 2.hadoop历史版本 hadoop 1.x HDFS: 负责大数据的存储 Common: HDFS和MR共有的常用的工具包模块！ Ma...
hadoop2.x全分布式集群搭建（一主二从）
推荐大家看完上一篇伪分布搭建，在上一篇中，基础条件都有详细配置过程，本次全分布式搭建只是在伪分布的基础上有所加深。 相较于伪分布，多了以下内容 第一步：添加主机名与IP映射（每个节点都要配置） vi /etc/hosts，增加以下内容： 1...
Hadoop2.x伪分布式集群搭建
第一步：配置网络（静态IP） vi /etc/sysconfig/network-scripts/ifcfg-ens33（网卡名称可能不同） 1、 修改： 将该配置文件中的ONBOOT=no修改为yes（网络开机自启） 将BOOTPROTO...