优质文章 第101页

在之前的总结中，对文件的上传和下载都是默认的全部大小。 那么，如何做到上传文件时，只上传这个文件的一部分或只下载文件的某一部分？ 官方实现的代码： InputStream in=null; OutputStream out = null; ...

赞(0)站长2020-07-19阅读(514)

在这里总结了一下使用java对HDFS上文件的操作，比如创建目录、上传下载文件、文件改名、删除…… 首先对一些类名、变量名做出解释说明： 1、 FileSystem: 文件系统的抽象基类 FileSystem的实现取决于fs.default...

赞(0)站长2020-07-19阅读(619)

HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数(dfs.blocksize）来规定，默认大小在Hadoop2.x版本中是128M，老版本中是64M。 那么，问题来了，为什么一个block的大小就是128M呢？ 默...

赞(0)站长2020-07-19阅读(550)

HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 ...

赞(0)站长2020-07-19阅读(585)

一个集群中，每台机器的时间必须保证是同步的！ 主要借助linux的ntp服务执行和远程时间服务器的时间同步！ 保证当前机器的ntp服务是开机自启动！ chkconfig --list ntpd 使用命令： ntpdate -u 时间服务器的...

赞(0)站长2020-07-19阅读(599)

我们经常需要在集群中使用jps命令查看进程状态，而又懒得去每一台机器上分别执行jps命令，这时候就需要一个脚本文件来帮我们做这样的事情！ 编写一个名为xcall的脚本文件吧！ #!/bin/bash #在集群的所有机器上批量执行同一条命令 ...

赞(0)站长2020-07-19阅读(677)

搭集群最麻烦的就是修改配置文件，如果只用修改一个机器上的配置文件，然后用一个脚本就可以把配置文件同步到其他机器上，岂不快哉！ 编写一个名为xsync的脚本文件： 作用： 将当前机器的文件，同步到集群所有机器的相同路径下！ hadoop102...

赞(0)站长2020-07-19阅读(608)

举例： A机器的a用户，希望在A机器上，使用b用户的身份登录到B机器！ ssh b@B 实现步骤： ①A机器的a用户，在A机器上生成一对密钥 ssh-keygen -t rsa，然后三次回车即可。 ②密钥分为公钥和私钥，a用户需要将公钥拷贝...

赞(0)站长2020-07-19阅读(607)

1、 scp（安全拷贝） 又称为全量复制，每次复制都会复制所有文件。 使用： scp -r 源文件用户名A@主机名1：path1 目标文件用户名B@主机名2：path2 -r: 递归，复制目录 执行过程： 在主机1上，使用A用户读取path...

赞(1)站长2020-07-19阅读(634)

1、规划 Hadoop中的进程在多台机器运行！ HDFS: 1个nn+N个DN n个2nn YARN: 1个RM+N个NM 避免单点故障，NN和RM建议分散到多台机器！ 注意负载均衡 hadoop101 hadoop102 hadoop10...

赞(0)站长2020-07-19阅读(584)