搜云库技术团队

1.NN的作用 保存HDFS上所有文件的元数据！ 接受客户端的请求！ 接受DN上报的信息，给DN分配任务(维护副本数)！ 2.元数据的存储 元数据存储在fsiamge文件+edits文件中！ fsimage(元数据的快照文件) edits(...

赞(0)站长2020-07-19优质文章 阅读(507)

@ 目录 单点启动 群起集群 查看是否启动成功 集群启动/停止方式总结 单点启动 1、 如果集群是第一次启动，需要格式化NameNode hadoop namenode -format 1、 在某一台机器上启动NameNode节点 hado...

赞(0)站长2020-07-19优质文章 阅读(592)

@ 目录 写数据流程 举例： 异常写流程 读数据流程 写数据流程 ①服务端启动HDFS中的NN和DN进程 ②客户端创建一个分布式文件系统客户端，由客户端向NN发送请求，请求上传文件 ③NN处理请求，检查客户端是否有权限上传，路径是否合法等 ...

赞(0)站长2020-07-19优质文章 阅读(570)

假如我有一个文件在HDFS上分成了0~3，共四块，那么如何把它们下载到本地并且恢复成完整的文件呢？ public class TestCustomUploadAndDownload { private FileSystem fs; priv...

赞(0)站长2020-07-19优质文章 阅读(525)

在之前的总结中，对文件的上传和下载都是默认的全部大小。 那么，如何做到上传文件时，只上传这个文件的一部分或只下载文件的某一部分？ 官方实现的代码： InputStream in=null; OutputStream out = null; ...

赞(0)站长2020-07-19优质文章 阅读(470)

在这里总结了一下使用java对HDFS上文件的操作，比如创建目录、上传下载文件、文件改名、删除…… 首先对一些类名、变量名做出解释说明： 1、 FileSystem: 文件系统的抽象基类 FileSystem的实现取决于fs.default...

赞(0)站长2020-07-19优质文章 阅读(574)

HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数(dfs.blocksize）来规定，默认大小在Hadoop2.x版本中是128M，老版本中是64M。 那么，问题来了，为什么一个block的大小就是128M呢？ 默...

赞(0)站长2020-07-19优质文章 阅读(508)

HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 ...

赞(0)站长2020-07-19优质文章 阅读(540)

一个集群中，每台机器的时间必须保证是同步的！ 主要借助linux的ntp服务执行和远程时间服务器的时间同步！ 保证当前机器的ntp服务是开机自启动！ chkconfig --list ntpd 使用命令： ntpdate -u 时间服务器的...

赞(0)站长2020-07-19优质文章 阅读(554)

我们经常需要在集群中使用jps命令查看进程状态，而又懒得去每一台机器上分别执行jps命令，这时候就需要一个脚本文件来帮我们做这样的事情！ 编写一个名为xcall的脚本文件吧！ #!/bin/bash #在集群的所有机器上批量执行同一条命令 ...

赞(0)站长2020-07-19优质文章 阅读(633)