搜云库技术团队

文章永久连接：https://tech.souyunku.com/7988 Hadoop配置 有两种配置文件： 一种是__-default.xml（只读，默认的配置） 一种是#x662F;__-sit...

赞(0)站长2019-10-06Hadoop 教程 阅读(1269)

文章永久连接：https://tech.souyunku.com/7990 Hadoop安装 单节点安装 所有服务运行在一个JVM中，适合调试、单元测试 伪集群 所有服务运行在一台机器中，每个服务都在独立的JVM中，适合做简单、抽样测试 多...

赞(0)站长2019-10-06Hadoop 教程 阅读(1317)

文章永久连接：https://tech.souyunku.com/7992 Hadoop 测试 MRUnit单元测试Mapper和Reducer类在内存上独立运行, PipelineMapReduceDriver单线程运行. LocalJo...

赞(0)站长2019-10-06Hadoop 教程 阅读(1253)

文章永久连接：https://tech.souyunku.com/7994 Hadoop – IO 1、 输入文件从HDFS进行读取. 2、 输出文件会存入本地磁盘. 3、 Reducer和Mapper间的网络I/O,从Mapp...

赞(0)站长2019-10-06Hadoop 教程 阅读(1304)

文章永久连接：https://tech.souyunku.com/7996 MapReduce – 编程 处理 1、 select：直接分析输入数据，取出需要的字段数据即可 2、 where: 也是对输入数据处理的过程中进行处理...

赞(0)站长2019-10-06Hadoop 教程 阅读(5234)

文章永久连接：https://tech.souyunku.com/7998 MapReduce – Shuffle 对Map的结果进行排序并传输到Reduce进行处理 Map的结果并不#x662F;直接存放到硬盘,而是利...

赞(0)站长2019-10-06Hadoop 教程 阅读(1232)

文章永久连接：https://tech.souyunku.com/8000 MapReduce – Mapper 主要是读取InputSplit的每一个Key,Value对并进行处理 public class Mapper<...

赞(0)站长2019-10-06Hadoop 教程 阅读(1296)

文章永久连接：https://tech.souyunku.com/8002 MapReduce – 读取数据 通过InputFormat决定读取的数据的类型，然后拆分成一个个InputSplit，每个InputSplit对应一个...

赞(0)站长2019-10-06Hadoop 教程 阅读(1236)

文章永久连接：https://tech.souyunku.com/8004 YARN – Failover 失败类型 1、 程序问题 2、 进程崩溃 3、 硬&#x#x4EF6;问题 失败处理 任务失败 ...

赞(0)站长2019-10-06Hadoop 教程 阅读(1242)

文章永久连接：https://tech.souyunku.com/8006 YARN – Container 1、 基本的资源单位（CPU、内存等） 2、 Container可以加载任意程序，而且不限于Java 3、 一#...

赞(0)站长2019-10-06Hadoop 教程 阅读(6405)