搜云库技术团队

Mapper Mapper的maps阶段将输入键值对经过计算得到中间结果键值对，框架会将中间结果按照key进行分组，然后传递给reducer以决定最终的输出。用户可以通过Job.setGroupingComparatorClass(Clas...

赞(0)站长2020-07-18优质文章 阅读(462)

http://hadoop.apache.org/docs/r2.9.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html Overvie...

赞(0)站长2020-07-18优质文章 阅读(520)

http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html Introduction Hadoop分布式文件系统被设计运行在普通的...

赞(0)站长2020-07-18优质文章 阅读(582)

文章永久链接：https://tech.souyunku.com/21043

赞(0)站长2020-07-18优质文章 阅读(561)

文章永久链接：https://tech.souyunku.com/21045

赞(0)站长2020-07-18优质文章 阅读(619)

参考 https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 1、下载并解压 2、设置环境变量 3、修改hadoo...

赞(0)站长2020-07-18优质文章 阅读(595)

What Is Apache Hadoop? Hadoop是一个可靠的、可扩展的、分布式计算的开源软件。 Hadoop是一个分布式处理大数据的框架。它被设计成从一台到上千台不等的服务器，每个服务器都提供本地计算和存储的能力。它并非依赖于硬件...

赞(0)站长2020-07-18优质文章 阅读(523)

1、 API基本概念 Flink程序可以对分布式集合进行转换（例如： filtering, mapping, updating state, joining, grouping, defining windows, aggregating）...

赞(0)站长2020-07-18优质文章 阅读(563)

Spark Streaming 是核心Spark API的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。可以从许多数据源（例如Kafka，Flume，Kinesis或TCP sockets）中提取数据，并且可以使用复杂的算法处理数据...

赞(0)站长2020-07-18优质文章 阅读(526)

用户对物品的评分矩阵 × 物品相似矩阵 = 推荐列表 构建物品相似度矩阵的时候可以通过计算两个物品的余弦相似度得出，于是需要构建每个物品在所有用户中的评分矩阵 本例中，不采用余弦相似度的方式计算物品与物品相似度 在MapReduce作业中，...

赞(0)站长2020-07-18优质文章 阅读(610)