搜云库技术团队

　　Spark on YARN的原理就是依靠yarn来调度Spark，比默认的Spark运行模式性能要好的多，前提是首先部署好hadoop HDFS并且运行在yarn上，然后就可以开始部署spark on yarn了，假设现在准备环境已经部...

赞(0)站长2020-08-25技术文章汇总 阅读(591)

　　Spark是通用的基于内存计算的大数据框架，可以和hadoop生态系统很好的兼容，以下来部署Spark集群 　　集群环境：3节点 Master:bigdata1 Slaves:bigdata2,bigdata3 　　Master负责任务...

赞(0)站长2020-08-25技术文章汇总 阅读(552)

　　JStorm是一个类似Hadoop MapReduce的系统，不同的是JStorm是一套基于流水线的消息处理机制，是阿里基于Storm优化的版本，和Storm一样是一个分布式实时计算的系统，从开发角度来说，JStorm所有的概念和Sto...

赞(0)站长2020-08-25技术文章汇总 阅读(577)

　　大数据集群为了保证故障转移，一般通过zookeeper来整体协调管理，当节点数大于等于6个时推荐使用，接下来描述一下Hbase集群部署在zookeeper上的过程： 　　安装Hbase之前首先系统应该做通用的集群环境准备工作，这些是必须...

赞(0)站长2020-08-25技术文章汇总 阅读(652)

　　HBase是分布式、面向列式存储的开源数据库，来源于Google的论文BigTable，HBase运行于Hadoop平台之上，不同于一般的关系数据库，是一个适合非结构化数据存储的分布式数据库 　　安装Hbase之前首先系统应该做通用的集...

赞(0)站长2020-08-25技术文章汇总 阅读(644)

　　集群中时间不同步有可能会让大数据的应用程序运行混乱，造成不可预知的问题，比如Hbase，当时间差别过大时就会挂掉，所以在大数据集群中，ntp服务，应该作为一种基础的服务，以下在演示在CentOS 7.2集群上配置ntp服务的过程 　　首...

赞(0)站长2020-08-25技术文章汇总 阅读(559)

　　我们知道storm的作用主要是进行流式计算，对于源源不断的均匀数据流流入处理是非常有效的，而现实生活中大部分场景并不是均匀的数据流，而是时而多时而少的数据流入，这种情况下显然用批量处理是不合适的，如果使用storm做实时计算的话可能因为...

赞(0)站长2020-08-25技术文章汇总 阅读(536)

　　之前基于集群和单机安装过kafka，现在利用kafka提供的API构建一个简单的生产者消费者的项目示例，来跑通kafka的流程，具体过程如下： 　　首先使用eclipse for javaee建立一个maven项目，然后在pom.xml...

赞(0)站长2020-08-25技术文章汇总 阅读(565)

　　solr集群中配置文件是经常更新的，频率最高的也就是schema.xml和solrconfig.xml这两个配置文件了，对于更新配置文件之前，我们先了解一下集群项目结构 　　由于在集群模式下，solrconfig.xml和schema....

赞(0)站长2020-08-25技术文章汇总 阅读(583)

　　之前搭建过SolrCloud和Solr单机版本，另外还有很多对Solr配置文件以及核心的操作，以下主要总结Solr集群中的常用操作，即在配置文件中正确设置ZK_HOST参数并且Zookeeper正确启动才是集群模式，一台计算机也...

赞(0)站长2020-08-25技术文章汇总 阅读(623)