搜云库技术团队

　　HBase是分布式、面向列式存储的开源数据库，来源于Google的论文BigTable，HBase运行于Hadoop平台之上，不同于一般的关系数据库，是一个适合非结构化数据存储的分布式数据库 　　安装Hbase之前首先系统应该做通用的集...

赞(0)站长2020-08-25技术文章汇总 阅读(691)

　　集群中时间不同步有可能会让大数据的应用程序运行混乱，造成不可预知的问题，比如Hbase，当时间差别过大时就会挂掉，所以在大数据集群中，ntp服务，应该作为一种基础的服务，以下在演示在CentOS 7.2集群上配置ntp服务的过程 　　首...

赞(0)站长2020-08-25技术文章汇总 阅读(606)

　　我们知道storm的作用主要是进行流式计算，对于源源不断的均匀数据流流入处理是非常有效的，而现实生活中大部分场景并不是均匀的数据流，而是时而多时而少的数据流入，这种情况下显然用批量处理是不合适的，如果使用storm做实时计算的话可能因为...

赞(0)站长2020-08-25技术文章汇总 阅读(582)

　　之前基于集群和单机安装过kafka，现在利用kafka提供的API构建一个简单的生产者消费者的项目示例，来跑通kafka的流程，具体过程如下： 　　首先使用eclipse for javaee建立一个maven项目，然后在pom.xml...

赞(0)站长2020-08-25技术文章汇总 阅读(611)

　　solr集群中配置文件是经常更新的，频率最高的也就是schema.xml和solrconfig.xml这两个配置文件了，对于更新配置文件之前，我们先了解一下集群项目结构 　　由于在集群模式下，solrconfig.xml和schema....

赞(0)站长2020-08-25技术文章汇总 阅读(630)

　　之前搭建过SolrCloud和Solr单机版本，另外还有很多对Solr配置文件以及核心的操作，以下主要总结Solr集群中的常用操作，即在配置文件中正确设置ZK_HOST参数并且Zookeeper正确启动才是集群模式，一台计算机也...

赞(0)站长2020-08-25技术文章汇总 阅读(669)

　　之前介绍过2篇SolrCloud的部署流程，第一个是使用安装脚本的方式进行抽取安装，启动比较方便，但是会创建多个目录，感觉比较乱；第二个是官方教程上提供的方法，使用比较简单，直接释放压缩包即可，并且启动cloud实例的时候默认会创建一个...

赞(0)站长2020-08-25技术文章汇总 阅读(574)

　　前面说过了Storm的测试项目，那么此时我们更想自己写一个小项目来练练手，首先我们自己的Windows系统上首先应该安装好maven，然后启动Eclipse for JavaEE版本，接下来开始建立项目并开发 　　注意，在开发过程中，无...

赞(0)站长2020-08-25技术文章汇总 阅读(673)

　　之前Storm安装之后，也知道了Storm的一些相关概念，那么怎么样才可以运行一个例子对Storm流式计算有一个感性的认识呢，那么下面来运行一个Storm安装目录自带的测试案例，我们的Storm安装在服务器的/usr/storm/apa...

赞(0)站长2020-08-25技术文章汇总 阅读(646)

　　在大数据出现的早期，当时企业或者开发者所注重的都是批量计算，当时对于开发者来说，对于一定量数据的处理，利用普通的程序就可以解决，然而当数据量或者计算量到达一定数量之后，应用程序的计算需要的时间也和数据量一样飞速增长，这个时候仅仅依靠传统...

赞(0)站长2020-08-25技术文章汇总 阅读(570)