搜云库技术团队

　　前面说过storm集群的部署，这篇主要介绍storm单机环境部署，其实他们之间很类似，就是将之前配置文件中所有的集群条目改成本机的地址即可，部署之前应该按前面solr和zookeeper单机环境部署那篇文章中，正确设置好zookeepe...

赞(0)站长2020-08-25技术文章汇总 阅读(672)

　　首先和之前一样下载solr-5.3.1.tgz，然后执行下面命令释放文件并放置在/usr/目录下： $ tar -xvzf solr-5.3.1.tgz $ mv solr-5.3.1 /usr/ $ cd /usr/solr-5.3....

赞(0)站长2020-08-25技术文章汇总 阅读(731)

　　Zookeeper服务安装之后，一般会在这个服务的基础之上安装其他的大数据平台，其他的框架一般会提供很多接口对Zookeeper中的内容进行一定的操作，但是功能相对单一，所以有些时候，有必要我们自己登录Zookeeper服务器，对里面的...

赞(0)站长2020-08-25技术文章汇总 阅读(685)

　　Kafka是一个分布式、可分区、可复制的消息系统。Kafka将消息以topic为单位进行归纳；Kafka消息的程序称为producer，也叫生产者；Kafka预订topics并消费消息的程序称为consumer，也叫消费者；当Kafka...

赞(0)站长2020-08-25技术文章汇总 阅读(695)

　　前面写过生产过程中的SolrCloud集群配置，实际上官方给出的是免安装配置，启动时采用命令行参数的方式启动，这样相对简单，并且官方文档也给出了外部Zookeeper的配置，和前面说的基本一致，这个不影响，在配置好Zookeeper之后...

赞(0)站长2020-08-25技术文章汇总 阅读(779)

　　Storm集群的安装分为以下几步： 　　1、首先保证Zookeeper集群服务的正常运行以及必要组件的正确安装 　　2、释放压缩包 　　3、修改storm.yaml添加集群配置信息 　　4、使用storm脚本启动相应服务并查看服务状态 ...

赞(0)站长2020-08-25技术文章汇总 阅读(684)

　　Solr是一个企业级搜索服务器，对外提供Web-Service接口，用户可以通过http请求，向搜索引擎提交xml或者json格式的数据，生成索引；然后可以通过http get请求查找，获取返回的xml或者json等多种格式的数据。 　...

赞(0)站长2020-08-25技术文章汇总 阅读(678)

　　Zookeeper是一个分布式、开源的分布式应用程序协调服务，是Google的Chubby的开源实现，也是和Hadoop、Hbase相互配合的重要组件，作用就是为分布式应用程序提供一致性服务，包括配置维护、名字服务、分布式同步等 　　接...

赞(0)站长2020-08-25技术文章汇总 阅读(650)

　　上个博客写了Hadoop2.6.0的环境部署，下面写一个简单的基于数字排序的小程序，真正实现分布式的计算，原理就是对多个文件中的数字进行排序，每个文件中每个数字占一行，排序原理是按行读取后分块进行排序，最后对块进行合并，通俗来说就是首先...

赞(0)站长2020-08-25技术文章汇总 阅读(625)

　　Hadoop的集群部署和单节点部署类似，配置文件不同，另外需要修改网络方面的配置 　　首先，准备3台虚拟机，系统为CentOS 6.6，其中一台为namenode 剩余两台为 datanode； 　　修改主机名主节点为：hadoopha...

赞(0)站长2020-08-25技术文章汇总 阅读(772)