搜云库技术团队

kafka的认证方式一般有如下3种： 1、 SASL/GSSAPI 从版本0.9.0.0开始支持 2、 SASL/PLAIN 从版本0.10.0.0开始支持 3、 SASL/SCRAM-SHA-256 以及 SASL/SCRAM-SHA-5...

赞(0)站长2020-08-25技术文章汇总 阅读(684)

上一篇文章写过centos 7下clickhouse rpm包安装和基本的目录结构，这里主要介绍clickhouse高可用集群的部署方案，因为对于默认的分布式表的配置，每个分片只有一份，这样如果挂掉一个节点，则查询分布式表的时候直接会报错，...

赞(0)站长2020-08-25技术文章汇总 阅读(762)

clickhouse是由俄罗斯Yandex公司开发的列式存储数据库，于2016年开源，clickhouse的定位是快速的数据分析，对于处理海量数据的情况性能非常好，在网上也有很多测试的案例，在大数据的情况下性能远超过其他数据库，并且不依赖于...

赞(0)站长2020-08-25技术文章汇总 阅读(628)

SeaweedFS是一个简单并且高度可扩展的分布式文件系统，可以存储数十亿的文件并且快速获得文件，特别适合于有效处理小文件，这里我们简称为weed，weed的主节点不管理文件元数据而是仅管理文件卷，这些文件卷服务器各自管理各自的元数据，所以...

赞(0)站长2020-08-25技术文章汇总 阅读(622)

　　RocketMQ是一款分布式消息系统，最初是由阿里巴巴消息中间件团队研发并大规模应用于生产系统，满足线上海量堆积的需求，在去年捐赠给Apache开源基金会，并列为孵化项目，今年成功的正式成为了apache顶级项目；早期阿里曾经基于Act...

赞(0)站长2020-08-25技术文章汇总 阅读(605)

　　之前写过kafka_2.9.2-0.8.2.2版本的安装，kafka在新的0.9版本以上改动比较大，配置和api都有很大更新，并且broker对应的partition支持多线程生产和消费，所以性能比之前好得多，比如老版本的kaf...

赞(0)站长2020-08-25技术文章汇总 阅读(718)

　　Spark on YARN的原理就是依靠yarn来调度Spark，比默认的Spark运行模式性能要好的多，前提是首先部署好hadoop HDFS并且运行在yarn上，然后就可以开始部署spark on yarn了，假设现在准备环境已经部...

赞(0)站长2020-08-25技术文章汇总 阅读(638)

　　Spark是通用的基于内存计算的大数据框架，可以和hadoop生态系统很好的兼容，以下来部署Spark集群 　　集群环境：3节点 Master:bigdata1 Slaves:bigdata2,bigdata3 　　Master负责任务...

赞(0)站长2020-08-25技术文章汇总 阅读(598)

　　JStorm是一个类似Hadoop MapReduce的系统，不同的是JStorm是一套基于流水线的消息处理机制，是阿里基于Storm优化的版本，和Storm一样是一个分布式实时计算的系统，从开发角度来说，JStorm所有的概念和Sto...

赞(0)站长2020-08-25技术文章汇总 阅读(627)

　　大数据集群为了保证故障转移，一般通过zookeeper来整体协调管理，当节点数大于等于6个时推荐使用，接下来描述一下Hbase集群部署在zookeeper上的过程： 　　安装Hbase之前首先系统应该做通用的集群环境准备工作，这些是必须...

赞(0)站长2020-08-25技术文章汇总 阅读(700)