搜云库技术团队

之前写过HDFS 2.6的部署，最近项目中尝试使用最新的HDFS 3.2.1做离线存储，部署方式略有不同，所以这里再简单写一下，这里只涉及到存储因此不再配置yarn，只配置HDFS最基本的服务NameNode、DataNode、以及Seco...

赞(1)站长2020-08-25技术文章汇总 阅读()

ElasticSearch目前最新版是7.7.0，其中部署的细节和之前的6.x有很多的不同，所以这里单独拉出来写一下，希望对用7.x的童鞋有一些帮助，然后部署完ES后配套的kibana也是7.7.0，这个就简单了放到最后说，下面先进入ES ...

赞(0)站长2020-08-25技术文章汇总 阅读()

上篇文章简单叙述了Flink standalone集群的基础部署，在生产环境中假如只有1个jobmanager的话，那么这个节点一旦挂掉，所有运行的task都会中断，带来的影响比较大，因此在生产环境至少要保证jobmanager的高可用，至...

赞(0)站长2020-08-25技术文章汇总 阅读()

Flink Standalone模式部署集群是最简单的一种部署方式，不依赖于其他的组件，另外还支持YARN/Mesos/Docker等模式下的部署，这里使用的flink版本为最新的稳定版1.9.1版本，对应的Scala版本是2.11，二进制...

赞(0)站长2020-08-25技术文章汇总 阅读()

RabbitMQ是基于erlang开发的消息服务，官网为：https://www.rabbitmq.com，RabbitMQ要依赖erlang运行，所以要先安装erlang环境，rabbitmq可以用rpm或通用二进制包安装，这里使用二进制...

赞(0)站长2020-08-25技术文章汇总 阅读()

之前说过python confluent kafka客户端做kerberos认证的过程，如果使用kafka python客户端的话同样也可以进行kerberos的认证，具体的认证机制这里不再描述，主要叙述配置认证的过程 需要的模块有下面这些...

赞(0)站长2020-08-25技术文章汇总 阅读()

kafka的认证方式一般有如下3种： 1、 SASL/GSSAPI 从版本0.9.0.0开始支持 2、 SASL/PLAIN 从版本0.10.0.0开始支持 3、 SASL/SCRAM-SHA-256 以及 SASL/SCRAM-SHA-5...

赞(0)站长2020-08-25技术文章汇总 阅读()

上一篇文章写过centos 7下clickhouse rpm包安装和基本的目录结构，这里主要介绍clickhouse高可用集群的部署方案，因为对于默认的分布式表的配置，每个分片只有一份，这样如果挂掉一个节点，则查询分布式表的时候直接会报错，...

赞(0)站长2020-08-25技术文章汇总 阅读()

clickhouse是由俄罗斯Yandex公司开发的列式存储数据库，于2016年开源，clickhouse的定位是快速的数据分析，对于处理海量数据的情况性能非常好，在网上也有很多测试的案例，在大数据的情况下性能远超过其他数据库，并且不依赖于...

赞(0)站长2020-08-25技术文章汇总 阅读()

SeaweedFS是一个简单并且高度可扩展的分布式文件系统，可以存储数十亿的文件并且快速获得文件，特别适合于有效处理小文件，这里我们简称为weed，weed的主节点不管理文件元数据而是仅管理文件卷，这些文件卷服务器各自管理各自的元数据，所以...

赞(0)站长2020-08-25技术文章汇总 阅读()