搜云库技术团队

Apache Beam 是什么？ Beam 是一个分布式数据处理框架，谷歌在今年初贡献出来的，是谷歌在大数据处理开源领域的又一个巨大贡献。 数据处理框架已经很多了，怎么又来一个，Beam有什么优势？ 就是因为分布式数据处理技术现在太多了，让...

赞(0)站长2019-12-12优质文章 阅读(993)

开发基于 Docker 的应用时，用好 log 可以大大提高排错效率，下面就是几个常用的 log 操作技巧： 显示所有 log 显示实时 log 使用 tail 查看 log 尾部 使用 grep 过滤 log 根据时间查看 log 组合使...

赞(0)站长2019-12-12优质文章 阅读(1155)

现在的Java在Docker中有什么问题？ 很多应用都运行于JVM，并运行在容器中，一些大型的数据服务都可以在容器中运行，例如 Apache Spark和 Kafka。 随着JVM与容器结合得越来越紧密，问题也暴露了出来，主要是内存和CPU...

赞(0)站长2019-12-12优质文章 阅读(982)

cURL 是一个优秀的web请求工具，它还具有测量请求时间的能力。 实践 创建一个 curl 的配置文件： $ vi ~/.curlrc # 内容（较长，可以左右滑动） -w "dnslookup: %{time_namelookup} |...

赞(0)站长2019-12-12优质文章 阅读(1007)

MHA是什么？ MHA（master high availability） 是用来保证 Mysql 集群高可用性的，对 master 进行监控，发现 master 出现故障后，自动进行故障转移，从众多 slave 中选举出新的 master...

赞(0)站长2019-12-12优质文章 阅读(824)

1. 问题描述 并发竞争key这个问题简单讲就是： 同时有多个客户端去set一个key。 示例场景 1 例如有多个请求一起去对某个商品减库存，通常操作流程是： 取出当前库存值 计算新库存值 写入新库存值 假设当前库存值为 20，现在有2个连...

赞(0)站长2019-12-12优质文章 阅读(865)

高并发设计可以从以下几方面考虑： 无状态 拆分 服务化 消息队列 数据异构 缓存 并发化 1. 无状态 无状态的应用容易进行水平扩展。 实际常用：应用无状态，配置文件有状态，例如，不同的机房读取不同的配置文件，通过配置中心指定。 2. 拆分...

赞(0)站长2019-12-12优质文章 阅读(1344)

Leader 选举用于保证系统的高可用，例如一个重要服务，为防止其出现故障使服务中断，同时准备好另外2个备用，这就需要从3个服务节点中选出一个对外服务，这个服务出现故障后，从另两个服务节点中再选出一个对外提供服务，这个选主过程就是 Lead...

赞(0)站长2019-12-12优质文章 阅读(918)

线上数据库难免会有修改表结构的需求，MySQL 在修改表结构时会锁表，这就会影响读写操作，小表还好，一会儿就修改完成了，但大表会比较麻烦，下面看一个解决方案 解决思路 （1）新建一个表，结构就是要修改后的结构 （2）在旧表上建立触发器，旧表...

赞(0)站长2019-12-12优质文章 阅读(986)

1. 简介 Elasticsearch 是一个高可靠开源全文搜索与分析引擎，可以让我们实时存储、查询、分析海量数据 具有安装方便、稳定可靠、快速、实时等特点，是当前流行的企业级搜索引擎 应用场景示例： 在线商店中的产品搜索，可以使用 Ela...

赞(0)站长2019-12-11优质文章 阅读(992)