一百一十六、HBase时间轴一致性:辅助副本故障切换
辅助副本故障切换 当辅助区域副本首次联机或故障转移时,它可能已经从其存储区进行了一些编辑。由于对辅助副本的恢复处理方式不同,因此辅助服务器必须确保在辅助服务器分配后开始服务请求之前,辅助服务器不会及时恢复。为此,辅助服务器会等待,直到它观察...
辅助副本故障切换 当辅助区域副本首次联机或故障转移时,它可能已经从其存储区进行了一些编辑。由于对辅助副本的恢复处理方式不同,因此辅助服务器必须确保在辅助服务器分配后开始服务请求之前,辅助服务器不会及时恢复。为此,辅助服务器会等待,直到它观察...
内存报告 辅助区域副本是指主要区域副本的数据文件,但它们有自己的内存(在HBase-1.1 +中)并使用块缓存。但是,其中一个区别是当辅助区域副本存在内存压力时无法刷新数据。当主区域执行刷新并且该刷新被复制到辅助区域时,它们只能释放内存存储...
META表区域的区域复制 目前,还没有为META表的WAL完成异步WAL复制。META表的辅助副本仍然从持久性存储文件中刷新自己。因此,hbase.regionserver.meta.storefile.refresh.period需要设置...
存储文件TTL 在上述两种写传播方法中,主服务器的存储文件将在独立于主要区域的辅助服务器中打开。因此,对于主要压缩的文件,辅助文件可能仍然在引用这些文件进行读取。这两个功能都使用HFileLinks来引用文件,但是没有任何保护(还)来保证文...
将写入传播到区域副本 如上所述,在HBase时间轴一致性中,写入只转到主要区域副本。为了将写入从主区域副本传播到次区域,有两种不同的机制。对于只读表,您不需要使用以下任何方法。禁用和启用表格应使数据在所有区域副本中可用。对于可变的表,你必须...
权衡取舍 在HBase时间轴一致性使用中,拥有用于读取可用性的次要区域会有一些权衡取舍,应根据每个用例仔细评估。以下是优点和缺点。 优点 只读表的高可用性 过时读取的高可用性 能够以非常高的百分比(99.9%以上)延迟完成非常低的延迟读取 ...
时间轴一致性(Timeline Consistency) HBase引入了一致性定义,可以根据读取操作(获取或扫描)提供一致性定义。 public enum Consistency { STRONG, TIMELINE } Consiste...
HDFS 由于HBase在HDFS上运行(并且每个StoreFile都是作为HDFS上的文件编写的),因此了解HDFS体系结构非常重要,特别是在它如何存储文件,处理故障转移和复制块方面。 有关更多信息,请参阅HDFS体系结构上的Hadoop...
批量加载架构 HBase批量加载过程包含两个主要步骤。 通过MapReduce作业准备数据 # 批量加载的第一步是使用HFileOutputFormat2从MapReduce作业生成HBase数据文件(StoreFiles)。这种输出格式以...
块(Blocks) StoreFiles由块(blocks)组成。块大小基于每个ColumnFamily进行配置。 压缩发生在StoreFiles中的块级别。有关压缩的更多信息,请参阅HBase中的压缩和数据块编码。 KeyValue Ke...