从源码看Redis的AOF持久化机制

AOF持久化就是把命令按照原始的文本存储到文件中，在重新启动的时候再一条条的执行。

AOF存储结构

比如命令 set msg hello ：

1、 首先写入的就是 3，然后追加 \r\n
2、 遍历每个字符，先写下$符号，然后记下这个字符的长度，追加 \r\n再记下长度和字符本身，然后追加 \r\n
3、 set msg hello 最终需要追加的内容为 3\r\n$3\r\nmsg\r\n$5\r\nhello\r\n

AOF文件过大的问题

AOF文件本身记录了很多的命令，但是随着时间流逝，可能很多命令都重复了，redis可以通过手动 bgrewriteaof或者配置自动执行 AOF重写来精简AOF文件

AOF相关源码追踪

AOF存储格式

Code.SLICE.source("buf[0] = '*';" +
"    len = 1+ll2string(buf+1,sizeof(buf)-1,argc);" +
"    buf[len++] = '\r';" +
"    buf[len++] = '\n';" +
"    dst = sdscatlen(dst,buf,len);" +
"    for (j = 0; j < argc; j++) {" +
"        o = getDecodedObject(argv[j]);" +
"        buf[0] = '$';" +
"        len = 1+ll2string(buf+1,sizeof(buf)-1,sdslen(o->ptr));" +
"        buf[len++] = '\r';" +
"        buf[len++] = '\n';" +
"        dst = sdscatlen(dst,buf,len);" +
"        dst = sdscatlen(dst,o->ptr,sdslen(o->ptr));" +
"        dst = sdscatlen(dst,\"\r\n\",2);" +
"        decrRefCount(o);" +
"    }")
.interpretation("按照一定的格式转化命令，放到要存放的目的地")
.interpretation("1: 先计算命令一共有几个字符 ，比如命令 set msg hello ，那么首先写入的就是 3，然后追加 \r\n")
.interpretation("2: 遍历每个字符，先写下$符号，然后记下这个字符的长度，追加 \r\n再记下长度和字符本身，然后追加 \r\n")
.interpretation("3: set msg hello 最终需要追加的内容为  3\r\n$3\r\nmsg\r\n$5\r\nhello\r\n");

启动加载

 //..
Code.SLICE.source("while(1) ")
    .interpretation("读取AOF文件的内容，按照 REPL 的格式 ，1条条命令处理");
//..
Code.SLICE.source("if (fgets(buf,sizeof(buf),fp) == NULL)")
    .interpretation("从文件中读取一定字节到buf中");
//..
Code.SLICE.source("argc = atoi(buf+1);")
    .interpretation("拿到命令的长度");
//..
Code.SLICE.source("for (j = 0; j < argc; j++) ")
    .interpretation("一个个的解析这条命令的所有数据,中间会对写入的数据做校验");
//..
Code.SLICE.source("argv[j] = createObject(OBJ_STRING,argsds);")
    .interpretation("将数据存储到argv数组");
//..
Code.SLICE.source("cmd = lookupCommand(argv[0]->ptr);")
    .interpretation("确保要执行的命令是合法的redis命令");
//..
Code.SLICE.source("cmd->proc(fakeClient);")
    .interpretation("模拟执行");

AOF的优势

能实现秒级的实时持久化

总结

1、 每个命令执行完后会按照命令原始的文本被追加到内存中，后续”等待”机会再写入磁盘;
2、 redis会根据配置定时的将数据写入磁盘
3、 重写就是把当前内存所有的数据1条条的写到新的临时文件，最后在serverCron中重定向到 AOF 文件中,重写过程是异步的
4、 加载AOF也就是一条条的执行所有命令

附录

AOF与定时写入文件源码追踪
AOF重写源码追踪
启动加载源码追踪
Redis设计与实现
Redis开发与运维

文章永久链接：https://tech.souyunku.com/47053