《Write-Ahead Log》中文翻译

最新推荐文章于 2023-10-18 18:46:39 发布

阳光洒落你窗前

最新推荐文章于 2023-10-18 18:46:39 发布

阅读量321

点赞数

分类专栏：数据库文章标签： p2p 网络协议网络

原文链接：https://martinfowler.com/articles/patterns-of-distributed-systems/wal.html

版权

数据库专栏收录该内容

1 篇文章 0 订阅

订阅专栏

注：文章来自于 Write-Ahead Log，作者是在Thoughtworks工作的 Martin Fowler。文章主要写了「预写日志」这一在现代分布式数据库中的常用技术。

预写日志

通过将每个状态更改以命令的形式持久化到日志中，而无需将数据结构刷新到磁盘，来提供持久性保证。

也就是：操作日志。

问题

即时在存储数据的服务器出故障的情况下，也需要数据强完整性的保证。一旦服务器同意执行一个操作，他就应该能执行下去，就算服务器失败重启，丢失所有的内存信心。

解决方案

Figure 1: Write Ahead Log

将每个状态变更以命令的形式存储到硬盘文件中。为每个服务器进程维护一个日志，并按顺序追加。单个日志的顺序追加操作简化了服务重启后的日志处理和后续联机处理工作。每个日志条目都有唯一的标志符。唯一日志标识符有助于在日志上执行某些其他操作，如分段日志( Segmented Log ) 或使用低水位线( Low-Water Mark )清理日志等。日志更新可以使用单一更新队列( Singular Update Queue)来实现。

典型的日志条目结构如下所示：

class WALEntry…

  private final Long entryId;
  private final byte[] data;
  private final EntryType entryType;
  private long timeStamp;

每次重新启动时都可以读取该文件，并且可以通过重放所有日志条目来恢复状态。

考虑一个简单的内存kv存储：

class KVStore…

  private Map<String, String> kv = new HashMap<>();

  public String get(String key) {
      return kv.get(key);
  }

  public void put(String key, String value) {
      appendLog(key, value);
      kv.put(key, value);
  }

  private Long appendLog(String key, String value) {
      return wal.writeEntry(new SetValueCommand(key, value).serialize());
  }

put操作表示为命令，该命令在更新内存哈希映射之前被序列化并存储在日志中。

class SetValueCommand…

  final String key;
  final String value;
  final String attachLease;
  public SetValueCommand(String key, String value) {
      this(key, value, "");
  }
  public SetValueCommand(String key, String value, String attachLease) {
      this.key = key;
      this.value = value;
      this.attachLease = attachLease;
  }

  @Override
  public void serialize(DataOutputStream os) throws IOException {
      os.writeInt(Command.SetValueType);
      os.writeUTF(key);
      os.writeUTF(value);
      os.writeUTF(attachLease);
  }

  public static SetValueCommand deserialize(InputStream is) {
      try {
          DataInputStream dataInputStream = new DataInputStream(is);
          return new SetValueCommand(dataInputStream.readUTF(), dataInputStream.readUTF(), dataInputStream.readUTF());
      } catch (IOException e) {
          throw new RuntimeException(e);
      }
  }

这可以确保一旦put方法成功返回，即使持有KVStore的进程崩溃，也可以通过在启动时读取日志文件来恢复其状态。

class KVStore…

  public KVStore(Config config) {
      this.config = config;
      this.wal = WriteAheadLog.openWAL(config);
      this.applyLog();
  }

  public void applyLog() {
      List<WALEntry> walEntries = wal.readAll();
      applyEntries(walEntries);
  }

  private void applyEntries(List<WALEntry> walEntries) {
      for (WALEntry walEntry : walEntries) {
          Command command = deserialize(walEntry);
          if (command instanceof SetValueCommand) {
              SetValueCommand setValueCommand = (SetValueCommand)command;
              kv.put(setValueCommand.key, setValueCommand.value);
          }
      }
  }

  public void initialiseFromSnapshot(SnapShot snapShot) {
      kv.putAll(snapShot.deserializeState());
  }