binary_log用于C++的快速二進制記錄器

binary_log 是一個用于 C++ 的快速二進制記錄器。

Highlights

• 以緊湊的二進制格式記錄消息
• 快速地
  • 每秒數(shù)億條日志
  • 基本數(shù)據(jù)類型的平均延遲為2-7 ns
  • 查看基準(zhǔn)
• 提供解包器來壓縮日志消息
• 使用?fmtlib?格式化日志
• 同步日志記錄 - 不是線程安全的
• Header-only library
  • 此處提供單個頭文件版本
• 需要 C++20

Usage and Performance

以下代碼將 10 億個整數(shù)記錄到文件中。

#include <binary_log/binary_log.hpp>

int main()
{
  binary_log::binary_log log("log.out");

  for (int i = 0; i < 1E9; ++i)
    BINARY_LOG(log, "Hello logger, msg number: {}", i);
}

在一個現(xiàn)代工作站桌面上，上述代碼的執(zhí)行時間為~3.5秒。

foo@bar:~/dev/binary_log$ time ./build/examples/billion_integers/billion_integers

real    0m3.561s
user    0m2.422s
sys     0m1.141s

foo@bar:~/dev/binary_log$ ls -lart log.out*
-rw-r--r-- 1 pranav pranav          6 Dec  6 07:52 log.out.runlength
-rw-r--r-- 1 pranav pranav         32 Dec  6 07:52 log.out.index
-rw-r--r-- 1 pranav pranav 4999934337 Dec  6 07:52 log.out

設(shè)計目標(biāo)和決策

• 實現(xiàn)單線程同步記錄器 - 不提供線程安全
  • 如果用戶想要多線程行為，用戶可以選擇并實現(xiàn)自己的排隊解決方案
  • 有許多眾所周知的無鎖隊列可用于此目的（moody::concurrentqueue、atomic_queue等）——讓用戶選擇他們想要使用的技術(shù)。
  • 進入無鎖隊列的延遲足夠大
    • 不關(guān)心多線程場景的用戶不應(yīng)該為此付出代價
    • 查看atomic_queue benchmarks，在許多最先進的多生產(chǎn)者、多消費者隊列中發(fā)送和接收 4 字節(jié)整數(shù)（在 2 個線程之間，使用 2 個隊列）的平均往返延遲約為150-250 納秒。
• 避免多次寫入靜態(tài)信息
  • 靜態(tài)信息示例：格式字符串、格式參數(shù)的數(shù)量以及每個格式參數(shù)的類型
  • 將靜態(tài)信息存儲在“索引”文件中
  • 將動態(tài)信息存儲在日志文件中（盡可能參考索引文件）
• 在運行時 hot path?中做盡可能少的工作
  • 沒有任何形式的格式
  • 所有格式化都將使用解壓縮二進制日志的解包器脫機進行

運作方式

binary_log?將日志拆分為三個文件：