Bad Fd

类redis-list的持久化编码和复杂度分析

Mon, 29 Mar 2021 00:00:00 +0000

rocksdb的blockcache的一些优化点

Fri, 26 Mar 2021 00:00:00 +0000

引子

记一些突然间的想法，防止后续忘了，以下是正文。

blockcahe的问题

rocksdb的blockcache目前遇到的，主要有：

官方实现中没有回收机制.

enable_shared_from_this的实现和CRTP Idiom

Wed, 24 Mar 2021 00:00:00 +0000

parameter pack和递归模板展开

Wed, 24 Mar 2021 00:00:00 +0000

需求

做一个libevent的wrapper，有个需求，用户对某个fd的可读事件感兴趣，要求在产生这个事件时，调用他传入的某个可调用对象及其参数。 libevent的回调类似：void LibeventCallback(int fd, short flag, void* arg);

要求： 1、用户传入的可调用对象fn，拿的参数是可变的，第一个参数为某个特定类型，用于感知fd和flag，后续其他为用户自定义参数

lsm读写放大分析（r1）

Tue, 23 Mar 2021 00:00:00 +0000

lsm读写放大分析（r2）

Tue, 23 Mar 2021 00:00:00 +0000

recall of memory order model

Tue, 09 Mar 2021 00:00:00 +0000

c++内存序

题外话

Cache Coherency vs. Memory Consistency

这两个概念容易混淆，重新捋一下。

关于Cache Coherency：

wal recovery would cleanup at least the first WAL

Tue, 09 Mar 2021 00:00:00 +0000

这段时间跟同事尝试修复长期以来项目中遗留的Rocksdb的Case，遇到些有意思的Case，这里记录一下。

some tips for rocksdb case fixing

对于不支持-march=native环境的，可以编译时export USE_SSE=1.避免类似no such instruction: shlx %r13,%rax,%rax'`的问题。
对于rocksdb的测试case，想保留测试db的，可以搞个KEEP_DB环境变量。测试类会根据这个环境变量决定是否清理测试DB。

some details about rocksdb::LRUCache

Mon, 08 Mar 2021 00:00:00 +0000

最近有同事找我讨论问题，觉得挺有趣的记录一下。

`rocksdb::LRUHandle::key()`的历史

第一个问题是rocksdb::LRUHandle::key(), 这个函数返回该handle内部存储的key，但为啥某些情况下却返回value呢？

digest of 3.4

Thu, 04 Mar 2021 00:00:00 +0000

rvalue references summary (50%) impl of std::forward, std::move 0.1.1 acquire & release semantics https://en.cppreference.com/w/cpp/atomic/memory_order https://www.modernescpp.com/index.php/acquire-release-semantic

db笔记 - 事务1:隔离级别

Sun, 14 Feb 2021 00:00:00 +0000

锁

read lock write lock long duration lock short duration lock

c++ notes：recall of move-semantics and rvalue-reference (2)

Wed, 03 Feb 2021 00:00:00 +0000

回顾：

G1-G4:

G1. If a variable or parameter is declared to have type T&& for some deduced type T, that variable or parameter is a universal reference.

G2.

c++ notes：recall of move-semantics and rvalue-reference (1)

Tue, 02 Feb 2021 00:00:00 +0000

几年前，整理了一份rvalue相关笔记：以前的一份笔记，梳理近况时，发现某些问题还是没有弄清楚。

`Universal Reference`

Q: 什么场景下需要考虑这个问题？ A：模板元编程时，需要考虑兼容各种传入参数类型时（尤其是『左值/右值』）。基本上我感觉就是为了处理完美转发问题。比如写一个工厂函数模板，需要同时兼容传入的参数是左值和右值的情况，核心点是一个右值无法用于初始化一个左值引用，c++11之前要解决这个问题，要么写很多重复偏特化模板，要么付出拷贝参数的代价。

c++11引入右值引用之后，上述问题可以通过universal reference来解决，即传入参数是左值时，形参的类型推导为左值引用，是右值时，推导为右值引用，同时只需要提供一套模板即可。
Q: 什么是Universal Reference? A: 形如T&&, T不含有任何的cv限定符, 且T需要被推导

G1. If a variable or parameter is declared to have type T&& for some deduced type T, that variable or parameter is a universal reference.

db笔记 - sse

Mon, 01 Feb 2021 00:00:00 +0000

background

we would set env var USE_SSE=1 when compiling Rocksdb, OTHERWISE it would always failed at linking stage where encountering errors of lack of some instructions such as: no such instruction: shlx %rdx,%rax,%rax'`. but what the fuck is USE_SSE ?

翻车笔记

Fri, 22 Jan 2021 00:00:00 +0000

引子

很煞笔的一天，最近两次面试的试水都挂了（但之前面的两个小公司都拿到offer，小公司没有现场编程题），根因都是现场编程题不太理想。这个也不能怪别人，自己长期以来排斥刷题，觉得刷题纯度太低了，加上到目前为止就没有一次现场编程挂过。

这波有种熟悉的感觉回来了：大二参加acm预选被血虐留下的心理阴影，在那之后再也没碰过OJ。

另外，问到的一个关于LSM读写放大的优化也答得不是特别理想，因为工作上对这块的优化确实没有做，我看了下都是使用了默认的参数，更别说对compact等进行深度定制（引擎这块上不太深入，这也与工作中至今为止主要负责的模块不是这块有关）。

算法笔记：跳表（r1）

Sun, 01 Mar 2020 00:00:00 +0000

这是读书时一篇旧文搬运.几年后再次回顾下算法.

跳表是一种著名数据结构。

原理应该不用介绍了，rocksdb/redis内部都有使用skiplist。

相对于红黑树，它的优势我认为是实现简单，并且容易无锁化。

本文主要讨论：

算法笔记：跳表（r2）

Sun, 01 Mar 2020 00:00:00 +0000

实现一个简单skiplist

上一篇笔记里回顾了跳表的性质和思想，并且看了一眼rocksdb里的skiplist实现。

然后由于好奇，我自己写了一个skiplist，这里记录下。

该skiplist的特性：

不支持concurrent

rocksdb探究 - 一些问题

Tue, 07 Jan 2020 21:26:49 +0800

写请求batch内的多个操作是否会被拆开，为什么？
block-cache里的缓存项是否会因为某个sst被compact而失效？
event-listener的实现
perf-context的实现
ThreadLocalPtr的实现以及为什么

c++服务端rpc笔记：读muduo有感

Sat, 01 Dec 2018 21:26:49 +0800

最近比较详细地缕了一遍公司内部另一个团队的存储产品（基于apache thrift），后简称为A。到目前为止，本团队存储产品自研的rpc框架，加上自己写过一个简单rpc框架用于rdb实例分裂，已经接触了3个rpc框架。准备在这篇文章总结下一些个人感想。

连接处理模型

A的服务端：使用thrift-rpc的nonblock-server，连接处理模型是同步的： a. io线程在收到一个包后，会先把自己设为idle（具体点就是摘掉本线程上的可读写事件），扔给worker线程处理完成后再加回来。
A的cli端的处理是同步的：

c++服务端rpc笔记：读muduo有感

Sat, 01 Dec 2018 21:26:49 +0800

连接处理模型

A的服务端：使用thrift-rpc的nonblock-server，连接处理模型是同步的： a. io线程在收到一个包后，会先把自己设为idle（具体点就是摘掉本线程上的可读写事件），扔给worker线程处理完成后再加回来。
A的cli端的处理是同步的：

智能指针1: shared_ptr使用梳理

Sat, 01 Dec 2018 21:26:49 +0800

本文提及并讨论了：

shared_ptr引入背景
删除器
线程安全性
std::ref

算法笔记：最长回文子串

Sat, 01 Dec 2018 21:26:49 +0800

这是读书时一篇旧文搬运.几年后再次回顾下算法.

描述

给定一个串，求它的最长回文子串。

DP思路

DP的关键是梳理出问题与子问题的关系。

算法笔记：计算1到n中2出现的个数

Fri, 01 Jun 2018 20:26:39 +0800

这是读书时一篇旧文搬运.几年后再次回顾下算法.

问题

给定一个数字n，求1到n序列中2出现的总次数。n最大值可能是10^9。

思路

暴力

分布式笔记 - Raft（1）

Thu, 19 Apr 2018 21:20:49 +0000

Q&A

线性一致性？

个人认为，分布式系统的一致性与多核内存模型中涉及的一致性异曲同工，所以分布式系统的线性一致性我认为可以参考类似多核系统的线性一致性定义来理解。

`fsm: finite-state-machine`

个人理解为有状态分布式服务的每个独立实例（进程+数据），本质上都可以是个有限状态机（fsm）

Todo list

Tue, 07 Nov 2017 02:26:41 +0800

pb使用总结:动态类型反射/non-copy
运维总结:huge page
运维总结:tcpdump抓包
运维总结:tsar/sar/iotop/iostat/top/perf top
db笔记：lsm和btree的读/写放大分析

cheatsheet for FUW

Mon, 07 Nov 2016 21:20:49 +0000

some words used in coding

toggle
quote
snippet
typo

About

Fri, 07 Oct 2016 21:26:49 +0800

about this is a place to meet myself.

Life

Fri, 07 Oct 2016 21:26:49 +0800

Life Topics to be continue…

随想2

Mon, 19 Jan 2015 00:00:00 +0000

下面是一个hugo图像处理的示意代码为 .Resize "300x" .Resize "300x" 随想1

随想

Tue, 20 Dec 2011 07:26:49 +0800

杂 1

既然所有的生命都要死亡，那么生命的意义是什么？

在 bug 中寻找圆满
冯伦被误诊为癌症，那是他第一次开始思考死亡，以前很重视的事情都变得轻了，最沉重的，还是生命。
死亡带来意义，而非消解意义

启用一个新blog（Hugo试用）

Mon, 07 Nov 2011 21:26:49 +0800