背景

之前发现Jupyter Notebook下面，如果数据占用多的话，开多进程池会特别的慢。一开始以为是Python的锅，但是把multiprocessing.pool改成直接用os.fork()调用以后，问题依旧。照理来说unix下面使用fork开进程，会启用copy-on-write机制，内存增长并不是特别明显，但是实际在htop下面看内存仍然会在fork之后增长，并且和进程数量是线性相关的。

原因

随后想了老半天，想到了可能和页表有关系。查了一下，跑的服务器上huge page确实被禁用了（不知为何…).

fork的机制简单地说，是在创建新进程的时候把老的进程控制块(Process Control Block)里内存页表拷贝给了新的PCB——这边具体内存的信息是不拷贝的。由于当时Notebook跑的数据处理任务，里面已经用了不少内存(100GB+)，所以拷贝的时候如果用默认的4KB内存页，将会有100 * 1024 * 1024 / 4 = 104,857,600个页表! 按典型一个页表项(Page Table Entry)大小4Bytes计算，一个进程开出来光页表会耗400MB内存.