默认用boost python包裹的C++对象是不支持pickle的，如果要用pickle.dumps(obj)的话那会提示错误 Pickling of "xxx" instances is not enabled. 这边吐槽一下在最新的代码里，给的reference链接其实还是不可用的。真正正确的是https://www.boost.org/doc/libs/1_74_0/libs/python/doc/html/reference/topics/pickle_support.html。 让你的class支持Pickle协议 若要让你的C++ Class支持Pickle协议，比较“正统”的方法是利用boost提供的boost::python::pickle_suite. 拿代码说话： struct world_t { world_t(const string& country) { … } }; struct world_pickle_suite : boost::python::pickle_suite { static boost::python::tuple getinitargs(const world_t& w) { // [可选实现] 返回一个boost::python::tuple元组，其值被用来构造 // 如果一个类的构造函数**不需要参数**的话，可以不用重载这个方法。 return boost::python::make_tuple(w.country()); } static boost::python::tuple getstate(const world_t& w) { // [可选实现] 如果对象的构造函数并不能完全恢复对象的状态, // 那么要用此函数返回其状态值 }… Continue reading Boost Python的C++对象, Pickle支持及其原理
Month: October 2020
Apache2配置微信公众号的反向代理
题外话 迫于妹子生日要到了，今年手头又比较紧，所以打算做个微信公众号的小东西骗骗她😜目前跑网站的服务器虽然配置不咋地，但是服务器上也就一个typecho的php项目要跑，平时访问量也门可罗雀，所以打算利用原有的服务器搭个反向代理到微信公众号的服务端。 目标 主域名example.com: 80/443端口直接到原有的网站 子域名wechat.example.com 80端口反向代理到本地服务http://localhost:8766/ 实作 其实很简单，新建一个VirtualHost即可。创建一个/etc/apache2/sites-available/wechat.conf内容如下： <VirtualHost *:80> ServerName wechat.example.com ServerAdmin webmaster@localhost ProxyPass / http://localhost:8766/ ProxyPassReverse / http://localhost:8766/ ErrorLog ${APACHE_LOG_DIR}/error.log CustomLog ${APACHE_LOG_DIR}/access.log combined </VirtualHost> 其中的关键是ProxyPass以及ProxyPassReverse. 完成之后，用a2ensite wechat启用这个VirtualHost, 再systemctl reload apache2便万事大吉。
记录一下找了半天的huge page坑——fork越来越慢的原因
背景 之前发现Jupyter Notebook下面，如果数据占用多的话，开多进程池会特别的慢。一开始以为是Python的锅，但是把multiprocessing.pool改成直接用os.fork()调用以后，问题依旧。照理来说unix下面使用fork开进程，会启用copy-on-write机制，内存增长并不是特别明显，但是实际在htop下面看内存仍然会在fork之后增长，并且和进程数量是线性相关的。 原因 随后想了老半天，想到了可能和页表有关系。查了一下，跑的服务器上huge page确实被禁用了（不知为何…). fork的机制简单地说，是在创建新进程的时候把老的进程控制块(Process Control Block)里内存页表拷贝给了新的PCB——这边具体内存的信息是不拷贝的。由于当时Notebook跑的数据处理任务，里面已经用了不少内存(100GB+)，所以拷贝的时候如果用默认的4KB内存页，将会有100 * 1024 * 1024 / 4 = 104,857,600个页表! 按典型一个页表项(Page Table Entry)大小4Bytes计算，一个进程开出来光页表会耗400MB内存.