基于 python3.7 利用 Motor 来异步读写 Mongodb 提高效率

刘悦 at 
如果使用 Python 做大型海量数据批量任务时,并且 backend 用 mongodb 做数据储存时,常常面临大量读写数据库的情况。尤其是大量更新任务,由于不能批量操作,我们知道 pymongo 是同步任务机制,相当耗时。如果采用多线程、多进程的方案确实有效,但编写麻烦、消耗系统资源大(pymongo 还不允许 fork 线程中共用连接)。这里主要瓶颈在于 IO,使用单线程异步操作就会效果很好。Motor 是一个异步 mongodbdriver,支持异步读写 mongodb。它通常用在基于 Tornado 的异步 web 服务器中。Motor 同时支持使用 asyncio(Python3.……