用cheerio替代jsdom减少内存泄漏
jsdom用来解析获取的页面并生成dom，在抓取页面数据的时候非常方便好用，但是，jsdom似乎存在内存泄漏的问题。在数据量较小的情况下并不明显，数据一大马上就会变得可以感知。并且window.close()的调用并不能完全解决问题，只能延缓这种泄漏的速度。 在node执行时加入--trace_gc参数可以看到内存清理的信息。下面的示例数据略乱，只是放出来看看的。 [3657] 163984 ms: Scavenge 190.5 (220.0) -> 179.2 (222.0) MB, 57…
jsdom用来解析获取的页面并生成dom，在抓取页面数据的时候非常方便好用，但是，jsdom似乎存在内存泄漏的问题。在数据量较小的情况下并不明显，数据一大马上就会变得可以感知。并且window.close()的调用并不能完全解决问题，只能延缓这种泄漏的速度。 在node执行时加入--trace_gc参数可以看到内存清理的信息。下面的示例数据略乱，只是放出来看看的。 [3657] 163984 ms: Scavenge 190.5 (220.0) -> 179.2 (222.0) MB, 57…