记一个 Node 并发数太多出错问题的排查

今天有人问我一个问题，做离线爬虫服务，一次性发出 10000 以上的请求去拉取数据，会返回很多失败。

这是为什么？?

于是写个两段代码实践了下。?

其中一段代码就是起一个服务提供一个接口，同时记录下 libuv I/O 的 activeHandles 和 activeRequests.?

activeHandles 是指事件循环队列中未解决的任务数，

activeRequests 是指未解决的请求数。?

server.js

?另一段代码如下，

sendRequest.js

果然报很多错误，

上网查下 EMFILE 错误，是由于打开了太多文件形容符，文件形容符包括磁盘文件，命名管道，网络套接字和由所有进程打开的设施。

处理方法一方面是将系统文件形容符的上限扩大，另一方面是限制并发数。?

参考资料：?

https://stackoverflow.com/questions/19981065/nodejs-error-emfile-too-many-open-files-on-mac-os

https://superuser.com/questions/433746/is-there-a-fix-for-the-too-many-open-files-in-system-error-on-os-x-10-7-1

http://landcareweb.com/questions/7995/node-jszhong-de-lian-jie-emfile-cuo-wu

https://codeday.me/bug/20170919/75603.html

https://blog.csdn.net/sdn_prc/article/details/28661661