注册
登录
机器人
robots-txt-parser
返回
项目作者:
chrisakroyd
项目描述 :
A lightweight robots.txt parser for Node.js with support for wildcards, caching and promises.
高级语言:
JavaScript
项目主页:
项目地址:
git://github.com/chrisakroyd/robots-txt-parser.git
创建时间:
2016-12-14T23:45:15Z
项目社区:
https://github.com/chrisakroyd/robots-txt-parser
开源协议:
MIT License
下载