项目作者: chrisakroyd

项目描述 :
A lightweight robots.txt parser for Node.js with support for wildcards, caching and promises.
高级语言: JavaScript
项目地址: git://github.com/chrisakroyd/robots-txt-parser.git
创建时间: 2016-12-14T23:45:15Z
项目社区:https://github.com/chrisakroyd/robots-txt-parser

开源协议:MIT License

下载