robots.js - برنامج تحميل مجاني إلى Web

robots.js 0.9.4

ويمكن أن تستخدم لسحب البيانات من ملف robots.txt ويطعمه إلى تطبيقات أخرى أو أدوات الإحصاء.سيتم استخراج URL الهدف، سبب للحصول ووضع البيانات ما هو الجديد في هذا الإصدار:. وتتولى HTTP (ق) طلب أخطاء. ما هو الجديد في الإصدار 0.7.2: الثابتة package.json المعلومات الوصفية عن الخلل. المتطلبات: Node.js 0.6 أو...