التدريب على موقعك

الزحف، وحدود الصفحات، والحفاظ على حداثة الإجابات

كيف يعمل الزحف

يبدأ Chatixy من عنوان URL الذي تقدمه ويتبع الروابط الداخلية حتى يصل إلى الحد الأقصى للصفحات في خطتك، حيث يقوم بفهرسة المحتوى النصي الظاهر لكل صفحة. يتم تخطي الصفحات التي تتطلب تسجيل دخول أو خلف جدران دفع أو محظورة بواسطة robots.txt.

هناك حدان ينطبقان. الحد الأول هو حد الصفحات لكل موقع الذي يحدد عدد الصفحات في عملية الزحف الواحدة (البداية 150، المحترف 2,500، الأعمال 10,000 صفحة). بالإضافة إلى ذلك، هناك حد يومي للزحف يحدد عدد الصفحات المفهرسة عبر *جميع* مواقعك في يوم واحد (البداية 150، المحترف 12,500، الأعمال 50,000 صفحة) ويتم إعادة تعيينه في الساعة 00:00 بالتوقيت العالمي. إذا تم رفض الزحف لأن الحد اليومي قد استُنفد، سيخبرك تبويب المعرفة بذلك ويمكنك تشغيله مرة أخرى بعد إعادة التعيين.

عادةً ما ينتهي الزحف في غضون دقائق للمواقع التسويقية النموذجية؛ أما المواقع الكبيرة جدًا فيتم معالجتها في الخلفية ويتحسن وكيل الدعم الخاص بك مع إضافة الصفحات.

استبعاد الصفحات

يمكنك استبعاد المسارات التي لا تريد أبدًا أن يتعلّم منها الوكيل - صفحات الوظائف، والأرشيفات القانونية، والأدوات الداخلية.

  • أضف أنماط مسارات مثل /blog/archive/* في إعدادات معرفة المشروع
  • تُزال الصفحات المستبعَدة من الفهرس عند الزحف التالي
  • تُحترَم دائمًا قواعد المنع في robots.txt

الحفاظ على حداثة الإجابات

يمكنك تشغيل إعادة زحف يدوية في أي وقت من تبويب المعرفة - وهو مفيد مباشرة بعد نشر مستندات جديدة أو تغيير الأسعار. تتاح إعادة الزحف مرة أخرى بعد 14 يومًا من انتهاء الزحف الأخير.

يمكنك أيضًا تفعيل إعادة الزحف المجدولة لكل موقع واختيار التكرار بنفسك - كل 14 أو 30 أو 90 يومًا. تتوفر نفس الخيارات في كل خطة.

نصائح

  • شغّل إعادة زحف يدوية بعد التحديثات الكبيرة للموقع حتى لا يقتبس الوكيل محتوى قديمًا أبدًا.

مهم

  • إزالة صفحة من موقعك لا تزيلها فورًا من الفهرس - فهي تختفي عند الزحف التالي، أو يمكنك حذف المصدر يدويًا.