ウェブサイトでトレーニングする
クロール、ページ制限、回答を最新に保つ方法
クロールの仕組み
Chatixyは、指定されたURLから開始し、プランのページ制限まで内部リンクをたどり、各ページの表示テキストコンテンツをインデックス化します。ログイン、ペイウォール、robots.txtでブロックされたページはスキップされます。
2つの制限があります。サイトごとのページ制限は、1回のクロールを制限します(スターター150ページ、プロ2,500ページ、ビジネス10,000ページ)。さらに、1日のクロール許容量は、1日でインデックス化されるすべてのウェブサイトのページ数を制限します(スターター150ページ、プロ12,500ページ、ビジネス50,000ページ)で、00:00 UTCにリセットされます。1日の許容量を使い切ってクロールが拒否された場合、ナレッジタブで通知され、リセット後に再実行できます。
通常のマーケティングサイトではクロールは数分で完了しますが、非常に大規模なサイトはバックグラウンドで処理され、ページが追加されるとサポートエージェントが改善されます。
ページを除外する
採用ページ、法務アーカイブ、社内ツールなど、エージェントに学習させたくないパスを除外できます。
- プロジェクトのナレッジ設定で
/blog/archive/*のようなパスパターンを追加します - 除外されたページは次回のクロールでインデックスから削除されます
robots.txtのdisallowルールは常に尊重されます
回答を最新に保つ
ナレッジタブからいつでも手動再クロールをトリガーできます。新しいドキュメントを公開した直後や価格を変更した直後に便利です。再クロールは、最後の実行から14日後に再度利用可能になります。
また、ウェブサイトごとに定期再クロールを設定し、14日、30日、90日のいずれかの頻度を選択できます。これらのオプションはすべてのプランで利用可能です。
ヒント
- サイトの大きな更新後は手動の再クロールをトリガーし、エージェントが古いコンテンツを引用しないようにしましょう。
重要
- サイトからページを削除しても、インデックスからすぐに削除されるわけではありません。次回のクロールで消えるか、ソースを手動で削除できます。