ウェブサイトでトレーニングする
クロール、ページ制限、回答を最新に保つ方法
クロールの仕組み
Chatixyは、指定されたURLから開始し、プランのページ制限まで内部リンクをたどり、各ページの表示テキストコンテンツをインデックス化します。ログイン、ペイウォール、robots.txtでブロックされたページはスキップされます。
Chatixyはウェブサイトを2つの層で把握します。サイトに掲載されているすべてのページがマッピングされます(どのプランでもウェブサイトごとに最大100,000ページ)。訪問者に聞かれると、アシスタントはマッピング済みのページをライブで開きます。さらに、重要ページは完全に学習されます(ウェブサイトごとに、スターター150ページ、プロ2,500ページ、ビジネス10,000ページ)。1日のクロール許容量は、1日に学習されるすべてのウェブサイトのページ数を制限し(スターター150ページ、プロ12,500ページ、ビジネス50,000ページ)、00:00 UTCにリセットされます。1日の許容量を使い切ってクロールが拒否された場合、ナレッジタブで通知され、リセット後に再実行できます。
通常のマーケティングサイトではクロールは数分で完了しますが、非常に大規模なサイトはバックグラウンドで処理され、ページが追加されるとサポートエージェントが改善されます。
ページを除外する
採用ページ、法務アーカイブ、社内ツールなど、エージェントに学習させたくないパスを除外できます。
- プロジェクトのナレッジ設定で
/blog/archive/*のようなパスパターンを追加します - 除外されたページは次回のクロールでインデックスから削除されます
robots.txtのdisallowルールは常に尊重されます
回答を最新に保つ
ナレッジタブからいつでも手動再クロールをトリガーできます。新しいドキュメントを公開した直後や価格を変更した直後に便利です。再クロールは、最後の実行から14日後に再度利用可能になります。
また、ウェブサイトごとに定期再クロールを設定し、14日、30日、90日のいずれかの頻度を選択できます。これらのオプションはすべてのプランで利用可能です。
ヒント
- サイトの大きな更新後は手動の再クロールをトリガーし、エージェントが古いコンテンツを引用しないようにしましょう。
重要
- サイトからページを削除しても、インデックスからすぐに削除されるわけではありません。次回のクロールで消えるか、ソースを手動で削除できます。