Type-011

• 過去の投稿の収集と継続的な同期。編集履歴と削除状態も追跡します。
• 収集ソースの管理と同期状況の確認ができる Web 画面。
• Qwen3 によるバッチ埋め込み生成。ベクトルを投稿バージョンとモデルに関連付けて pgvector に保存します。
• ベクトル保存の冪等性、遅延再試行、失敗タスクの隔離、未生成の埋め込みを補完する照合処理。

コレクターは投稿の新しいバージョンとイベントを同じ PostgreSQL トランザクションで保存します。Debezium がコミット済みのイベントを RabbitMQ に転送し、独立したワーカーが埋め込み生成タスクを取得してベクトルを保存します。

GPU ワーカーはアプリケーションとは別に動作し、タスクキューを共有します。ワーカーごとにデバイス、リソース、バッチの設定が可能です。リモートのワーカーは SSH トンネル経由でサービスに接続します。

Prometheus のメトリクスを2つの Grafana ダッシュボードで確認できます。

• 収集状況：ソースの稼働状況、保存済み投稿と編集履歴、受信イベント、処理結果、遅延。
• RabbitMQ 運用：キューの滞留、処理速度とタスクの待機時間、コンシューマーの稼働状況、再配信。