README.mdにベクトル差分更新の手順を追加し、update_pulled_vector_data.pyスクリプトを新規作成
Update ASMR data / update (push) Successful in 2m16s

This commit is contained in:
tokuzou0829
2026-06-17 23:35:45 +09:00
parent 3907806267
commit 9089908136
2 changed files with 272 additions and 0 deletions
+19
View File
@@ -69,6 +69,25 @@ uv run python scripts/update_daily_asmr_data.py --dry-run --diff-limit 100
新規作品がなくてもフィルタと `web/data` を作り直す場合は `--force` を付けます。
## pull後のベクトル差分更新
Actions が更新した `asmr_works.jsonl` / `asmr_works.filtered.jsonl` を pull した後、ローカルの `web/data` だけを差分更新します。
```bash
git pull --rebase --autostash
uv run --extra remote python scripts/update_pulled_vector_data.py
```
このスクリプトは `asmr_works.filtered.jsonl` と `web/data/works.json` を比較し、既存作品のembeddingは `web/data/embeddings.f32` からコピーして再利用します。新規作品、またはタイトル・タグ・声優が変わった作品だけembedding APIへ送ります。
ファイルを書かずに確認する場合:
```bash
uv run --extra remote python scripts/update_pulled_vector_data.py --dry-run
```
APIキーが必要な場合は `EMBEDDING_API_KEY` に設定します。接続先やモデルは `web/data/manifest.json` の `remote-openai-compatible` 設定を使います。
## 翻訳重複の修復
日本語原作と翻訳版が両方 `asmr_works.filtered.jsonl` / `web/data` に入ってしまった場合は、自動検出して翻訳版だけ除外できます。