README.mdにベクトル差分更新の手順を追加し、update_pulled_vector_data.pyスクリプトを新規作成
Update ASMR data / update (push) Successful in 2m16s
Update ASMR data / update (push) Successful in 2m16s
This commit is contained in:
@@ -69,6 +69,25 @@ uv run python scripts/update_daily_asmr_data.py --dry-run --diff-limit 100
|
||||
|
||||
新規作品がなくてもフィルタと `web/data` を作り直す場合は `--force` を付けます。
|
||||
|
||||
## pull後のベクトル差分更新
|
||||
|
||||
Actions が更新した `asmr_works.jsonl` / `asmr_works.filtered.jsonl` を pull した後、ローカルの `web/data` だけを差分更新します。
|
||||
|
||||
```bash
|
||||
git pull --rebase --autostash
|
||||
uv run --extra remote python scripts/update_pulled_vector_data.py
|
||||
```
|
||||
|
||||
このスクリプトは `asmr_works.filtered.jsonl` と `web/data/works.json` を比較し、既存作品のembeddingは `web/data/embeddings.f32` からコピーして再利用します。新規作品、またはタイトル・タグ・声優が変わった作品だけembedding APIへ送ります。
|
||||
|
||||
ファイルを書かずに確認する場合:
|
||||
|
||||
```bash
|
||||
uv run --extra remote python scripts/update_pulled_vector_data.py --dry-run
|
||||
```
|
||||
|
||||
APIキーが必要な場合は `EMBEDDING_API_KEY` に設定します。接続先やモデルは `web/data/manifest.json` の `remote-openai-compatible` 設定を使います。
|
||||
|
||||
## 翻訳重複の修復
|
||||
|
||||
日本語原作と翻訳版が両方 `asmr_works.filtered.jsonl` / `web/data` に入ってしまった場合は、自動検出して翻訳版だけ除外できます。
|
||||
|
||||
Reference in New Issue
Block a user