AIが取り込んだ記事、「完了」でも壊れていないとは限らない

Xで見つけたAI関連の記事を、あとから読み返せるように自分用の知識ベース（Second Brain）へ取り込んでいます。取り込みはAIとスクリプトに任せていて、画面上はいつも「完了」で終わります。ただ、「完了」は中身が壊れていないことまでは保証しません。そのとき何を確かめるかを、noteに書きました。

「完了」でも起きること

• 変換の途中でページが抜けて、本文が途中で終わっている
• 表や画像の中の文字が読めず、AIがそれらしい文で埋めている
• 出典やページ数などの情報が空のまま置かれている
• ファイルは増えたのに、索引が古いまま

実際に、取り込みが終わったように見えて、中身を開くとURLが欠けていたり、記事の後半が正しく読み込まれていなかったりしたことがありました。

「壊れていない」と言うための4つの確認

1. 元と数が合っている（PDFのページ数と、変換後の本文が対応しているか）
2. 必須の情報が空でない（タイトル、出典、取り込んだ日など）
3. 読めなかった箇所が、読めなかったと書いてある
4. 索引に載っている

このうち2と4は検証用のスクリプトとGitHub Actionsで毎回確かめていて、1と3はいまは目で見ています。

自動で回すなら

取り込みは「書き込み」なので、失敗したら自動で再試行、にすると同じ記事の二重取り込みや原文の上書きが起きることがあります。どこまでを自動で繰り返してよいかは、先に決めておくようにしています。

続きはnoteへ

確認の考え方は、noteの「AIが取り込んだ記事、壊れていないと言えますか？」（無料）にまとめています。

AIバッチをVPSに載せる前の確認は「終了値0を成功にしていませんか？」、自動で繰り返さない操作の決め方は「cronに載せる前に決める『再試行してはいけない操作』」に書いています（どちらもnoteの有料記事です）。