個人AIエージェント運用チェックリスト
AIエージェントの運用では、機能を増やすほど確認項目も増えます。最後に、Hermes Agentで得た知見をサービスに依存しないチェックリストへまとめます。
導入前
- [ ] 何を自動化し、何を人が決めるかを書いた
- [ ] 作業フォルダと書き込み可能範囲を決めた
- [ ] 利用するLLMとデータ送信先を確認した
- [ ] OS、Python、Node.jsなどの要件を確認した
- [ ] バックアップと復元方法がある
- [ ] 停止・アンインストール手順を確認した
外部サービス接続時
- [ ] 公式APIまたは公式MCPを優先した
- [ ] OAuth画面で対象アカウントとscopeを確認した
- [ ] 読み取り専用から始めた
- [ ] 必要なToolだけを公開した
- [ ] トークンを会話・コード・Gitへ置いていない
- [ ] Serverごとに必要な環境変数だけを渡した
- [ ] データが通る国・サービス・保存先を確認した
書き込み機能を追加する前
- [ ] prepareとwriteを分けた
- [ ] 書き込みの初期値は無効
- [ ] 対象を一意なIDで指定する
- [ ] 日付、金額、件数、サイズの上限がある
- [ ] 確認内容と実行payloadをhashで結んだ
- [ ] revision競合を検出する
- [ ] 削除は別の強い承認にした
- [ ] 間違った条件で拒否されるテストがある
自動化前
- [ ] 同じ対象で再実行しても二重処理しない
- [ ] 0件と取得失敗を区別する
- [ ] 一時障害と設定エラーを分ける
- [ ] リトライ回数と待ち時間に上限がある
- [ ] GatewayやSchedulerの稼働を確認できる
- [ ] 最終成功時刻と連続失敗を監視する
- [ ] 人がいない時の危険操作は既定拒否
- [ ] 手動実行と復旧手順がある
日次確認
- [ ] 重要ジョブの最終成功時刻
- [ ] 取得件数と処理件数の急変
- [ ] 警告、省略、認証エラー
- [ ] 外部サービスの二重投稿・二重登録
- [ ] Gatewayと外付けストレージの状態
月次確認
- [ ] Agent、MCP Server、API仕様の更新
- [ ] 不要になったToolと資格情報の削除
- [ ] OAuth scopeとallowlistの棚卸し
- [ ] 監査ログとバックアップからの復元テスト
- [ ] Memoryに古い設定が残っていないか
- [ ] 保存データの保持期限と削除
- [ ] コスト、所要時間、失敗率
障害・漏えい時
- [ ] 自動ジョブと外部書き込みを止める
- [ ] キー・トークン・Webhookを失効する
- [ ] 最終成功と最初の異常を時系列化する
- [ ] 外部状態を確認してから再実行する
- [ ] Git、ログ、会話、バックアップの複製範囲を確認する
- [ ] 原因と再発防止を記録する
- [ ] 小さなテスト対象で復旧を確認する
公開・共有前
- [ ] 名前、メール、パス、ID、会議名を匿名化した
- [ ] スクリーンショットと動画の周辺情報を確認した
- [ ] 完了実績と将来構想を分けた
- [ ] 情報確認日と一次情報を載せた
- [ ] 金融・医療・法務などの免責と人の確認がある
まとめ
良いAIエージェント運用は、何でも自動化することではありません。狭い権限で始め、失敗しても外部状態を壊さず、止まった時に気づき、同じ手順で復旧できることです。チェックリストは完成品ではなく、事故と学びのたびに更新する運用資産です。
参考にした一次情報
- [Hermes Agent Security](https://hermes-agent.nousresearch.com/docs/user-guide/security/)
- [Hermes Agent公式ドキュメント](https://hermes-agent.nousresearch.com/docs/)
- [MCP Architecture](https://modelcontextprotocol.io/specification/2025-11-25/architecture)
- [OWASP Cheat Sheet Series](https://cheatsheetseries.owasp.org/)