Observation Log(射影された観測/結論なし)

AI向け指示の削減と再配置

object

Anthropicが、新世代モデル向けのClaude Codeにおいて、システムプロンプトの大部分を削除し、一部の手順や知識を必要時に参照する構成へ変更したと説明している。同社のコーディング評価では、削減による測定可能な性能低下はなかったとされる。

notes

  • 以前の指示には、コメントの書き方や作成してはいけない文書など、具体的な禁止事項が複数記述されていた。
  • 新しい指示では、周囲のコードと同じ書き方に合わせるという短い記述へ置き換えられている。
  • システムプロンプト、スキル、ユーザー指示の間に、重複または矛盾する指示が含まれる場合があったと説明されている。
  • 新しいモデルでは、具体例が特定の探索範囲へ出力を限定する場合があると説明されている。
  • コードレビューや検証手順などは、常時読み込む指示から、必要時に参照する個別の情報へ分離されている。
  • 設定ファイルには、リポジトリを見れば分かる情報ではなく、コードからは分からない固有の制約や落とし穴を書くことが推奨されている。
  • 説明文の代わりに、動作するテストコード、既存ライブラリ、HTMLモックなどを参照させる例が示されている。
  • 指示を削減した評価結果は、同社のコーディング環境を対象としている。
  • 文章生成や他の業務領域でも同じ結果になるかは示されていない。
  • 重要領域では詳細な指示を残す例外があるとされるが、その範囲は明示されていない。

implications

  • 常時与える指示と、必要時に参照する情報の境界が、今後のAI利用で観測対象になりうる。
  • 既存の指示が現在のモデルでも同じ作用を持つか、再確認が必要になる可能性がある。

questions

  • 同様の指示削減は、コーディング以外の領域でも性能を維持するか。
  • 詳細な指示を残すべき「重要領域」は、どの条件で区別されるか。
  • 具体例が補助として働く場合と、探索を限定する場合はどのように判別できるか。