컨텍스트 엔지니어링(심화) — 유한한 자원을 설계하기

초급에서 “AI의 책상을 잘 차리기”를 배웠습니다. 중급은 그 책상이 무한하지 않다는 사실에서 출발합니다. 컨텍스트는 유한한 자원이고, 잘못 채우면 오히려 성능이 떨어집니다.

0. 한 문장으로 보는 중급 컨텍스트

“원하는 결과를 낼 가능성을 최대로 높이는 가장 작은, 신호가 강한 정보의 집합을 찾는 일.”

AI가 한 번에 처리하는 정보량(컨텍스트 윈도우)은 정해져 있습니다. 더 중요한 건, 크다고 무조건 좋은 게 아니라는 점입니다.

컨텍스트 로트(context rot): 정보가 많아질수록, AI가 그 안에서 특정 정보를 정확히 찾는 능력이 떨어집니다.
주의 예산(attention budget): AI도 사람의 작업기억처럼 주의에 한계가 있어, 새 정보 한 토막이 예산을 조금씩 깎습니다.

그래서 중급 원칙: 신호가 강한 정보만 최소한으로. 무관한 정보를 빼는 건 단정함이 아니라 성능의 문제입니다.

클로드 프로젝트의 RAG가 바로 이 원리입니다(3번 페이지). 실무에선 자주 쓰는 핵심은 미리, 방대한 자료는 그때그때의 하이브리드가 흔합니다.

① 압축(Compaction): 한계에 가까워지면 지금까지를 고품질로 요약해 그 요약으로 새 대화 시작. 결정·미결·핵심은 남기고 중복은 버림.

② 구조화된 메모(Note-taking): 중요한 내용을 대화 밖 메모·파일에 적어두고 필요할 때 불러옴(외부 기억).

③ 작업 분할: 큰 작업을 여러 깨끗한 맥락으로 나눠 처리하고 결론만 합침(체인과 통함).

미션 1 — 신호 다이어트: 길게 넣던 맥락을 절반으로 줄이고 결과가 유지되는지 확인.

미션 2 — 압축 실습: 긴 대화를 ’결정/미결/다음 할 일’로 압축해 새 대화로 이어가기.

미션 3 — 참조 방식: 큰 자료를 통째로 넣는 대신 요약+참조 방식으로 바꿔 비교.

미션 4 — 외부 메모: 반복 프로젝트의 ’항상 기억할 핵심’을 메모 파일로.

한 줄 정리: 컨텍스트는 유한한 주의 예산입니다. 많이가 아니라 신호가 강한 최소한을, 잘 구조화해, 길어지면 압축·메모·분할로 관리하세요.