문과를 위한 AI 설명서 - 길어지는 채팅은 AI를 불안하게 합니다.

 

 

AI와 채팅을 오~래, 길~게 할 수록 초반에 이야기했던 것을 까먹거나, 하지 말라고 했던 것을 갑자기 하는 등 점점 멍청해지는 경우가 종종 있습니다. “얘도 사람 마냥 뇌 과부화 걸리면 지능이 떨어지나 ㅋㅋ” 싶은데,

 

그거 맞아요. 진짜로.

 

AI는 매순간마다 정보를 담을 수 있는 상자의 크기가 정해져 있습니다.

 

너무 킹받게 그려준 제미나이 ^^

 

#Context-Drift

즉, 우리가 질문을 할 때마다 AI는 상자에 [이전에 대화했던 기록+새로운 정보+기타 등등]을 담고, 그 정보를 기반으로 답변을 해주는 거죠. 그러니까, 만약 대화가 정말 길어져서 이전 대화의 기록이 상자의 크기를 넘어서는 순간, 미처 다 담지 못한 정보는 뇌에서 사라지는 셈이 됩니다. 그래서 대화가 길어지고 정보가 누적되는 만큼 까먹어서 생기는 실수들이 많아지게 되죠. 

 

하지만, 요즘은 상자의 크기가 커져서 책 한권 분량은 커버하고도 남습니다. 문제는 다른데서 또 생기죠.

 

아니 상자는 커졌는데 왜!!!

#Lost-in-the-Middle

봐야할게 너무 많으니까 뭣이 중헌지를 모르고 해까닥합니다. 상자의 크기는 커졌지만 어른들의 사정으로 그걸 다 자세히 들여다볼 만큼 자원을 주지않아요. 결국 중요한 정보 위주로 상자를 들여다보게 되는데, 그 중에서 정작 내가 중요하게 생각했던 것들을 놓치면서 실수가 생깁니다. 특히, 대화가 성인 ADHD급으로 중구난방한 경우 더 심해져요.

 

파훼법은, 길어진다 싶으면 "야, 인수인계서 작성해놔" 해놓고 새로운 노예채팅열어서 인수인계서 던져주고 대화를 이어가면 됩니다. 아래 내용은 제가 사용하는 인수인계서 양식입니다. Anthropic 해커톤 우승자 ykdojo가 작성한 Claude code 가이드에서 영감을 받아 변형했는데, 생각보다 잘 해줍니다.

 

---
name: handoff
description: 새로운 컨텍스트를 가진 다음 에이전트가 작업을 원활하게 이어갈 수 있도록 인수인계 문서를 작성합니다.
---

다음 에이전트가 작업을 지속할 수 있도록 인수인계 문서를 작성하세요.

단계:
다음 내용을 포함하여 문서를 생성하거나 업데이트합니다:
   - **목표 (Goal)**: 달성하고자 하는 최종 목적
   - **현재 진행 상황 (Current Progress)**: 지금까지 완료된 작업 사항
   - **성공한 방법 (What Worked)**: 성공적이었던 접근 방식
   - **실패한 방법 (What Didn't Work)**: 실패했거나 반복하지 말아야 할 접근 방식
   - **다음 단계 (Next Steps)**: 작업을 이어가기 위한 명확한 실행 항목

 

그대로 던져주면 지금까지의 대화를 요약해서 여러분에게 던져줄 겁니다.

 

 

 

일부 이미지는 생성형 AI를 사용하여 만들었지만, 모든 글은 제가 직접 작성했습니다.