[AI노트] AI와 대화하다 답답한 답만 듣고 있다면, 이게 가장 흔한 케이스입니다.

안녕하세요. 나이프입니다.

강의다 프로젝트다 바빠서 글을 거의 못 적었네요.

강의하다 똑같이 실수하는 부분이 있습니다.

AI를 쓰다 보면 다들 한 번쯤 겪는 답답한 순간이 있습니다.

처음 대화를 시작했을 때는 찰떡같이 알아듣더니, 대화가 오래 되다보면 갑자기 딴소리를 하고, 방금 한 말을 까먹거나, 엉뚱한 내용을 내놓기도 합니다.

그럴 때 대부분 이렇게 생각하시는 듯 합니다.

"AI가 아직 한계인가보다!" "내가 프롬프트를 잘못 썼나?"

그리고는 좀 맴도는 경향이 있죠.

AI 강의를 진행하면서 수강생분들의 화면을 보면 유사한 패턴이 보이는데요.

"하나의 채팅창에서 온갖 일을 다 시키고 계십니다."

어제 경매 물건 분석하던 창에서 오늘 카페 칼럼을 쓰고, 그 아래에서 엑셀 수식을 묻고, 강의안까지 만듭니다.

새 창을 열면 지금까지 한 대화가 다 날아갈 것 같아서 계속 같은 창에 머무는 것이죠.

하지만 AI는 나에 대해 많은 대화가 쌓일수록 똑똑해지는 게 아닙니다.

오히려 기억이 쌓일수록 과부하가 걸려 멍청해집니다.

■ 대화창 하나는 '작업 책상'입니다

이해하기 쉽게 비유를 들어보겠습니다. 대화창 하나는 AI의 책상 하나입니다.

대화를 주고받을수록 책상 위에는 서류가 끝도 없이 쌓입니다. 오전에 보던 경매 물건 감정평가서, 점심에 쓴 블로그 초안, 오후에 질문한 에러 메시지까지 전부 한 책상 위에 뒤엉켜 올라가 있는 셈입니다.

책상이 아무리 넓어도 서류가 1,000장 쌓여 있으면 어떻게 될까요? 지금 당장 필요한 서류를 찾다가 엉뚱한 종이를 집어 들게 됩니다.

AI도 똑같습니다. 대화창 안에 들어 있는 모든 이전 텍스트를 매번 전부 다시 읽고 답변을 생성하기 때문에, 예전의 조건이나 말투, 숫자가 엉뚱한 곳에 뒤섞여 버립니다.

"조금 다른 형태의 업무라면 과감히 새창을 여세요!"

■ 느낌이 아니라 실제 연구 결과입니다

"그래도 AI 뇌 용량이 엄청 크다는데, 긴 대화도 다 기억하지 않나요?"

실제 AI 연구 결과를 보면 전혀 그렇지 않습니다. 1. Lost in the Middle 현상 AI 연구에 따르면, 대화가 길어질수록 AI는 대화의 처음과 마지막만 기억하고 중간에 있던 중요한 조건은 까먹거나 무시하는 현상이 뚜렷하게 나타납니다.

2. 무관한 정보의 방해 수학 문제에 정답과 상관없는 문장 단 하나만 섞어도 AI의 문제 해결 정확도가 크게 떨어집니다. 틀린 정보가 아니더라도 '지금 할 일과 상관없는 정보'는 AI에게 심각한 노이즈가 됩니다.

3. 컨텍스트 길이와 성능 저하 2025년 최신 연구에서는 입력 내용이 길어지는 것만으로도 AI 모델의 문제 해결 성능이 13.9%에서 최대 85%까지 급격하게 떨어진다는 사실이 증명되었습니다. 즉, AI에게 옛날 대화를 계속 짊어지게 하는 것은 천재 알바생의 머리 위에 잡동사니 짐을 한가득 얹어놓고 일을 시키는 것과 같습니다.

■ 새 창을 열어도 예전 대화는 사라지지 않습니다

그리고 강의 중에 보니, "그러면 지금까지 작업한 내용이 아까워서 새 창을 못 열겠어요."라고 말씀하시는 분들이 많습니다. 새 창을 여는 것은 대화를 버리는 게 아닙니다. 하던 작업을 서랍에 깔끔하게 넣어두고, 책상 위만 새로 깨끗하게 치우는 것입니다.

- ChatGPT / Claude 웹 사용자: 왼쪽 사이드바에 이전 대화 목록이 날짜별로 그대로 남아 있어 언제든 다시 클릭해 이어갈 수 있습니다. - Claude Code (터미널) 사용자: 새 세션을 열었더라도 터미널에서 /resume 명령어 하나만 치면 이전 작업 목록을 불러와 정확히 그 지점부터 다시 시작할 수 있습니다.

■ 이렇게 써보시면 좋습니다.

아래처럼 기억하고 사용하시면 됩니다.

1. 같은 작업이면 -> 지금 창에서 계속 다듬기 (문장 수정, 디테일 보완) 2. 작업이나 주제가 바뀌면 -> 무조건 [새 창] 열기 3. 이전 작업이 다시 필요하면 -> 이전 대화창 클릭 또는 /resume

처음에는 창을 새로 여는 게 번거롭게 느껴질 수 있습니다. 하지만 이렇게 역할을 분리해주면, AI가 엉뚱한 소리를 해서 똑같은 지시를 서너 번씩 반복하며 스트레스받는 일이 완전히 사라집니다.

결국 AI를 압도적으로 잘 쓰는 사람은 프롬프트 문장을 화려하게 쓰는 사람이 아닙니다. "AI의 작업 책상을 언제 비워주고, 언제 새 도화지를 깔아줄지 아는 사람"입니다.

오늘부터 AI가 조금이라도 딴소리를 시작한다면, 질문을 고치지 말고 과감하게 [새 창]을 눌러보세요.

어느순간 멍청해지는 것을 막을 수 있습니다.

좀 더 자신만의 AI를 만들고 싶으시다면, https://cafe.naver.com/bsinveststory/38941