AI한테 좋은 질문을 못 하는 진짜 이유

요즘 클로드나 챗GPT, 다들 많이 쓰시죠?

처음 챗GPT 나왔을 때만 해도 환각도 많고, 엉뚱한 소리도 많이 했습니다.

근데 지금은 클로드 에이전트 퀄리티가 확 올라와서, 업무에서도 실제로 많이들 쓰고 계실 겁니다.

그런데 정작 "AI를 잘 쓴다"는 게 뭘까요?

다들 "질문을 잘해야 한다"고 말합니다.

근데 질문을 잘한다는 게 정확히 뭔지, 깊게 생각해보신 적 있으신가요?

AI뿐 아니라 일처리를 하면서 깊게 가지고 있는 생각이 있습니다

1. 지식이 부족하면 좋은 질문을 하기가 힘들다

2. 왜냐면, 자신의 인지범위를 넘어서는 수준의 질문은 절대 할 수 없기 때문

"AI한테 질문을 잘하세요"라는 조언 많이 들으시죠?

진짜로 질문을 잘하는 것이 무엇인지 잘 생각해 보셔야 합니다.

내가 아는 것 안에서는 질문을 얼마든지 다듬고 잘할 수 있습니다.

근데 내가 애초에 모르는 것, '내 인지범위 밖에 있는 것', 은 질문 자체가 떠오르지 않습니다.

존재하는지도 모르니까요.

예를 들어 보겠습니다.

한 번쯤 겪어보셨을 상황들이 있을 겁니다.

1. 엑셀 파일, "정리해줘"라고만 시킨 경우

▶ 지식: 구글 드라이브에는 xlsx베이스의 파일과, 구글 시트 베이스의 파일이 있다.

A. 나쁜 질문

"이 구글 엑셀 파일을 정리해줘." (파일을 던지고 끝)

구글 시트 커넥터가 연결돼 있는 경우라도, 클로드 mcp는 구글 시트에 대한 권한만 강합니다. xlsx파일은 잘 다루지 못해요.

실제 내 xlsx 파일은 건드리지도 못한 채로 엉뚱하게 대답하거나 처리가 안 되는 경우가 생깁니다.

구글 시트 커넥터는 구글 시트만 연동되지, 로컬 xlsx 파일 자체를 쓰기 모드로 여는 건 안 되는 경우가 많거든요.

B. 좋은 질문:

"이 파일은 xlsx라서 구글 시트 커넥터로는 직접 못 건드려. 먼저 이 파일을 구글 시트로 옮겨서 작업할지, 아니면 파일 업로드 방식으로 직접 열어서 처리할지 알려주고, 그 방식대로 정리해줘."

이건 "커넥터마다 손댈 수 있는 파일 형식이 다르다"는 걸 알아야 나오는 질문입니다.

모르면 그냥 "왜 안 되지" 하고 몇 번 헤매다 포기합니다.

둘. 최신 정보, 그냥 물어본 경우

얼마 전에 다뤘던 사례인데, "HTML을 canvas 안에 그리는 게 새로운 기술이야?"라고 그냥 물어봤을 땐 AI가 그럴듯하지만 틀린 답을 내놨습니다.

같은 질문을 검색 커넥터를 붙여서 다시 던지니, 완전히 다른, 맞는 답이 나왔습니다.

▶ 지식: AI는 과거의 내용을 토대로 대답한다. 그걸 극복하기 위해서는 추가 기능(커넥터)를 써야한다.

A. 나쁜 질문:

"[최신 이슈/기술]에 대해 알려줘." (그냥 물어봄)

B. 좋은 질문:

"[최신 이슈/기술]에 대해서, 검색 붙여서 최신 자료 기준으로 다시 확인하고 답해줘."

AI가 "이미 학습한 지식으로만 답하는 모드"와 "실시간으로 찾아서 답하는 모드"가 따로 있다는 걸 알아야 나오는 질문입니다.

셋. 반복 업무, "자동화해줘"라고 뭉뚱그린 경우

▶지식: AI는 자동화하는 "방법"은 설명해줄 수 있지만, 실제로 24시간 돌아가는 자동화 자체를 만들려면 n8n 같은 별도의 워크플로우 도구와 연결해서 짜줘야 한다. 그냥 챗창에 물어보기만 해서는 실제로 작동하는 결과물이 안 나온다.

A. 나쁜 질문:

"이 반복되는 업무 자동화 좀 해줘." (구체적 도구 없이 막연하게) 이러면 AI가 "이런 툴들이 있어요" 하고 일반적인 설명만 늘어놓고 끝납니다.

B. 좋은 질문: "[특정 이벤트]가 생기면 [특정 알림/작업]이 자동으로 실행되게 하고 싶어. n8n으로 워크플로우 짜서, 트리거 노드랑 실행 노드까지 구성해서 바로 가져다 쓸 수 있는 형태로 줘."

이건 "AI가 자동화 방법을 설명만 하는 게 아니라, n8n 같은 도구를 이용해 실제로 작동하는 워크플로우 자체를 만들어줄 수 있다"는 걸 알아야 나오는 질문입니다.

이걸 모르면 평생 "자동화하는 법 알려줘" 수준에서 맴돌게 됩니다.

세 경우 다 똑같습니다.

질문이 좋아진 게 아니라, "이런 것까지 시킬 수 있구나"를 알게 된 겁니다. 이게 인지범위가 넓어진다는 거고, 이건 혼자 프롬프트를 다듬는다고 되는 일이 아닙니다.

그래서 최근엔 "질문 잘하는 법"을 공부하는 것보다, 이런 걸 이미 아는 사람 옆에 붙어서 배우는 쪽이 훨씬 빠르다는 걸 느끼고 있습니다.

마침 AI정규반도 이번부터 정해진 커리큘럼 없이, 내가 실제로 붙잡고 있는 일에 맞춰서 매달 방향을 잡아주고, 막힐 때마다 좋은 질문을 던질 수 있게 강사님들이 옆에서 코칭해주는 방식으로 바뀝니다.

결국 막연히 질문을 잘하려고 애쓰는 것보다, 질문 잘하는 사람 옆에서 정확하게 필요한 지식을 쌓아 좋은 질문을 할 수 있는 것이 AI 시대에 필수적인 역량이 아닌가 싶네요.