Chain of Thought (CoT) 프롬프팅: AI의 추론 능력을 극대화하는 방법

왜 AI는 복잡한 질문에 틀릴까?

ChatGPT에게 "서울에서 부산까지 가는데 시속 100km이면 몇 시간 걸려?"라고 물으면 대체로 정확한 답을 합니다. 하지만 "A 기업의 2022년 매출이 전년 대비 15% 증가하여 230억 원이 되었다면, 2021년 매출은 얼마인가?"와 같은 질문에서는 종종 틀린 답을 냅니다.

이는 AI가 중간 추론 과정 없이 바로 정답을 도출하려 하기 때문입니다. 사람도 암산만으로 복잡한 계산을 하면 틀리듯, AI에게도 "풀이 과정을 보여달라"고 요청하면 정확도가 비약적으로 향상됩니다. 이것이 바로 Chain of Thought(CoT) 프롬프팅입니다.

Chain of Thought란?

CoT 프롬프팅은 2022년 Google Research의 Jason Wei 팀이 발표한 혁신적인 기법으로, AI에게 "단계별로 생각하라(Let's think step by step)"고 지시하여 중간 추론 과정을 거치게 합니다.

연구 결과에 따르면, CoT를 적용했을 때 수학 문제의 정답률이 기존 17.7%에서 78.7%로 급상승했습니다.

CoT의 3가지 적용 방식

1. Zero-Shot CoT (가장 간단)

단순히 "단계별로 풀어줘"라고 추가하는 것만으로 효과가 있습니다.

Before (일반 프롬프트):

한 가게에서 사과 3개에 2000원입니다. 7개를 사면 얼마인가요?

After (Zero-Shot CoT):

한 가게에서 사과 3개에 2000원입니다. 7개를 사면 얼마인가요?
단계별로 풀어주세요. 각 단계의 계산 과정을 보여주세요.

2. Few-Shot CoT (가장 강력)

풀이 과정이 포함된 예시를 미리 제공하고, 새로운 문제를 풀게 합니다.

프롬프트:

문제: 철수는 500원짜리 동전 3개, 100원짜리 7개를 갖고 있습니다. 총 얼마인가요?
풀이: 
1. 500원 × 3개 = 1,500원
2. 100원 × 7개 = 700원
3. 합계: 1,500 + 700 = 2,200원
답: 2,200원

문제: 영희는 1000원짜리 지폐 2장, 500원짜리 동전 4개, 50원짜리 8개를 갖고 있습니다. 총 얼마인가요?
풀이:

3. Self-Consistency CoT (가장 정확)

동일한 문제를 여러 번 풀게 한 후, 가장 많이 나온 답을 최종 답으로 채택합니다.

프롬프트:

아래 문제를 3가지 서로 다른 방법으로 풀어주세요.
각 방법의 풀이 과정과 최종 답을 보여주고,
3가지 결과 중 가장 일관된 답을 최종 정답으로 결정해주세요.

CoT 활용이 빛나는 분야

📐 수학/과학 문제

복잡한 계산이나 다단계 풀이가 필요한 문제에서 정확도가 크게 향상됩니다.

🔍 논리 추론

"A이면 B이고 B이면 C일 때, A이면 C인가?" 같은 논리적 추론에서 실수를 줄입니다.

💻 코드 디버깅

코드의 실행 흐름을 한 줄씩 추적하도록 지시하면, 숨겨진 버그를 더 잘 찾아냅니다.

프롬프트 예시:

아래 코드의 실행 흐름을 한 줄씩 추적해주세요.
각 변수의 값이 어떻게 변하는지 단계별로 보여주고,
예상과 다르게 동작하는 부분이 있다면 그 원인을 설명해주세요.

📊 비즈니스 의사결정

복잡한 비즈니스 시나리오에서 결론에 이르는 논리적 과정을 명시하도록 요청합니다.

프롬프트 예시:

경영 컨설턴트 역할을 해주세요.
시장 진입 전략을 수립하기 위해 다음 단계를 밟아주세요:
1. 시장 규모 및 성장률 분석
2. 경쟁사 분석 (상위 3개사)
3. 우리의 차별화 포인트 도출
4. 리스크 요인 식별
5. 최종 추천 전략 및 근거
각 단계에서 도출한 결론과 그 논리적 근거를 명확히 제시해주세요.

CoT 사용 시 주의사항

단순한 작업에는 불필요: "안녕하세요를 영어로 번역해줘"에는 CoT가 필요 없습니다.
토큰 소비 증가: 풀이 과정이 포함되므로 응답이 길어지고 비용이 증가합니다.
잘못된 추론 체인: AI가 논리적으로 보이지만 틀린 중간 단계를 생성할 수 있습니다. 결과뿐 아니라 과정도 검증하세요.

핵심 정리

Chain of Thought 프롬프팅은 AI의 추론 능력을 극대화하는 간단하면서도 강력한 기법입니다. "단계별로 생각해줘"라는 한 줄 추가만으로도 복잡한 문제에서 AI의 정확도를 크게 높일 수 있습니다. PromptGenie의 학습 및 코딩 카테고리 프롬프트에서 CoT 기법이 적용된 다양한 실전 사례를 확인해 보세요.