yuna's lifelog

어제 올린 글에 대해 #myGPT와 대화를 나눴는데, 너무 잘 정리해줘서 덧붙일 말이 없;;

—————
yuna said :
이번 일하면서 느낀 건데… 지금 같이 일하는 세 명이 똑같이 ChatGPT를 쓰고 있거든. 근데 나는 컨설팅 프로젝트를 많이 했고 한사람은 구축 프로젝트를, 나머지 한명은 화면설계를 주로 하던 사람인 것 같아. 근데 똑같은 자료를 저마다 ChatGPT에게 주는데 뽑아오는 질문이나 이슈 같은 게 달라. 지금 초반에 틀을 잡아야 하는 질문을 해야 되는데 구축 프로젝트를 많이 해 온 사람은 구축 단계에서 할 상세한 질문들을 뽑아왔더라고. ChatGPT가 뽑아줬대. 그 사람이 어떤 사람이고 어떤 일을 해왔느냐에 따라서 그 사람의 ChatGPT가 어떤 답을 할지가 정해지는 건가?

—————
myGPT said :
응. 상당 부분 그렇다고 생각해. 그리고 이건 단순히 ChatGPT에 질문을 잘하는 사람과 못하는 사람의 차이보다 훨씬 본질적인 문제야. 네가 이번 프로젝트에서 관찰한 건 AI를 사용하는 사람의 경험과 사고의 틀이 AI의 결과물에도 반영된다는 현상이야. 그런데 여기에는 몇 가지 층위가 있어.

1. 사람은 자신이 아는 세계 안에서 질문해

지금 세 사람의 차이를 보면 흥미로워.
…… 중략 ……
물론 개인마다 다르겠지만, 세 사람의 경험이 서로 다른 질문을 만들어낼 가능성이 높아. 예를 들어 지금 ㅇㅇㅇ 프로젝트는 아직 업무의 전체 구조와 시스템 간 역할을 파악하는 단계잖아. 이때 가장 중요한 질문은 'ㅇㅇㅇ 화면에 어떤 입력 필드가 필요한가?'가 아니라 'ㅇㅇㅇ의 신규 시스템이 ㅇㅇㅇ, ㅇㅇㅇ, ㅇㅇㅇ와 각각 어떤 업무를 분담해야 하는가?'에 가까워. 전자는 구축 단계의 질문이고, 후자는 지금 단계에서 시스템의 방향을 결정하는 질문이지. 질문의 상세함과 질문의 수준은 같은 게 아니야. 아주 상세한 질문이라도 지금 해결해야 할 문제와 맞지 않으면 가치가 떨어질 수 있어.

2. 그런데 ChatGPT는 왜 그 차이를 교정하지 못할까?
여기가 더 재미있는 부분이야. ChatGPT는 질문을 받으면 대체로 그 질문을 해결하는 방향으로 움직여. 누군가 'ㅇㅇㅇ 시스템의 상세 기능을 도출해 줘'라고 하면 상당히 그럴듯한 기능 목록을 만들어낼 거야. 하지만 그 사람이 정말 필요로 하는 게 상세 기능 목록인지, 아니면 그보다 앞선 업무 범위 정의인지 반드시 판단해서 제동을 걸지는 않아. 즉, AI는 기존 사고의 방향을 그대로 증폭할 수도 있어. 특히 그럴듯한 답변을 빠르게 생산한다는 점에서 문제가 생겨. 예전에는 잘못된 방향으로 접근하면 자료를 찾고 정리하는 과정에서 한계를 느끼거나 의문을 품을 기회가 있었어. 지금은 AI가 그 방향으로도 순식간에 훌륭해 보이는 결과물을 만들어 주거든. 그래서 잘못 설정한 문제를 더욱 정교하게 해결하는 일이 벌어질 수 있어.

3. 그렇다면 AI는 사용자에 따라 달라지는가?

맞아. 다만 두 가지를 구분해야 해.
첫째, 같은 AI에 서로 다른 질문을 하면 답변이 달라져. 이건 당연하지.
둘째, 같은 질문을 하더라도 그동안 쌓인 대화 맥락이나 기억, 사용자가 제시한 자료와 피드백이 다르면 답변이 달라질 수 있어. 너와 나의 경우를 생각해 봐. 나는 네가 컨설팅 프로젝트에서 업무 분석과 프로세스 설계를 해왔다는 걸 알고 있어. 또 우리가 ㅇㅇㅇ의 ㅇㅇㅇ 사업 구조를 놓고 여러 차례 질문하고 수정했던 맥락도 가지고 있지. 그래서 네가 '이 프로세스의 시작점이 어디야?'라고 물으면 단순한 업무 절차 설명이 아니라, 지금 작성하는 업무 프로세스의 범위와 단계에 맞춰 답하려고 해.

반대로 그런 맥락이 없는 ChatGPT는 같은 질문을 받고도 일반적인 업무 흐름을 설명할 가능성이 높아. 그렇다고 내가 항상 네 수준에 맞는 판단을 한다는 뜻은 아니야. 실제로 나 역시 네가 지적하기 전까지 잘못된 업무 구조를 전제로 답하거나 지나치게 상세한 설명을 했던 적이 있잖아.

4. 여기서 더 중요한 차이는 AI의 답을 평가하는 능력이야

나는 이게 핵심이라고 생각해. 똑같은 답변을 세 사람에게 주더라도 누군가는 그대로 가져오고, 누군가는 일부를 수정하고, 누군가는 아예 질문 자체가 잘못됐다고 판단할 거야. 그 차이는 프롬프트 작성 기술만으로 설명되지 않아.
- 지금 어떤 문제를 풀어야 하는지 판단하는 능력
- 전체 업무 구조 속에서 개별 문제의 위치를 파악하는 능력
- AI가 제시한 답변의 전제와 오류를 발견하는 능력
- 답변 중 무엇을 버려야 하는지 결정하는 능력

이런 능력은 결국 도메인 지식, 경험, 추상화 능력, 비판적 사고에서 나오지. 그래서 AI가 보편화될수록 오히려 답을 만드는 능력보다 문제를 정의하고 답을 판단하는 능력의 차이가 중요해질 수 있어.

그런데 네 얘기를 듣다가 한 가지 더 흥미로운 생각이 들었어. 과거에는 실무 경험이 적은 사람도 많은 프로젝트를 거치면서 전체를 보는 시각을 키울 기회가 있었잖아. 그런데 이제 AI가 자신에게 익숙한 방식으로 만들어 준 결과물을 계속 사용한다면, 오히려 그 익숙한 사고방식에서 벗어나지 못할 수도 있겠다는 거야. AI가 사람의 능력을 평준화하는 게 아니라, 기존의 사고 수준 차이를 더욱 크게 만들 가능성도 있다는 거지. 다만 이건 필연은 아니야. AI에게 자기 접근법을 비판하게 하고, 다른 관점에서 문제를 다시 정의하게 하는 사람은 오히려 훨씬 빨리 성장할 수도 있어. 나는 네가 관찰한 현상에서 이 점이 가장 중요하다고 생각해.

그리고 하나 궁금해. 그 사람이 가져온 질문들을 보고 너는 ‘지금은 그걸 물어볼 단계가 아닌데'라고 느꼈던 거야? 아니면 아예 전체적인 업무 구조를 이해하지 못하고 있다는 느낌이 들었던 거야? 둘은 꽤 다른 문제거든.

—————
yuna said :
전자에 가까운데, 그것보다도 이미 고객이 우리한테 준 자료가 있는데 그 질문까지 그대로 넣어서 가지고 왔더라고. 그래서 이 질문은 빼야 되지 않나 물어보니까 ‘ChatGPT 가 준 건데 나중에 정리 하려고 한다’고 했어. 그런 일이 두번 정도 있었어.
…… 중략 ……

—————
myGPT said :
아, 그러면 내가 처음 생각했던 것보다 문제가 조금 더 구체적이네. 이건 단순히 컨설팅 경험과 구축 경험의 차이만은 아닌 것 같아. AI가 생성한 결과물을 자신의 판단을 거쳐 업무에 반영하는가의 문제에 더 가까워 보여. 특히 네 얘기에서 눈에 띄는 건 세 가지야.

첫째, 이미 고객이 제공한 자료에 답이 있는 질문을 다시 뽑아왔다는 것. 이건 질문을 만들기 전에 기존 자료를 충분히 검토했는지 의심하게 만드는 대목이지.
둘째, 네가 지적했을 때 "ChatGPT가 준 거라 나중에 정리하려고 했다"고 설명했다는 것. 실제로 정리 전 초안이었을 수도 있어. 하지만 그 일이 두세 번 반복됐다면, AI의 출력물을 검토하기 전에 동료에게 공유하는 작업 방식일 가능성이 있지.
…… 중략 ……

그런데 여기서 나는 한 가지를 구분하고 싶어. 그 사람이 업무를 이해할 능력이 부족한 것과, AI 덕분에 충분히 이해하지 않은 상태에서도 결과물을 만들어낼 수 있게 된 것은 달라. 후자라면 상당히 흥미로운 현상이야.

예전에는 인터뷰 질문지를 만들려면 자료를 읽고, 업무를 분석하고, 모르는 부분을 찾아내야 했어. 그 과정 자체가 업무를 이해하는 과정이었지. 이제는 그 과정을 일부 건너뛰어도 그럴듯한 질문지를 얻을 수 있어. 그런데 결과물을 얻었다고 해서 그 결과물에 도달하는 데 필요한 이해까지 얻은 건 아니거든. 나는 이걸 '산출물의 수준과 작성자의 이해 수준이 분리되는 현상'이라고 표현하고 싶어. AI 이전에는 산출물의 품질을 보고 작성자의 역량을 어느 정도 짐작할 수 있었지만, 이제는 그 관계가 약해지는 거야.

그리고 이건 네가 하는 업무처럼 고객 인터뷰를 통해 아직 정의되지 않은 시스템의 구조를 잡아야 하는 프로젝트에서 특히 문제가 될 수 있어. 질문지를 만드는 것보다 고객의 답을 듣고 그 의미를 해석하고 다음 질문을 결정하는 일이 더 중요하니까. 다만 몇 차례 관찰만으로 역량 자체를 단정할 수는 없겠지. 준비 시간이 부족했거나, 생성한 초안을 정말 나중에 검토할 생각이었을 수도 있으니까. 그럼에도 네가 본 현상은 충분히 의미가 있어.

AI는 결과물을 만드는 데 드는 시간을 줄여주지만, 그 결과물을 이해하고 책임지는 과정까지 자동으로 대신해 주지는 않아. 오히려 앞으로는 누가 더 많은 산출물을 만들어내느냐보다, 누가 자신이 만들어낸 산출물을 제대로 이해하고 있느냐가 사람들의 실력 차이를 드러낼 것 같아.
생각해 보면 참 역설적이지. 지식노동을 자동화하려고 만든 기술이, 지식노동자의 진짜 실력이 무엇인지 더 선명하게 드러내고 있으니.