AI의 초안을 먼저 받을 때, 내 개요를 먼저 쓸 때

글을 쓸 때 AI에게 초안부터 받아 고쳐 쓰는 방식과, 내 개요를 먼저 적은 뒤 초안을 받는 방식이 있습니다. 두 방식이 최종 글을 다르게 만드는지는, 제가 찾은 범위에서 아직 직접 시험된 적이 없습니다. AI의 초안을 먼저 받을 때와 내 개요를 먼저 쓸 때, 최종 글은 어디서 갈릴까요?

8편에서는 내 결론을 먼저 말하고 물으면 AI의 답이 어디서 시작하는지를 다뤘습니다. 이번 글은 방향이 반대입니다. AI가 먼저 내놓은 초안이 내 글을 어디로 기울이는지, 그리고 내 개요를 먼저 쓰는 일이 그 기울기를 바꾸는지를 묻습니다.

먼저 밝혀 둘 것이 있습니다. AI 초안을 먼저 받는 쪽과 내 개요를 먼저 쓰는 쪽을 무작위로 나누어 최종 글과 견해를 비교한 실험은 찾지 못했습니다. arXiv와 Crossref에서 2026년 10월 12일까지 찾아본 범위입니다. 그래서 이 글은 결과를 전하는 글이 아니라 가설을 세우는 글입니다. 인접한 연구에서 이 질문으로 옮겨 오는 자리마다 어디가 비약인지 함께 적겠습니다. 이번 글에는 제가 직접 해 본 기록을 싣지 않았고, 처방도 담지 않았습니다.

저는 이렇게 가설을 세웁니다. 첫째, 방향은 먼저 본 쪽으로 쏠릴 것이라고 봅니다. 둘째, 글이 내 것처럼 느껴지는 정도는 순서보다 누가 아이디어를 냈는가가 설명하리라고 짐작합니다. 셋째, 초안을 먼저 받으면 글은 나아지겠지만 AI를 치운 뒤의 이해는 적게 남을 것이라고 가정합니다. 가설마다 받치는 연구, 반대 근거, 틀렸을 때의 모습, 직접 확인해 보는 방법을 차례로 적습니다.

가설 1. 방향이 먼저 본 쪽으로 쏠린다

같은 주제로 글을 쓰는 사람이 AI 초안을 먼저 받아 보면, 자기 개요를 먼저 쓴 뒤 같은 초안을 받는 경우보다 최종 글의 주장과 구조가 AI 초안에 더 가깝고 자기 개요와는 덜 겹칠 것이라고 저는 가정합니다.

가장 가까운 근거는 의견을 가진 AI와 함께 글을 쓴 실험입니다. Jakesch 외 연구진은 1,506명에게 소셜미디어를 주제로 글을 쓰게 하면서, 한쪽 의견으로 기운 언어모델의 문장 제안을 받는 조건을 만들었습니다. 이 조건의 사람들은 모델과 같은 쪽 의견을 글에 더 많이 썼고, 쓴 뒤 설문에서도 그쪽을 더 지지했습니다. 견해 차이의 효과 크기는 d=0.22였습니다. 통상 작은 효과로 분류되는 크기입니다(CHI 2023, 무작위 실험, 게재).[1]

눈여겨볼 것은 제안을 그대로 받아쓴 사람이 많지 않았다는 점입니다. 문장 가운데 모델 제안을 그대로 받은 것은 11.5%였고, 네 명 중 한 명은 제안을 하나도 받지 않았습니다. 대부분의 참가자는 모델의 의견이 자기에게 영향을 줬다는 사실도 알아채지 못했습니다. 그대로 받아쓴 탓만은 아니라는 이야기입니다.

Williams-Ceci 외 연구진은 사회 쟁점을 다룬 글쓰기에서 사전 등록한 실험 두 건(2,582명)을 했습니다. 한쪽으로 편향된 자동완성 제안을 받은 사람은 쓰고 난 뒤의 태도가 제안 없이 쓴 사람보다 AI 쪽으로 옮겨 갔습니다. 첫 실험의 효과 크기는 d=0.24였고, 쓰기 전이나 후에 편향을 경고해도 이동은 줄지 않았습니다(Science Advances 2026, 무작위 실험, 게재).[2]

관찰 연구도 같은 쪽을 가리킵니다. Bhat 외 연구진은 인터뷰와 사용 기록을 바탕으로, 글쓴이들이 자기 발상을 끝내기 전에 AI의 제안을 읽는 경우가 많고 그 제안이 뒤이은 전개의 방향을 심었다고 정리했습니다(CHI 2026, 관찰, 게재).[3] 순서를 무작위로 나눈 연구는 아닙니다.

순서와 더 가까운 연구는 심사 전 프리프린트입니다. Su 외 연구진은 398명 실험에서, 사람이 먼저 쓰도록 AI 생성을 늦춘 조건의 최종 글이 표준 챗봇 조건보다 AI 문장을 그대로 담은 비중이 낮았다고 보고합니다.[4] Kosmyna 외 연구진은 18명의 뇌파를 재어, AI 없이 먼저 쓴 사람이 뒤에 AI를 쓸 때와 AI를 먼저 쓴 사람의 뇌 연결성이 달랐다고 보고합니다.[5] 두 편 모두 아직 게재되지 않았습니다.

여기서 저는 두 번 건너뜁니다. 앞의 두 게재 연구가 다룬 것은 글을 쓰는 도중에 나타나는 제안이지 초안을 통째로 받는 일이 아닙니다. 뒤의 두 프리프린트는 쏠림의 정도나 견해를 직접 재지 않았습니다. 가설 1은 초안 통째도 같은 식으로 작용할 것이라는 가정 위에 서 있습니다.

반대쪽 근거도 있습니다. Gero 외 연구진은 253명에게 300단어 논증 에세이를 쓰게 하면서 AI의 도움을 계획·초안·수정 단계별로 달리 주었습니다. AI 초안 조건의 참가자는 모두 자기 개요를 먼저 쓴 뒤 그 개요를 바탕으로 한 AI 초안을 받았습니다. 그런데도 최종 글의 아이디어 가운데 AI에서 온 것의 비율이 이 조건에서 가장 높았습니다. 27%였고, 수정 단계에서 도움을 받은 조건은 16%, 계획 단계에서 도움을 받은 조건은 11%였습니다(DIS 2026, 무작위 실험, 게재).[6] 개요를 먼저 쓴다고 쏠림이 막힌다는 보장은 없습니다.

Jo와 Raghavan의 프리프린트도 같은 쪽입니다.[7] 창작 글쓰기 실험에서 AI가 처음 내놓은 초안들은 AI의 도움을 받은 최종 제출물보다 평균 45% 더 서로 비슷했습니다. 참가자들이 첫 초안을 마음에 들어 하지 않아 자기 목소리를 내려고 애썼는데도, 최종 제출물은 사람 혼자 쓴 글보다 서로 유의하게 비슷했습니다. 첫 초안을 고쳐 써도 영향이 남은 것입니다.

이 가설이 틀렸다면 관측은 이렇게 나올 것입니다. 두 순서로 사람들을 무작위로 나누었는데 최종 글이 개요와 겹치는 정도나 쓰고 난 뒤의 견해가 두 집단에서 같거나, 오히려 개요를 먼저 쓴 쪽이 AI 쪽으로 더 많이 갔다면 가설 1은 틀린 것입니다.

직접 확인하는 방법은 이렇습니다. 같은 성격의 글 두 편을 하루 간격으로 쓰되, 한 번은 AI 초안을 먼저 보고, 한 번은 내 개요 세 줄을 먼저 적은 뒤 AI 초안을 봅니다. 두 글이 끝나면 최종 글의 첫 주장이 어느 쪽에서 나왔는지 표시해 봅니다. 한 사람이 한 번 해 본 관찰이어서 검증은 아닙니다. 두 글의 주제가 달랐다는 점만으로도 결과가 갈릴 수 있습니다.

가설 2. 글이 내 것 같은 느낌은 누가 아이디어를 냈는가가 설명한다

초안을 먼저 받을수록 글이 내 것이라는 느낌이 낮아지는데, 그 차이는 순서 자체보다 최종 글에서 AI가 낸 아이디어와 문장의 양으로 설명될 것이라고 봅니다. AI가 낸 양이 같다면 순서 차이는 작아질 것입니다.

Gero 외 연구진의 같은 실험이 여기서도 가장 가까운 근거입니다. 글에 대한 소유감은 AI 지원이 없을 때 가장 높았고, 계획 단계 지원, 수정 단계 지원, AI 초안 순으로 낮아졌습니다. 소유감은 최종 글에서 AI의 것으로 돌려진 아이디어의 비율과 함께 움직였습니다. 소유감이 가장 낮았던 AI 초안 조건의 참가자들도 개요는 자기가 먼저 썼습니다. 순서가 아니라 AI가 낸 양이 소유감과 맞물렸다는 가설에 어긋나지 않는 모습입니다.

Joshi와 Vogel은 짧은 이야기 쓰기 과제에서, AI에게 글을 쓰게 하면 소유감이 낮아지지만 프롬프트를 길게 쓸수록 소유감이 높았다고 보고합니다(CUI 2025, 무작위 실험, 게재, 분석 대상이 작은 실험 포함).[8] Kosmyna 외 프리프린트에서는 AI를 쓴 집단이 인터뷰에서 자기 글의 소유감을 낮게 답했습니다. Dhillon 외 연구진의 현장 실험(131명, CHI 2024)[9]에서는 AI의 제안을 받았을 때 글에 대한 소유감과 만족도가 소폭 낮아졌습니다.

비약은 이렇습니다. 이 연구들은 AI가 쓴 양을 바꾸었지 순서만 따로 바꾼 것이 아닙니다. 양과 순서가 함께 움직인 결과에서 순서의 몫을 덜어 내는 일은 이 연구들이 하지 않았습니다.

반대 근거도 적어 둡니다. 같은 Gero 외 실험에서 AI 초안 조건의 글 품질이 가장 높았고 AI 지원이 없는 조건이 가장 낮았습니다. AI가 낸 양이 늘수록 소유감은 떨어졌지만 글은 나아졌습니다. 소유감을 얻으려다 글이 나빠질 수도 있습니다.

가설 2가 틀렸다는 신호는 이렇습니다. AI가 낸 아이디어와 문장의 양을 같게 맞춘 뒤에도 순서가 소유감을 일관되게 가른다면 가설 2는 틀린 것입니다.

확인하려면 글을 다 쓴 뒤 핵심 주장 셋 가운데 몇 개가 내가 먼저 적은 것인지 세어 봅니다. 초안을 먼저 받은 글과 개요를 먼저 쓴 글에서 이 숫자를 비교하고, 글이 내 것 같은 정도도 함께 적어 둡니다. 이것도 한 사람의 관찰일 뿐입니다. 숫자가 다르다면 순서 때문인지 AI가 낸 양 때문인지는 이 방법으로 가를 수 없습니다.

가설 3. 초안을 먼저 받으면 글은 나아지지만, AI를 치운 뒤의 이해는 적게 남는다

초안을 먼저 받으면 완성된 글의 점수와 속도는 같거나 더 높아지지만, AI를 치운 뒤의 이해와 전이는 개요를 먼저 쓴 경우보다 낮을 것이 제 가설입니다. 다만 힌트나 단계 제한 같은 설계가 있으면 이 격차는 줄 것이라고 봅니다.

이 가설을 받치는 연구는 글이 아니라 학습 결과를 잰 것들입니다. Bastani 외 연구진은 고등학생 약 천 명의 수학 수업에서 일반 GPT-4를 쓰게 한 집단과 힌트 중심으로 설계한 튜터형 GPT를 쓰게 한 집단, 쓰지 않은 집단을 비교했습니다. AI를 쓰는 동안 연습 문제 성적은 일반 GPT-4 집단이 48%, 튜터형 집단이 127% 올랐습니다. 그런데 AI를 치우고 혼자 본 시험에서 일반 GPT-4 집단은 AI를 쓰지 않은 집단보다 17% 낮았습니다. 튜터형 집단에서는 이 하락이 대부분 완화되었습니다(PNAS 2025, 무작위 현장 실험, 게재).[10]

Fan 외 연구진은 대학생 117명의 글쓰기 과제에서 ChatGPT를 쓴 집단의 에세이 점수 향상이 컸지만 지식 획득과 전이는 다른 집단과 유의한 차이가 없었다고 보고합니다(BJET 2024, 무작위 실험, 게재).[11] 이 실험의 ChatGPT는 글을 대신 써 주지 않고 조언만 하도록 제한되어 있었습니다. 앞서 본 Gero 외 실험에서도 AI 초안 조건의 글 품질이 가장 높았습니다.

세 연구를 읽는 저의 방식에는 무리가 있습니다. 수학 문제 풀이와 조언형 AI의 결과를 글쓰기 초안으로 옮겨 놓았기 때문입니다. 게다가 Fan 외 연구의 결과는 지식이 떨어졌다는 것이 아니라 차이가 없었다는 것입니다. 이 가설에서 받쳐 주는 쪽은 초안을 받으면 글이 나아진다는 앞부분이고, 이해가 적게 남는다는 뒷부분은 수학 연구 하나가 가장 가깝게 가리킬 뿐입니다.

반대 근거는 분명합니다. Noy와 Zhang은 대졸 전문직 444명에게 업무 글쓰기를 시키는 실험에서 ChatGPT를 쓴 집단의 결과물 품질이 0.4 표준편차 올랐다고 보고합니다. 제가 근거로 삼은 것은 심사 전 워킹페이퍼 판이어서 게재본과 수치가 다를 수 있습니다.[12] Dhillon 외 연구에서도 문장 단위 제안은 글의 품질과 생산성을 유의하게 높이지 못했지만, 문단 단위 제안은 유의하게 높였습니다. 무엇보다 개요를 먼저 쓰는 쪽이 이해를 더 남긴다는 직접 증거는 없습니다. 이 가설의 뒷부분은 지금 반대 근거보다 근거가 얇습니다.

가설 3은 이런 결과가 나오면 틀린 것입니다. 초안을 먼저 받은 집단이 AI 없이 치르는 후속 과제, 예를 들어 요약이나 반론 쓰기에서 개요를 먼저 쓴 집단과 같거나 더 높은 결과를 냅니다.

직접 해 본다면 글을 쓴 다음 날 AI 없이 그 글의 핵심 근거 세 가지를 말로 설명해 봅니다. 초안을 먼저 받아 쓴 글과 개요를 먼저 쓴 글에서 몇 개가 떠오르는지 비교합니다. 이 역시 한 번의 개인 관찰입니다. 글의 난이도와 그 주에 얼마나 피곤했는지가 결과를 바꿀 수 있습니다.

이 글이 말하지 못하는 것

가장 큰 한계는 처음에 말씀드린 것입니다. 두 순서를 직접 비교한 실험이 없어서, 세 가설 모두 인접 연구를 이 질문으로 옮겨 온 것입니다. 옮길 때마다 과제가 달랐습니다. 의견 쓰기, 에세이, 이야기 쓰기, 수학 문제 풀이였습니다.

받치는 연구가 보여 준 효과도 크지 않습니다. 게재된 무작위 실험이 보여 준 견해 이동은 d가 0.2 안팎, 통상 작은 효과의 크기였습니다. 작은 효과가 모든 사람에게 같은 방향으로 작용한다는 뜻도 아닙니다.

반대 방향의 증거도 가볍지 않습니다. 개요를 먼저 쓴 사람도 AI 쪽으로 기울었다는 결과가 있고, AI의 도움으로 글이 나아졌다는 결과는 여러 건 있습니다. 개요를 먼저 쓰면 쏠림이 줄거나 이해가 더 남는다는 직접 증거는 없습니다. 지금 서 있는 곳은 시험되지 않은 가설입니다. 세 가설이 모두 맞다는 보장도, 어느 하나가 맞다는 보장도 없습니다.

이 글에 적은 확인 방법들은 어느 것도 검증이 아닙니다. 한 사람이 한 번 해 보는 관찰이어서 표본도, 통제도 없습니다. 해 보신 뒤 무엇이 달라졌는지 적어 두는 것이 이 방법이 줄 수 있는 전부입니다.

AI 초안을 열기 전에 내 개요가 몇 줄 쓰여 있는지, 그 개요가 최종 글에 얼마나 남는지 한 번 적어 보면 어떨까요. 그렇게 하면 낫다는 말이 아니라, 제가 찾은 범위에서는 아직 직접 비교된 적이 없는 것을 내 글 한 편으로 들여다본다는 이야기입니다.

각주

1. Jakesch 외(2023), CHI ’23. 소셜미디어 주제 글쓰기, 참가자 1,506명, 판정자 500명. d=0.22는 글을 쓴 뒤 설문에서의 견해 차이입니다.
2. Williams-Ceci 외(2026), Science Advances 12(11). 두 실험의 합계 2,582명, 첫 실험의 효과 크기 d=0.24, 게재본 기준입니다.
3. Bhat 외(2026), CHI 2026. 인터뷰 19명과 1,291세션의 기록을 바탕으로 한 관찰 연구입니다. 인용한 내용은 초록 범위입니다.
4. Su 외(2026-10-01), arXiv 2610.01518. 심사 전 프리프린트입니다. 시간만 맞춘 조건은 별도 표본이었습니다.
5. Kosmyna 외(2025), arXiv 2506.08872. 심사 전 프리프린트입니다. 순서 비교는 18명 교차 조건이며 뇌 연결성이 더 나은 사고인지는 이 연구가 보여 주지 않습니다.
6. Gero 외(2026), DIS ’26. 300단어 논증 에세이, Prolific 온라인 참가자 253명입니다. 이 실험에는 AI 초안을 개요보다 먼저 받는 조건이 없습니다.
7. Jo & Raghavan(2026-04-04), arXiv 2604.03529. 사전 등록 실험이지만 심사 전 프리프린트이며 창작 글쓰기 과제입니다.
8. Joshi & Vogel(2025), CUI ’25. 짧은 이야기 쓰기 과제이고 실험 2의 분석 대상은 34명입니다.
9. Dhillon 외(2024), CHI ’24. 피험자 내 설계, 131명, AI 없음·다음 문장 제안·다음 단락 제안 조건입니다.
10. Bastani 외(2025), PNAS 122(26). 수학 수업 현장 실험입니다. 정오표(2025-08-20)는 저자 한 명의 소속 표기를 고친 것이며 본문 수치와 무관합니다.
11. Fan 외(2024), BJET 56. 대학생 117명, ChatGPT가 글을 대신 써 주지 않고 조언만 하도록 제한된 설정입니다.
12. Noy & Zhang(2023). 열람한 것은 MIT 워킹페이퍼 판이며, 게재본은 Science 381입니다.

참고 자료

• Jakesch, M. et al. (2023). “Co-Writing with Opinionated Language Models Affects Users’ Views.” CHI ’23. DOI
• Williams-Ceci, S. et al. (2026). “Biased AI writing assistants shift users’ attitudes on societal issues.” Science Advances, 12(11). DOI
• Bhat, A. et al. (2026). “Reactive Writers: How Co-Writing with AI Changes How We Engage with Ideas.” CHI 2026. DOI
• Su, X. et al. (2026). “Who Thinks First? Designing Productive Friction with Engage-to-Unlock GenAI.” arXiv:2610.01518. 원문
• Kosmyna, N. et al. (2025). “Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task.” arXiv:2506.08872. 원문
• Gero, K. I. et al. (2026). “From Planning to Revision: How AI Writing Support at Different Stages Alters Ownership.” DIS ’26. DOI
• Jo, N. & Raghavan, M. (2026). “Incentives shape how humans co-create with generative AI.” arXiv:2604.03529. 원문
• Joshi, N. & Vogel, D. (2025). “Writing with AI Lowers Psychological Ownership, but Longer Prompts Can Help.” CUI ’25. DOI
• Dhillon, P. S. et al. (2024). “Shaping Human-AI Collaboration: Varied Scaffolding Levels in Co-writing with Language Models.” CHI ’24. DOI
• Bastani, H. et al. (2025). “Generative AI without guardrails can harm learning: Evidence from high school mathematics.” PNAS, 122(26). DOI
• Fan, Y. et al. (2024). “Beware of metacognitive laziness: Effects of generative AI on learning motivation, processes, and performance.” BJET, 56. DOI
• Noy, S. & Zhang, W. (2023). “Experimental evidence on the productivity effects of generative AI.” Science, 381. DOI