사고력 11편: 같은 질문, 비슷한 답

같은 질문을 여러 번, 여러 AI에 던지면 답은 얼마나 비슷할까요? 그 비슷함은 내가 쓰는 글과 판단에 무엇을 남길까요?
AI의 답이 매끄럽고 쓸 만하면, 그 답이 얼마나 흔한 방향인지는 따로 묻게 되지 않습니다. 한 번 받은 답이 그럴듯한 것과, 같은 질문을 한 다른 사람에게도 비슷한 답이 가는 것은 별개의 문제입니다. 답 하나만 읽어서는 그 차이가 보이지 않습니다.
이 글이 묻는 것은 두 가지입니다. 같은 질문을 반복하거나 여러 모델에 던졌을 때 답의 핵심이 겹치는가. 그리고 겹치는 답을 본 뒤에도 내 관점이 내 글에 남는가. 앞의 물음을 다룬 연구는 있습니다. 뒤의 연결을 직접 시험한 연구는 찾지 못했습니다. 2026년 11월 2일까지 arXiv와 학회·학술지 논문 페이지에서 찾아본 범위입니다. 그래서 닮은 답을 확인하는 일과 내 문장 하나를 지키는 일이 글에 어떤 차이를 만드는지는 가설로 적겠습니다.
개인의 평가는 오르는데 글끼리는 닮을 때
AI를 쓰면 개인의 글이 나아질 수 있습니다. 같은 때에 여러 사람이 쓴 글은 서로 닮을 수 있습니다. 두 일은 함께 일어날 수 있습니다.
Doshi와 Hauser의 사전등록 온라인 실험에는 영국의 글쓴이 293명이 참여했습니다. 참가자는 무작위로 세 조건에 나뉘었습니다. AI 아이디어 없이 쓰는 조건, GPT-4가 만든 아이디어를 하나 받는 조건, 다섯 개 받는 조건입니다. 과제는 짧은 이야기 여덟 문장을 쓰는 것이었습니다. 사람 단독 조건과 비교하면 이야기의 새로움 평가는 하나를 받은 조건에서 5.4%, 다섯 개를 받은 조건에서 8.1% 높았습니다. 개인 평가는 올랐습니다. 그런데 같은 조건 안에서 쓴 이야기끼리의 유사도도 커졌습니다. 사람 단독 조건에서 나타난 유사도 범위와 견주면 하나를 받은 조건은 10.7%, 다섯 개를 받은 조건은 8.9%에 해당했습니다.1
여기서 유사도는 독자 한 사람의 글이 남의 글과 같아졌다는 뜻이 아닙니다. 연구가 본 것은 조건별 이야기 묶음의 집단 지표입니다. 한 과제, 한 모집단에서 얻은 결과이기도 해서 일상의 글쓰기 전반으로 넓혀 읽을 수도 없습니다.
Padmakumar와 He의 통제 실험은 모델에 따라 결과가 갈린다는 점을 보여 줍니다. 열 가지 주제로 모은 에세이 백 편에서 지시조정 모델 InstructGPT와 함께 쓴 글은 다양성이 낮아졌습니다. 기반 모델 GPT-3에서는 그런 차이가 없었습니다. 사용자가 직접 쓴 부분도 모델과 협업했다고 해서 달라지지 않았습니다.2 어느 모델이냐, 글의 어느 부분을 보느냐에 따라 답이 달라진 셈입니다.
참가자 36명의 비교 연구에서 Anderson 외는 ChatGPT로 아이디어를 낸 사용자들이 다른 도구를 쓴 때보다 서로 의미상 덜 구별되는 아이디어를 냈다고 보고합니다.3 표본이 작아서 방향을 가늠하는 정도로만 읽을 수 있습니다.
모델의 답 자체를 비교한 쪽에서는 Jiang 외의 벤치마크가 있습니다. 70개가 넘는 언어 모델에 열린 질문을 던져 응답을 견준 연구입니다. 이 연구에서 같은 모델의 반복 응답은 평균 유사도가 0.8을 넘는 경우가 79%였고, 서로 다른 모델의 응답 쌍은 평균 유사도가 71~82%였습니다.4 이 수치는 그 벤치마크가 정한 질문과 측정 방식 안에서 나온 것입니다. 한국어로 묻는 개인이 어떤 답을 받는지, 그 답을 읽고 생각이 어떻게 달라지는지는 이 연구가 잰 범위 밖입니다.
왜 닮을까
이유를 따지는 연구도 있습니다. Kirk 외는 사람 피드백으로 모델을 다듬는 RLHF가 지도 미세조정(SFT)보다 출력 다양성을 크게 줄인다고 보고합니다.5 Murthy 외는 정렬을 거친 모델이 지시 미세조정만 한 모델보다 개념의 다양성이 낮고, 어느 모델도 사람 수준에 이르지 못했다고 합니다.6 NoveltyBench에서 Zhang 외는 최신 모델 20개가 사람 글쓴이보다 다양성이 낮고, 같은 계열에서는 큰 모델이 작은 모델보다 덜 다양한 경우가 많았다고 적었습니다.7 모두 벤치마크 평가이고 모델 쪽을 잰 것입니다. 닮은 답이 많다는 사실만으로 독자의 글이 같아진다는 결론으로 건너갈 수는 없습니다.
비슷함이 늘 같은 방향은 아닙니다
비슷함에도 층이 있습니다. 추천 대상이 같을 수 있고, 답의 구성이나 이유가 겹칠 수도 있습니다. 같은 주제를 골라도 설명이 다르면 관점은 달라질 수 있습니다. 무엇을 비교했느냐에 따라 “비슷하다”의 뜻이 바뀝니다.
Inoshita 외의 2026년 프리프린트는 학생 에세이 6,875편을 다섯 조건으로 분석했습니다. 균질화는 차원마다 달랐고, 프롬프트를 구체적으로 줬을 때는 논거의 깊이에서 오히려 다양화가 나타났습니다.8
조건에 따라 다양성이 지켜진 결과도 있습니다. Jo와 Raghavan의 프리프린트는 사전등록 실험 두 건에서, 독창성에 보상받은 참가자가 품질에만 보상받은 참가자보다 집단적으로 더 다양한 글을 썼다고 보고합니다. AI가 쓴 글을 그대로 가져오는 비율도 줄었습니다.9 독창성을 장려하는 조건과 글의 다양성이 함께 움직였다는 이야기입니다. 닮은 답을 알아차리는 일이 글을 지켜 준다는 증거는 아닙니다.
Kumar 외의 2026년 작업 초안은 통제 실험 두 건에서, 역할이 다른 도우미 둘을 쓴 조가 도우미 하나를 쓴 조보다 아이디어 다양성을 더 잘 유지했다고 합니다.10 아직 작업 초안이니 확정된 결론이라기보다 조건에 따라 달라질 수 있다는 단서로 읽는 편이 맞습니다.
서로 다른 AI 페르소나를 쓴 Wan과 Kalman의 프리프린트 확장 실험도 조건마다 달랐습니다. 줄거리 하나를 받은 조건에서는 사람 단독 기준선보다 이야기 유사도가 유의하게 낮았습니다. 다섯 개를 받은 조건은 차이가 유의하지 않았습니다(p=0.291).11 다양한 입력을 주면 늘 다양해진다고 정리하기는 어렵습니다.
Zhang 외의 Verbalized Sampling 프리프린트는 모델이 여러 응답 가능성을 말로 펼치게 하는 프롬프트를 다룹니다. 창작 글쓰기에서 직접 프롬프팅보다 다양성이 1.6~2.1배로 보고됐습니다.12 특정 벤치마크와 프롬프트에서 나온 결과여서 모든 글쓰기에 같은 효과가 있다고 볼 수는 없습니다.
창의성 자체에 관한 결과도 한쪽으로 모이지 않습니다. Kumar 외의 2025년 무작위 실험 두 건은 참가자 1,100명을 직접 답을 주는 모델, 코치형 모델, 통제 조건으로 나눠 비교했습니다. 도움을 받는 과제에서는 창의성이 오를 수 있었습니다. 도움 없이 하는 마지막 단계에서는 오히려 불리해질 수 있다는 결과도 함께 나왔습니다.13 도움받는 동안의 성과와 혼자 할 때의 성과는 따로 봐야 합니다.
우리 팀이 해 본 작은 시험
같은 질문을 새 대화에서 되풀이하고 모델도 바꿔 보면 어떻게 될까요. 우리 팀은 2026년 11월 2일에 한국어 질문 세 개를 Claude Sonnet 5.5, OpenAI GPT-6 Luna, Google Gemini 3.8 Flash High에 각각 새 대화로 세 번씩 보냈습니다. 질문마다 아홉 번, 모두 27번입니다. 질문은 다음과 같습니다.
- “주말에 가족과 함께 할 만한 활동을 하나만 추천해 주세요.”
- “친한 친구의 생일 선물로 무엇이 좋을지 하나만 추천해 주세요.”
- “새로 시작해 볼 만한 취미를 하나만 추천해 주세요.”
시험도, 답에서 처음 고른 추천 항목이 같은 대상이거나 같은 범주인지 표시하는 일도 AI로 했습니다. 사람이 답을 다시 읽고 확인하지는 않았습니다. 가족 활동 질문은 아홉 답이 모두 공원이나 수목원 나들이와 피크닉 계열이었습니다. 선물 질문에서는 포토북이 네 답, 핸드크림과 핸드케어 계열이 네 답이었고 나머지 한 답은 달랐습니다. 취미 질문은 러닝 다섯, 사진 셋, 핸드드립 커피 하나로 갈렸습니다. 한 모델이 같은 질문에 세 번 모두 같은 범주를 고른 경우는 아홉 칸 가운데 일곱 칸이었고, 세 답이 모두 다른 칸이 하나 있었습니다.
이 기록은 표본이 작아서 통계적 결론이 되지 못합니다. 사람 대조군이 없어서 AI가 사람보다 덜 다양하다는 말을 뒷받침하지도 않습니다. 질문이 전부 “하나만 추천”해 달라는 틀이라 답이 좁아지기 쉬웠고, 한국어 문구도 한 가지만 썼습니다. 도구 없이 한 번씩 호출한 결과라서 기억이나 맞춤 설정이 있는 앱 대화창과 다를 수 있습니다. 추천 항목을 범주로 묶은 것도 정해진 계산이 아니라 AI가 읽고 나눈 분류이고, 사람의 검토를 거치지 않았습니다.
그래도 이 시험으로 말할 수 있는 것이 하나 있습니다. 같은 질문의 답을 나란히 놓으면 어디가 겹치고 어디가 갈리는지가 한눈에 들어옵니다. 모델 전체의 성격을 판정하자는 것이 아니라, 답을 비교할 때 무엇을 볼지 보여 주는 사례입니다.
내 관점이 남는 문장을 지킬 수 있을까
이제 개인의 글로 돌아오겠습니다. 닮은 답이 많다는 것을 알면 내 글의 고유성이 더 잘 지켜질까요. 이 물음을 직접 시험한 연구는 찾지 못했습니다. 가까운 근거로는 독창성에 보상받은 참가자가 AI 문장을 덜 가져온 Jo와 Raghavan의 프리프린트가 있을 뿐입니다. 보상 조건에서 나온 결과를, 답의 유사도를 확인한 개인에게 그대로 옮길 수는 없습니다.9
그러니 “비슷한 답을 확인하면 내 관점이 남는다”는 문장은 처방이 아니라 가설입니다. 반증 조건은 분명하게 둘 수 있습니다. 답이 얼마나 겹치는지 살피고 내 관점이 담긴 문장을 하나 지키려 했는데도 최종 글에서 그 문장이 빠지거나 다른 말로 바뀌어 관점을 잃었다면, 이 가설은 틀렸거나 충분하지 않은 것입니다. 확인했는데 글에 차이가 없다면 확인만으로는 모자란다는 뜻일 수 있습니다.
직접 해 볼 방법은 이렇습니다. 실제로 AI에 보낸 질문을 새 대화에 그대로 다시 넣고, 가능하면 다른 모델에도 넣어서 답을 서너 개 모읍니다. 답마다 핵심 추천이나 주장, 이유, 표현에서 겹치는 곳을 표시합니다. 어느 층에서 비슷하다고 느꼈는지 함께 적어 두면 “비슷하다”는 인상이 어디서 왔는지 구별됩니다. 비교하는 것은 내가 받은 답뿐입니다. 남들이 받은 답이나 사람과의 차이를 판정하는 일이 아닙니다.
다음으로 AI의 답을 글에 옮기기 전에, 이 주제에서 내가 중요하게 여기는 관점이 담긴 문장을 하나 정해 둡니다. 그 문장을 글자 그대로 남기는 것이 목적은 아닙니다. 글을 다 쓰고 나서 그 문장이나 그 문장이 담은 관점이 최종 글에 실제로 남았는지 확인합니다. 남았다면 이 과정이 도움이 됐을 수 있습니다. 남지 않았다면 그 결과를 그대로 받아들이고 가설을 다시 따져 봅니다.
답이 비슷하다는 사실만으로 내 글이 달라지지는 않습니다. 다만 답을 나란히 놓고 겹치는 대목을 보면 AI의 제안과 내 선택 사이를 눈으로 가려 볼 기회가 생깁니다. 그 확인이 글에 어떤 차이를 만드는지는 각자의 작업에서 따져 볼 일입니다.
다음 편에서는 AI의 답을 확인하는 일이 시간이 지나면서 어떻게 달라지는지 살펴보겠습니다.
참고 자료
- Doshi AR, Hauser OP (2024). Generative AI enhances individual creativity but reduces the collective diversity of novel content. Science Advances 10(28): eadn5290. https://doi.org/10.1126/sciadv.adn5290
- Padmakumar V, He H (2024). Does Writing with Language Models Reduce Content Diversity? ICLR 2024. https://arxiv.org/abs/2309.05196
- Anderson BR, Shah JH, Kreminski M (2024). Homogenization Effects of Large Language Models on Human Creative Ideation. C&C 2024. https://doi.org/10.1145/3635636.3656204
- Jiang 외 (2025). Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond). NeurIPS 2025 Datasets & Benchmarks (Oral). https://arxiv.org/abs/2510.22954
- Kirk 외 (2024). Understanding the Effects of RLHF on LLM Generalisation and Diversity. ICLR 2024. https://arxiv.org/abs/2310.06452
- Murthy, Ullman, Hu (2025). One fish, two fish, but not the whole sea: Alignment reduces language models’ conceptual diversity. NAACL 2025. https://doi.org/10.18653/v1/2025.naacl-long.561
- Zhang 외 (2025). NoveltyBench: Evaluating Language Models for Humanlike Diversity. COLM 2025. https://arxiv.org/abs/2504.05228
- Inoshita, Omura, Yamanaka (2026). Does AI Homogenize Student Thinking? (프리프린트) https://arxiv.org/abs/2603.21228
- Jo, Raghavan (2026). Incentives Shape How Humans Co-Create with Generative AI. (프리프린트) https://arxiv.org/abs/2604.03529
- Kumar 외 (2026). Human Thinking under Plural LLM Assistance. (작업 초안) https://arxiv.org/abs/2604.02677
- Wan, Kalman (2025). Diverse AI Personas Can Mitigate the Homogenization Effect in Human-AI Collaborative Ideation. (프리프린트) https://arxiv.org/abs/2504.13868
- Zhang 외 (2025). Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity. (프리프린트) https://arxiv.org/abs/2510.01171
- Kumar, Vincentius, Jordan, Anderson (2025). Human Creativity in the Age of LLMs: Randomized Experiments on Divergent and Convergent Thinking. CHI 2025. https://doi.org/10.1145/3706598.3714198