AIWT

일은 AI에게, 우리는 생각만

AI Works. We Think.

ChatGPT와 Gemini에 같은 PDF를 넣으면 결과도 같을까?

같은 장려금 안내문과 같은 질문을 ChatGPT와 Gemini에 넣으면 결과도 같을까요? 둘 다 그럴듯한 요약과 표를 내놓았지만, 어느 답변이 원문을 더 쉽게 확인하게 했고 어디에서 다시 검수해야 했을까요?

이번 글에서는 앞선 글에 사용한 국세청의 2페이지 장려금 안내문과 같은 질문을 ChatGPT와 Gemini에 넣고, 두 결과물의 핵심 사실·근거 표시·답변 범위를 원문과 직접 대조했습니다. 무엇이 같았고 어디에서 차이가 났는지 순서대로 살펴봅니다.

목차

  1. 같은 장려금 안내문을 비교한 이유
  2. 무엇을 기준으로 비교했을까?
  3. 두 답변은 어떤 점에서 같고 달랐을까?
  4. 요약의 근거는 어디에서 확인할 수 있을까?
  5. 짧은 요약은 원문 조건까지 담았을까?
  6. 요약을 받은 뒤 무엇을 확인해야 할까?
  7. 내 상황에는 어떻게 활용하면 좋을까?

같은 장려금 안내문을 비교한 이유

기존 글 ‘ChatGPT PDF 요약, 어디까지 믿어도 될까?’에서는 이 장려금 안내문으로 ChatGPT의 결과를 원문과 대조했습니다. 이번 글은 마지막 예고대로 같은 장려금 안내문과 질문을 Gemini에도 적용해 차이를 확인한 후속 비교입니다.

질문에는 5문장 요약, 신청 기간과 소득·재산 기준 표, 제외 조건, PDF 페이지와 짧은 근거, 재검수 표를 요구했습니다. 웹 검색이나 일반 지식은 금지했습니다.

ChatGPT에 장려금 안내문을 첨부하고 요약·표·페이지 근거를 요청한 질문 화면
ChatGPT 질문 화면. 앞선 글에서 사용한 장려금 안내문과 여섯 가지 요청 사항입니다.
Gemini에 같은 장려금 안내문과 요약·표·페이지 근거 요청을 입력한 화면
Gemini 질문 화면. 같은 장려금 안내문을 첨부하고 동일한 요청을 입력했습니다.

무엇을 기준으로 비교했을까?

두 답변이 안내문의 조건을 제대로 옮겼는지 확인하려면 원문 기준이 필요합니다. 대조에 사용한 주요 숫자와 날짜를 먼저 정리했습니다.

확인 항목국세청 PDF 원문 기준
신청 기간2026.3.1.~3.16., 5.1.~6.1., 6.2.~12.1., 9.1.~9.15.
근로장려금 소득 기준단독 2,200만원, 홑벌이 3,200만원, 맞벌이 4,400만원 미만
자녀장려금 소득 기준7,000만원 미만
재산 기준2025.6.1. 현재 2.4억원 미만, 부채 미차감
재산에 따른 감액1.7억원 이상 2.4억원 미만이면 산정액의 50% 지급
근로장려금 최대 지급액가구 유형별 165만원, 285만원, 330만원
자녀장려금 지급액자녀 1인당 최대 100만원, 최소 50만원

반기 신청의 하반기분 재산 기준일은 2024년 6월 1일로 정기 신청 기준과 다릅니다. 날짜나 숫자만 뽑아내는 것으로는 부족하고, 그 값이 어느 신청 유형에 적용되는지도 함께 확인해야 합니다.

두 답변은 어떤 점에서 같고 달랐을까?

두 답변 모두 네 신청 기간과 소득·재산 기준, 최대 지급액을 대체로 정확하게 옮겼습니다. 다만 숫자가 맞아도 그 숫자에 붙은 조건이 달라질 수 있어, 근거 표시와 조건 표현을 함께 살펴봤습니다.

ChatGPT가 장려금 안내문을 5문장으로 요약하고 신청 기간 표와 PDF 페이지를 표시한 결과 화면
앞선 글의 ChatGPT 결과 화면. 5문장 요약 다음에 신청 기간 표와 PDF 페이지 근거가 이어집니다.
Gemini가 장려금 안내문을 요약하고 문장 옆에 근거 번호를 표시한 결과 화면
Gemini 결과 화면. 짧은 핵심 요약과 문장 옆의 근거 번호를 확인할 수 있습니다.
비교 기준ChatGPTGemini이번 실행의 판단
핵심 숫자·날짜대체로 정확대체로 정확핵심 수치에서 큰 차이 없음
실제 PDF 페이지 표시p.1·p.2로 구분Passage 번호로 대체ChatGPT가 요청에 더 부합
PDF 밖 내용 추가추가 내용 거의 없음조언·추론 일부 추가ChatGPT가 요청에 더 부합
응답 분량8,946자5,268자Gemini가 약 41.1% 짧음

문자 수는 복사한 Markdown 문자열 기준이며 토큰 수나 실제 읽는 시간은 아닙니다.

요약의 근거는 어디에서 확인할 수 있을까?

ChatGPT는 각 표와 목록에 p.1 또는 p.2를 표시했습니다. 숫자가 맞는지 의심될 때 2페이지짜리 원문에서 바로 해당 페이지를 열어볼 수 있었습니다. 반기 신청과 지급·정산 조건도 별도로 나눠 원문의 위치를 따라가기 쉬웠습니다.

Gemini는 실제 PDF 페이지 번호를 확인할 수 없다고 밝히고, 원문 구절에 붙은 Passage 번호를 사용했습니다. Passage 인용은 연결된 원문 구절을 확인하는 데 유용하지만, “PDF 페이지 번호를 적어 달라”는 이번 요청과는 다른 방식입니다. 따라서 페이지 단위 검수가 중요한 작업에서는 이 차이를 먼저 확인할 필요가 있습니다.

짧은 요약은 원문 조건까지 담았을까?

Gemini의 답변은 ChatGPT보다 3,678자 짧아 읽어야 할 분량이 적었습니다. 하지만 답변이 짧다는 것과 원문 조건을 정확하게 옮겼다는 것은 별개였습니다. 일부 조건 표현이 원문과 달랐고, 안내문에 없는 조언도 들어갔습니다.

원문은 재산이 ‘1.7억원 이상 2.4억원 미만’이면 산정액의 50%를 지급한다고 적었습니다. 반면 Gemini 답변의 ‘1원이라도 넘으면’이라는 표현은 정확히 1.7억원인 경우를 감액 대상에서 빠뜨릴 수 있습니다.

Gemini가 재산 1.7억원을 단 1원이라도 넘으면 감액된다고 적은 재확인표 화면
Gemini 재확인표. 원문의 ‘1.7억원 이상’을 ‘단 1원이라도 넘으면’으로 표현한 부분입니다.

홑벌이 가구 조건도 원문의 ‘신청인 또는 배우자’를 한 항목에서 ‘배우자’로 좁혀 적었습니다. 매년 홈택스에서 확인해야 한다는 조언과 가구 유형이 불리하게 바뀔 수 있다는 해석도 PDF에 직접 적힌 내용은 아니었습니다.

일반적인 조언으로는 쓸모가 있을 수 있지만 “첨부 PDF만 근거로 답하라”는 조건에서는 원문 사실과 AI 해석을 구분해야 합니다.

요약을 받은 뒤 무엇을 확인해야 할까?

이번 비교에서 다시 확인할 부분은 재산 기준의 ‘이상·초과’, 조건이 적용되는 사람, 그리고 근거의 위치였습니다. 다른 PDF를 요약할 때도 그럴듯한 표만 보고 판단하기보다 다음 항목을 원문과 대조하는 편이 안전합니다.

  • 숫자와 단위: 만원·억원, 1인당 금액인지 가구 전체 금액인지 확인
  • 기준값 포함 여부: 이상·초과, 이하·미만을 그대로 옮겼는지 확인
  • 날짜의 대상: 신청일, 기준일, 지급일, 정산일이 섞이지 않았는지 확인
  • 조건의 주어: 신청인, 배우자, 가구원 중 누구에게 적용되는지 확인
  • 예외와 제외: 본문 아래의 작은 글씨나 주석이 빠지지 않았는지 확인
  • 근거 위치: 실제 PDF 페이지인지, 서비스 내부 Passage 번호인지 구분
  • 추가 문장: 원문 사실인지 AI의 조언이나 추론인지 구분

내 상황에는 어떻게 활용하면 좋을까?

이번 장려금 안내문 비교에서 ChatGPT는 답변이 길었지만 원문의 조건을 더 정확하게 옮겼고, 페이지 근거도 확인하기 쉬웠습니다. Gemini는 더 짧게 요약했지만, 재산 기준의 ‘이상·초과’와 조건의 적용 대상을 원문과 다르게 표현한 부분이 있었습니다.

핵심을 짧게 파악하는 데는 간결한 요약이 도움이 됩니다. 다만 신청 조건이나 금액처럼 판단에 영향을 주는 내용을 활용할 때는, 답변 길이보다 원문을 정확하게 옮겼는지 확인하는 것이 중요합니다.

출처

댓글 남기기