AI가 공략을 설명하는 대신, 게임 화면을 보고 직접 움직인다면 어떤 모습일까요? 이번에는 테라리아(Terraria)를 켜고 AI가 캐릭터를 조작하는 과정을 관전해 봤습니다.
목표는 사람이 상태를 전달하고 답을 받아 대신 조작하는 것이 아니었습니다. AI가 실제 게임 화면을 보고 행동을 선택하고, 그 입력으로 캐릭터가 움직이는 모습을 확인하는 실험입니다. 아래 영상과 화면은 2026년 10월 5일에 진행한 실제 시험에서 가져왔습니다.
목차
- 조언이 아니라, AI가 직접 조작한 테라리아
- 움직이고 공격했지만, 오래 버티지는 못했다
- 39초로 보는 실제 플레이
- 슬라임보다 늦었던 다음 입력
- AI 플레이 관전, 이번에는 어디까지 가능했나
조언이 아니라, AI가 직접 조작한 테라리아
이번 관전 프로그램은 Codex에서 GPT 6.1 Sol을 사용해 제작했습니다. 다만 실제 플레이 입력 기록에는 정확한 모델명이 남아 있지 않아, 이 글을 GPT 6.1 Sol만의 게임 성능 평가로 볼 수는 없습니다.
기존 저장과 구분하기 위해 새 캐릭터와 작은 클래식 월드를 만들었습니다. 캐릭터 이름은 AIWT_AI_20261005, 월드 이름은 AIWT_World_20261005입니다. 메뉴 조작과 캐릭터·월드 생성까지 포함해 실제 입력은 42단계가 기록됐습니다.
플레이는 ‘화면 확인 → AI의 행동 선택 → 키보드·마우스 입력 → 다음 화면 확인’ 순서로 진행했습니다. 미리 정해 둔 이동·전투 순서를 반복한 것이 아니라, Codex가 화면을 보고 다음 행동을 선택했습니다. 프로그램은 선택한 입력을 게임에 전달하고 화면을 녹화했습니다.
여기서 구분할 부분이 있습니다. 이번에는 대화 중인 Codex가 관전 프로그램을 통해 직접 조작했습니다. 별도 프로그램의 자동 반복 실행을 켜 놓고 혼자 계속 플레이하는 상태까지 검증한 것은 아닙니다. 확인한 것은 AI의 판단이 실제 게임 입력과 움직임으로 이어지는 과정입니다.
움직이고 공격했지만, 오래 버티지는 못했다
캐릭터는 이동하고 점프했으며, 슬라임을 향해 공격도 했습니다. 공격 명령만 보낸 것으로 끝난 것은 아닙니다. 두 차례의 확인 화면에서 슬라임이 사라지고 젤과 동전이 들어온 모습을 확인했습니다.
하지만 적을 한 번 잡는 것과 계속 살아남는 것은 달랐습니다. 슬라임이 반대편으로 이동했을 때 공격 방향을 바로 바꾸지 못했고, 다음 행동을 기다리는 사이 캐릭터가 피해를 받았습니다. 시험 중 사망이 반복됐습니다.
나무를 베려는 입력도 있었지만, 목재가 실제로 들어왔다는 확인은 확보하지 못했습니다. 따라서 이번 결과는 ‘이동·공격과 슬라임 처치 사례는 확인했지만, 지속 생존에는 실패했고 목재 수집은 확인하지 못했다’로 정리하는 것이 맞습니다.
39초로 보는 실제 플레이
아래는 실제 녹화를 세로형 쇼츠로 편집한 영상입니다. 캐릭터가 움직이고 슬라임은 계속 접근하는데, 다음 대응은 그 속도를 따라가지 못하는 장면을 담았습니다.
영상은 실제 플레이 33초와 별도 사망 캡처 6초로 구성했습니다. 앞부분은 원본 녹화의 60~93초 구간을 1배속으로 사용했고, 마지막 정지 화면은 같은 시험에서 따로 남긴 실제 캡처입니다. 영상과 정지 화면의 구분은 자막에도 표시했습니다. 원본에 소리가 없어 이 영상도 무음입니다.
기다리는 시간을 빨리 돌리면 AI가 실제보다 민첩하게 반응한 것처럼 보일 수 있습니다. 그래서 플레이 구간 안의 대기 시간을 가속하지 않았습니다. 이 영상은 성공한 플레이를 재현한 것이 아니라, 실제 움직임과 대응 공백, 그리고 따로 확인된 사망 결과를 구분해서 보여주는 기록입니다.
슬라임보다 늦었던 다음 입력
왜 적이 가까이 와도 대응이 늦었을까요? 입력 기록에서 바로 확인할 수 있는 것은 행동과 행동 사이의 공백입니다. 연속된 두 구간에서는 앞선 입력이 끝난 뒤 다음 입력이 시작되기까지 약 15.8초와 10.2초가 걸렸습니다.
이 값은 모델이 답을 생각하는 시간만 측정한 것이 아닙니다. 화면 확인, 판단, 도구 호출을 거쳐 다음 입력을 시작하기까지의 전체 공백입니다. 어느 단계가 몇 초를 차지했는지는 별도로 측정하지 않았습니다.
입력을 전달하는 프로그램은 지정한 시간 동안 키·마우스를 누른 뒤 해제하도록 되어 있었습니다. 다음 판단을 기다리는 동안 공격이나 회피를 계속 갱신하는 구조는 아니었습니다. 앞선 화면에서 오른쪽에 있던 적이 다음 행동 시점에는 왼쪽으로 넘어가면, 선택한 공격 방향이 이미 맞지 않을 수 있습니다.
제 해석으로는 ‘무엇을 해야 하는가’뿐 아니라 ‘그 행동을 얼마나 늦지 않게 실행하는가’가 이번 전투의 문제였습니다. 다만 모델, 화면 전달, 입력 도구 중 하나만을 실패 원인으로 확정할 자료는 없습니다. 다음 시험에서는 모델을 바꾸는 것보다 먼저 화면 관찰부터 실제 입력까지의 대기를 나눠 측정하고 줄이는 것이 우선입니다.
AI 플레이 관전, 이번에는 어디까지 가능했나
이번에 얻은 장면은 사람이 AI의 지시를 대신 실행한 모습이 아닙니다. AI가 화면을 보고 실제 캐릭터를 움직이고 공격하는 모습을 관전할 수 있었습니다. 반면 적의 위치 변화에 맞춰 즉시 행동을 갱신하거나, 계속 살아남으며 진행하는 플레이에는 이르지 못했습니다.
다음 실험에서는 AI가 큰 행동을 선택하고, 짧은 공격·회피는 게임 옆에서 빠르게 처리하는 제어 방식으로 나누는 안을 우선 검토하려 합니다. 같은 조건에서 다음 입력까지의 공백, 적이 반대편으로 갔을 때 방향 전환, 생존 시간을 함께 비교하면 개선 여부를 확인할 수 있습니다. 이 변경의 효과는 아직 시험하지 않았습니다.
AI가 직접 게임을 하는 모습을 보는 것은 이번 시험에서 가능했습니다. 그러나 이번 화면 확인·입력 방식으로는 테라리아에서 안정적으로 살아남지 못했습니다. 그래서 다음 목표는 더 긴 플레이 영상을 만드는 것이 아니라, 적이 움직이는 동안 비어 있던 대응 시간을 줄여 실제 플레이를 이어 가게 만드는 것입니다.
답글 남기기