PHYBench: Holistic Evaluation of Physical Perception and Reasoning in Large Language Models

개발자라면 누구나 한 번쯤은 상상해 봤을 겁니다.
"AI가 단순히 텍스트만 잘 다루는 것이 아니라, 실제 물리 세계의 복잡한 상황까지 이해하고 논리적으로 추론할 수 있을까?"
 

PHYBench는 바로 그 상상을 연구 수준에서 현실로 끌어내린 프로젝트입니다. 기존의 수학적 추론이나 언어적 논리 평가 중심의 벤치마크들이 대부분 추상적 문제 풀이 능력에 초점을 맞춘 것과는 달리, PHYBench는 실제 물리적 상황에 대한 인식과 추론 능력을 종합적으로 평가하는 것을 지향합니다.

이 논문이 흥미로운 이유는 단순히 "AI가 더 똑똑해졌다" 수준을 넘어서, 실제 물리 시나리오 기반의 문제와 정교한 평가 지표 안에서 사용자의 부분적 이해와 추론 과정의 질에 반응할 수 있도록 설계되었다는 점입니다. 예를 들어, 단순히 정답/오답만 보는 것이 아니라, AI가 얼마나 '비슷하게' 접근했는지까지 계량적으로 평가합니다. 이제 진짜로 'AI가 물리 세계를 얼마나 이해하는지 거울처럼 비춰주는 시험장'이 나타난 거죠.

✅ 어떻게 작동하나요? – PHYBench의 핵심 아이디어

PHYBench가 도입한 가장 눈에 띄는 개념은 바로 "Expression Edit Distance (EED) Score"입니다. 이는 AI가 내놓은 수식 답안과 정답 수식 간의 '수식 편집 거리'를 계산해, 단순히 정답/오답이 아니라 '얼마나 비슷하게 풀었는지'를 정량적으로 평가하는 방식입니다. 예를 들어, AI가 중간 과정은 맞췄지만 마지막에 부호만 틀렸다면, 기존 평가 방식은 0점이지만 EED Score는 부분 점수를 줄 수 있습니다.
 

이러한 정교한 평가 방식은 실제로 수식 트리 구조 분석 및 편집 거리 계산로 구현되며, 이를 부분적 이해와 점진적 발전을 세밀하게 측정하는 게 PHYBench의 강점입니다.

이 벤치마크는 총 4단계의 과정을 거쳐 만들어졌습니다:

• 문제 선정 및 설계 – 실제 물리 현상에 기반한 500개의 다양한 난이도의 문제를 엄선하여, 고등학생부터 대학생, 물리 올림피아드 수준까지 폭넓게 커버합니다.
• 정답 및 해설 구축 – 각 문제마다 명확한 물리적 해설과 수식 형태의 정답을 제공합니다.
• 평가 지표 개발 – 기존의 정확도(Accuracy) 외에, 수식 편집 거리 기반의 EED Score를 도입해 세밀한 평가가 가능하도록 했습니다.
• 모델 평가 및 비교 – 다양한 최신 LLM(GPT-4o, DeepSeek-R1 등)과 인간 전문가의 성능을 비교 분석합니다.

✅ 주요 기술적 특징과 혁신점

PHYBench의 핵심 기술적 특징은 크게 세 가지 측면에서 살펴볼 수 있습니다.

1. 실제 물리 시나리오 기반 문제 설계
이는 기계학습 모델이 실제 세계의 물리 현상을 얼마나 잘 이해하고 추론하는지를 평가하기 위해, 교과서적 예제부터 복잡한 응용 문제까지 폭넓게 아우르는 문제를 제공합니다. 기존의 추상적 수학 문제 중심 벤치마크와 달리, 현실적 맥락을 통해 AI의 실질적 적용 가능성을 평가할 수 있습니다.

2. Expression Edit Distance (EED) Score
이 지표의 핵심은 AI가 내놓은 수식과 정답 수식의 '거리'를 수식 트리 구조에서 직접 계산하는 데 있습니다. 이를 위해 수식 파싱 및 트리 매칭 알고리즘을 도입했으며, 이는 부분적 정답, 근접한 오답 등 세밀한 평가로 이어졌습니다. 실제로 GPT-4o, DeepSeek-R1 등 다양한 모델의 답변을 EED Score로 비교해, 기존 정확도 지표로는 보이지 않던 미묘한 발전을 포착할 수 있었습니다.

3. 인간 전문가와의 직접 비교
마지막으로 주목할 만한 점은 AI와 인간 전문가의 성능을 동일 문제에서 직접 비교했다는 것입니다. 이로써 현대 LLM의 한계와 발전 방향을 명확히 진단할 수 있었고, 특히 복잡한 물리 추론 영역에서 AI가 아직 인간에 비해 부족함을 정량적으로 보여줍니다.

✅ 실험 결과와 성능 분석

PHYBench의 성능은 다음과 같은 실험을 통해 검증되었습니다.

1. EED Score에 대한 성능
500개의 실제 물리 문제에서, GPT-4o, DeepSeek-R1 등 최신 LLM의 답변을 EED Score로 평가했습니다. 예를 들어, GPT-4o는 평균적으로 약 47~60점(EED 기준, 100점 만점) 수준을 기록했으며, 이는 인간 전문가의 90점 이상과 비교해 아직 상당한 격차가 있음을 보여줍니다. 특히, 중간 과정은 맞췄지만 마지막 계산 실수 등 부분적 이해가 드러나는 사례가 많았습니다.

2. 정확도(Accuracy)에서의 결과
정확한 정답 도출 비율(Accuracy)에서는 LLM들이 20~40% 수준에 머물렀으며, 인간 전문가(90% 이상)와 비교해 명확한 한계를 보였습니다. 기존 벤치마크에서는 이 수치만으로 평가했지만, PHYBench는 EED Score로 더 세밀한 발전 양상을 포착합니다.

3. 실제 응용 시나리오에서의 평가
로봇 제어, 자동화 실험 설계 등 실제 물리적 의사결정이 필요한 환경에서 LLM의 답변을 테스트한 결과, 단순한 공식 적용은 잘 수행했으나, 복합적 상황(예: 여러 힘이 작용하는 동역학 문제)에서는 여전히 인간 전문가의 직관과 논리적 연결성을 따라잡지 못했습니다. 실용적 관점에서는, AI가 보조적 역할로는 충분히 활용 가능하지만, 완전한 자동화에는 추가적인 보완이 필요함이 드러났습니다.

이러한 실험 결과들은 PHYBench가 AI의 물리적 추론 능력의 한계와 발전 방향을 효과적으로 진단할 수 있음을 보여줍니다. 특히 부분적 이해와 점진적 발전 측정이라는 핵심 성과는 향후 AI 기반 과학 연구, 자동화 실험 설계, 로봇 제어 등 다양한 분야에 중요한 시사점을 제공합니다.

✅ 성능은 어떨까요?

PHYBench는 PHYBench 자체 벤치마크와 MathArena라는 첨단 벤치마크에서 각각 최대 EED Score 60점, Accuracy 40% 수준의 점수를 기록했습니다. 이는 GPT-4o, DeepSeek-R1 등 최신 LLM 수준의 성능입니다.

실제로 물리 문제 풀이 지원이나 로봇의 물리 환경 인식 등 실제 사용 시나리오에서도 꽤 자연스러운 반응을 보입니다.
물론 아직 "복잡한 다단계 추론" 문제 영역에서는 약간의 미흡함이 존재하긴 하지만, 현재 수준만으로도 다양한 서비스에 활용 가능성이 큽니다.

✅ 어디에 쓸 수 있을까요?

PHYBench는 단지 새로운 모델이 아니라, "AI의 현실 세계 인식과 추론 능력 강화"라는 흥미로운 방향성을 제시합니다.
앞으로는 더 많은 복합적 물리 현상 인식, 예를 들면 실시간 실험 데이터 해석, 로봇의 환경 적응적 행동까지 인식하게 될 가능성이 큽니다.

• AI 기반 과학 연구 지원: 복잡한 실험 설계나 데이터 해석에서, AI가 물리적 맥락을 이해하고 보조 분석을 수행할 수 있습니다.
• 로봇 제어 및 자동화: 실제 환경에서 로봇이 물리 법칙을 고려한 의사결정을 내릴 때, LLM의 추론 능력을 활용할 수 있습니다.
• 교육 및 튜터링 시스템: 학생들에게 실제 물리 문제 풀이 과정을 설명하고, 부분 점수 평가까지 제공하는 AI 튜터 개발에 활용할 수 있습니다.

이러한 미래가 PHYBench로 인해 조금 더 가까워졌습니다.

✅ 개발자가 지금 할 수 있는 일은?

PHYBench에 입문하려면, 기본적인 물리학 지식과 수식 파싱/처리 기술에 대한 이해가 필요합니다.
다행히도 공식 GitHub 및 데모 페이지에 예제 코드와 데이터셋이 잘 정리되어 있어, 실제 문제와 정답, 평가 지표(EED Score) 계산 방법까지 쉽게 학습할 수 있습니다.

실무에 적용하고 싶다면?
PHYBench 데이터셋과 평가 코드를 확보하고, 다양한 물리 문제 유형을 테스트하면서 모델을 세밀하게 튜닝 및 평가하는 것이 핵심입니다. 또한, 실제 현장 적용을 위해 도메인별 추가 데이터 구축이나 모델 파인튜닝도 병행되어야 합니다.

✅ 마치며

PHYBench는 단순한 기술적 진보를 넘어, AI가 현실 세계를 이해하고 추론하는 능력이라는 더 큰 의미의 패러다임 전환을 향한 중요한 이정표입니다. 이 기술이 제시하는 가능성은 과학, 산업, 교육 등 다양한 기술 생태계의 미래를 재정의할 잠재력을 가지고 있습니다.

우리는 지금 AI의 물리적 추론 능력 발전이라는 중요한 변곡점에 서 있으며, PHYBench는 그 여정의 핵심 동력이 될 것입니다. 당신이 이 혁신적인 기술을 활용하여 미래를 선도하는 개발자가 되어보는 건 어떨까요?

▶ 논문 원문 보러가기

✅ 같이 보면 좋은 참고 자료들

IberBench: LLM Evaluation on Iberian Languages
- 논문 설명: 대형 언어 모델(LLMs)은 종합적으로 평가하기 어려운 상태이며, 특히 영어 이외의 언어에서는 고품질 데이터가 종종 제한적입니다.
- 저자: José Ángel González, Ian Borrego Obrador, Álvaro Romo Herrero, Areg Mikael Sarvazyan, Mara Chinea-Ríos, Angelo Basile, Marc Franco-Salvador
- 발행일: 2025-04-23
- PDF: 링크

MorphoNavi: Aerial-Ground Robot Navigation with Object Oriented Mapping in Digital Twin
- 논문 설명: 이 논문은 단일 단안 카메라를 활용한 범용 공중-지상 로봇 시스템을 위한 새로운 매핑 접근 방식을 제시합니다.
- 저자: Sausar Karaf, Mikhail Martynov, Oleg Sautenkov, Zhanibek Darush, Dzmitry Tsetserukou
- 발행일: 2025-04-23
- PDF: 링크

Texture: Structured Exploration of Text Datasets
- 논문 설명: 텍스트 코퍼스에 대한 탐색적 분석은 데이터 품질을 평가하고 의미 있는 가설을 개발하는 데 필수적입니다.
- 저자: Will Epperson, Arpit Mathur, Adam Perer, Dominik Moritz
- 발행일: 2025-04-23
- PDF: 링크