한빛출판네트워크

AGI의 시대에 대한 리뷰를 해보려고 합니다. 최근 인공지능 기술이 급격히 발전하면서 AGI(인공 일반 지능)의 개념이 점점 더 주목받고 있습니다. AGI는 인간과 유사한 수준의 지능을 가진 인공지능을 의미하며, 이는 단순한 특정 작업을 수행하는 Narrow AI와는 확연히 다른 개념입니다. 이번 포스팅에서는 AGI의 시대가 무엇인지, AGI와 Narrow AI의 차이, AGI의 발전 단계, 그리고 AGI가 우리 사회에 미치는 영향에 대해 자세히 살펴보겠습니다.

AGI의 시대란?

AGI의 시대는 인공지능이 인간의 지능과 유사한 수준으로 발전하는 시대를 의미합니다. 이 책에서는 AGI가 단순한 특정 작업을 수행하는 Narrow AI와는 다르게, 인간과 유사한 사고 능력을 갖춘 시스템으로 발전할 것이라고 설명합니다. AGI는 복잡한 문제를 해결하고 창의적인 작업을 수행할 수 있는 능력을 지니고 있습니다. 이러한 AGI의 발전은 우리의 삶에 큰 변화를 가져올 것입니다.

AGI와 Narrow AI의 차이

AGI와 Narrow AI의 차이는 매우 중요합니다. Narrow AI는 특정 작업에 특화된 인공지능으로, 예를 들어 이미지 인식, 음성 인식 등 특정 분야에서만 뛰어난 성능을 발휘합니다. 반면 AGI는 인간과 유사한 인지 능력을 가지고 있어, 다양한 작업을 수행할 수 있는 능력을 지니고 있습니다. 아래의 표를 통해 두 가지 인공지능의 차이를 명확히 비교해볼 수 있습니다.

이 표를 통해 AGI가 얼마나 더 유연하고 다양한 작업을 수행할 수 있는지를 알 수 있습니다.

AGI의 발전 단계

AGI의 발전은 여러 단계로 나눌 수 있습니다. 이 책에서는 AGI의 발전 단계를 구체적으로 설명하고 있으며, 각 단계에서의 기술적 성과와 사회적 영향을 다루고 있습니다. AGI의 발전은 단순히 기술적인 진보에 그치지 않고, 우리의 삶의 방식과 사회 구조에도 큰 영향을 미칠 것입니다.

AGI의 사회적 영향

AGI의 발전은 우리 사회에 큰 영향을 미칠 것입니다. 예를 들어, AGI가 도입되면 많은 직업이 자동화될 수 있으며, 이는 노동 시장에 큰 변화를 가져올 것입니다. 또한, AGI의 윤리적 문제도 중요한 이슈로 떠오르고 있습니다. AGI가 인간의 결정을 대체하게 될 경우, 그에 따른 책임 문제와 윤리적 기준이 필요해질 것입니다.

미래의 AGI

미래의 AGI는 우리가 상상하는 것보다 더 많은 가능성을 지니고 있습니다. AGI가 발전함에 따라, 우리는 더 나은 문제 해결 능력과 창의성을 발휘할 수 있는 기회를 가질 것입니다. 하지만 이러한 발전이 가져올 수 있는 위험성도 간과해서는 안 됩니다. AGI가 인간의 통제를 벗어나지 않도록 하는 것이 중요합니다.

마무리 및 개인적인 생각

AGI의 시대는 단순한 기술 발전을 넘어, 우리의 삶과 사회 전반에 걸쳐 큰 변화를 가져올 것입니다. 이러한 변화에 대비하기 위해서는 AGI에 대한 이해와 연구가 필수적입니다. 개인적으로 AGI의 발전이 긍정적인 방향으로 나아가기를 바라며, 이를 위해 우리가 해야 할 일이 많다고 생각합니다. AGI의 시대가 도래하는 만큼, 우리는 그에 맞는 준비를 해야 할 것입니다.

또한, AGI가 인류에게 진정으로 도움이 되기 위해서는 인간의 가치와 윤리를 반영하는 방향으로 발전해야 합니다. 이러한 미래를 위해서는 기술 발전과 함께 윤리적 논의가 반드시 필요합니다. AGI의 시대는 도래하고 있으며, 우리는 이 시대의 주인공이 되어야 할 것입니다.

AGI의 시대는 단순한 기술적 변화가 아니라, 우리의 삶과 사회 구조 전반에 걸친 혁신을 의미합니다. 우리는 AGI에 대한 이해와 함께, 그 시대의 도래를 준비해야 합니다.

본 포스팅은 “한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.”

* 한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

우리는 우리보다 더 똑똑한 사물이 생긴다는 것이 어떤 것인지 경험해본 적이 없다

(We have no experience of what it's like to have things that are smarter than us)

2024년 노벨물리학상을 수상하신 제프리 힌턴 (Geoffery Everest Hinton) 교수가 노벨상 수상 기자회견에서 하신 말씀입니다. 인류 역사상 처음으로 인간보다 더 뛰어난 지적 능력을 가진 존재와 공존하게 될 가능성을 시사하였는데, 이러한 상황은 지금까지 전례없던 일로서 인류가 인공지능에 대항하여 새로운 도전과 기회를 가질 것으로 예상하고 있습니다. AGI는 빠른 학습능력과 의사결정 능력을 통하여 사회 전반에 영향력을 행사할 수 있기 때문에, 이에 대한 준비가 필요합니다. 다시 말해서 일반인공지능 (AGI)을 통제하고 윤리적으로 관리할 수 있는 방안 마련은 무엇보다 중요합니다. 'AGI의 시대' 서적은 인공일반지능을 바라보는 전문가의 다양한 견해들을 담고 있어, 통찰력을 제공합니다.

AGI의 시대, 인간을 초월한 인공지능, AGI를 논하다 라는 책은 AGI(범용 인공지능)의 발전과 그것이 가져올 사회적, 윤리적, 철학적 변화를 심도 있게 탐구한 책이다. 한상기 저자는 AGI의 정의부터 시작해 그 기술적 발전 가능성, 그리고 AGI가 인류에 미칠 영향까지 폭넓게 다룬다. 특히 AGI가 실현될 경우 직업 시장, 인간 존재의 의미, 윤리적 딜레마 등 다양한 문제들이 발생할 것이라는 점을 강조하고 있으며, 책은 기술적 논의뿐만 아니라, AGI의 윤리적 안전성 확보와 사회적 대응에 대한 논의도 빠짐없이 제시하여, AGI 시대를 준비하는 데 필요한 깊은 통찰을 제공하게 된다. 특히 ‘얼라인먼트’ 문제와 AGI의 통제 문제는 향후 우리가 풀어야 할 중요한 과제임을 일깨워주기도 한다. 이 책은 기술과 인간성의 공존을 고민하는 모든 독자에게 필독서로, AGI 시대에 대한 준비를 촉구하는 중요한 메시지를 전달하고 있으므로, AGI에 대해 궁금한 분들이 읽으면 좋을 것 같다.

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

[BOOK] AGI의 시대 - 한상기 지음

부제: "인간을 초월한 인공지능, AGI를 논하다"

AI에 대한 도서가 1년도 채 되지 않아 새로운 판본이 나올 정도로 AI는 변화가 빠른 분야입니다. 새로운 모델이 계속 발표되고, AI를 활용한 다양한 서비스가 쏟아지고 있습니다. 최근 OpenAI는 12월에 12일에 걸쳐서 새로운 기능을 소개하기도 했습니다. 인간의 수준 또는 그 이상의 지적 능력을 갖춘 AGI(Artificial General Intelligence, 인공 일반 지능)가 나타나는 것도 먼 미래가 아닐 것 같습니다. 점점 사람의 지능을 위협하는 AI의 성장속에서 우리가 놓치고 있는 것은 없을까요?

이 책 'AGI의 시대'는 AGI에 대한 다양한 정의, 특징을 살펴보고, AGI가 가지고 있는 잠재적인 위협에 대해서 살펴봅니다. 그리고 AI가 인간의 가치와 일치하는 판단을 하도록 만드는 얼라인먼트(Alignment) 문제에 대해서 짚어봅니다. AGI가 등장하기 전에 얼라인먼트 문제를 해결하고, AI 안전 문제를 해결하기 위해 각 국가들이 어떤 활동을 하고 있는지 소개하고 있습니다.

최근 AI와 관련된 기술 도서도 많이 접했지만 AI에 대해 기술 외 적인 문제를 다루는 책들도 다양하게 접하고 있습니다. 엔지니어로서 기술에 대한 호기심으로 AI에 대한 지식과 기술을 배우고 쌓아가는 것도 중요하지만 AI로 인해 변화될 세상에 대해서 생각해보고, 고민해 보는 것도 중요하다고 생각합니다.

"한빛미디어 [나는 리뷰어다] 활동을 위해서 책을 제공받아 작성된 서평입니다."

인공지능이라는 말이 보편화 되면서 AGI란 단어도 심심치 않게 보이고 있습니다. AGI는 Aritificial General Intelligence의 약자로 보편적 인공지능, 일반 인공지능이라고 하는데, 좀 더 이해하기 쉽게 얘기하자면 인간의 생각하는 수준의 인공지능이라고 보면 됩니다. 이 보다 더 뛰어난 지능을 '초지능'이라고도 하는 것 같지만, 아직 여기서 혹은 지금 시점에서 다룰 문제는 아니라고 봅니다.

​

이 책이 반가운 이유는 우선 번역서가 아니라서 유연하게 읽히고, 저자가 국내 최고의 AI 전문가 중의 한 사람이라 신뢰할 수 있다는 점입니다.

​

책 표지는 사실 대단하거나, 뭔가 인공지능스럽다거나(?) 하지는 않습니다.

사실 이 책의 묘미는 저 검은 띠지를 떼어보면 알 수 있는데,

​

​

저렇게 많은 사람들(과학자, 엔지니어, 학자, 인류학자 등등)의 이야기를 알차게 담고 있습니다.

​

이 책은 AGI에 대하여 많은 사람들의 이야기를 담고 있는데, 단순히 찬성/반대에 대한 이분법적 논의를 넘어서서 어떻게 지능에 대하여 정의하는지, 그리고 과연 AGI가 인간의 어디까지 모방을 해야 그렇게 부를 수 있는지 등을 서술합니다.

불과 2년 전까지만 해도 제 개인적인 생각은 테드 창이 말한 '웹의 흐릿한 JPEG 복사본' 이라는 의견에 동족했지만, 이제는 분명 그 이상 '무언가'가 있다는 것에 확신하는 편입니다.

​

우선 목차는 접어두고 이 책은 크게 3부로 나뉘어져 있습니다.

1부 : AGI의 시대

2부 : 얼라인먼트: 연구와 정책

3부 : 정책적 대응

​

책을 다 읽고 나서 나만의 생각을 정리하자면 우리는 인공지능에 대하여 로봇의 3원칙 처럼, 국제적으로 통용되는 안전장치가 필요하다고 봅니다. 로봇의 3원칙을 그대로 적용하기 어려운게 그 원칙은 사람 vs 기계, 이지만 인공지능에 대한 문제는 인류 vs 기술 이라고 생각하기 때문입니다.

​

오늘보다 더 나은 인공지능은 내일 나옵니다. 그리고 우리는 인공지능에게 인간이 하는 중요한 일 들. 단순히 노동을 경감시켜주었던 산업혁명을 넘어서, 내가 의사결정하는 일들 오늘 점심은 무엇을 먹을지 같은 일들 부터, 권력자에게 미사일 버튼을 누를지 말지 하는 결정까지 과연 어디까지 대신 하는 것이 옳은 일일지 깊이 생각해보게 됩니다.

​

인공지능이 만들어가는 미래는 다가온 것이 아니라 이미 어제였고, 점차 넓혀져 가고 깊어집니다. 이 책은 이러한 시대에서 오늘을 어떻게 받아들여야 하는지 저자 뿐 아니라 여러 석학들의 의견과 함께 고민하는 시간을 갖게 해줍니다.

​

​

"이 리뷰는 한빛미디어에서 책을 무상으로 제공받아 작성되었습니다."

2024년의 가장 큰 화두는 단연 "AGI(인공일반지능)"일 것이다. 그러나 AGI에 관한 명확한 정의를 찾아보기 어렵다. 대부분은 단순히 인간을 넘어서는 인공지능을 AGI라고 정의한다. 나 역시 그렇게 알고 있었고, 그렇게 이야기해 왔다.

빅테크 기업이나 학계 전문가들이 말하는 AGI의 정의는 각기 다르다. 스스로가 생각하는 AGI의 기준이 다르니 AGI를 구현할 수 있는 미래 시점도 제각각이다.

이 책은 이러한 궁금증을 해결하고, 빅테크 기업과 세계적인 AI 과학자들의 관점을 상세히 설명한다. 또한 AGI 실현을 위해 해결해야 할 문제점도 짚어준다.

책은 총 3개 부, 전체 7개 장으로 구성되어 있다. 1부 'AGI의 시대'에서는 AGI의 의미와 AI 전문 연구자의 견해, AGI의 잠재적인 위험을 살펴본다. 2부 '얼라인먼트: 연구와 정책'에서는 AGI 실현을 위한 문제점을 알아보고, 주요 기업의 접근 방법을 설명한다. 3부 '정책적 대응'에서는 EU를 포함한 주요 국가의 정책과 국제 협력을 다룬다.

책의 내용을 간단히 살펴보면, 1부 'AGI 시대는'는 전체 2개 장으로 구성되어 있다.

1장 '논쟁의 중심, AGI'에서는 AGI와 관련된 역사와 용어, AI 전문 연구자와 기업인들의 다양한 견해를 살펴본다. 2장 'AGI의 잠재적 위험'에서는 영화나 문학 작품에 나타난 AGI의 경고와 AI의 최고 연구자들의 경고 및 반대 견해를 다룬다.

<1부 AGI의 시대, 1장 논쟁의 중심, AGI, p40~p41>

<1부 AGI의 시대, 1장 논쟁의 중심, AGI, p96~p97>

2부 '얼라인먼트: 연구와 정책'은 전체 4개 장으로 구성되어 있다. 3장 '얼라인먼트 문제란 무엇인가'에서는 얼라인먼트의 개념과 필요성을 살펴본다. 4장 '얼라인먼트 연구의 주요 방향'에서는 데이터, 학습, 평가 단계별 얼라인먼트와 연구의 근본 과제를 다룬다. 5장 '얼라인먼트 연구 전문 그룹'에서는 각국과 대학의 연구 센터와 연구 방향을 살펴본다. 6장 '얼라인먼트 문제에 대응하는 주요 기업의 접근 방법'에서는 빅테크 기업(오픈AI, 앤스로픽, 구글 딥마인드)의 얼라인먼트 문제 접근 방법을 분석한다.

<2부 얼라인먼트: 연구와 정책, 3장 얼라인먼트 문제란 무엇인가?, p174~p175>

3부 '정책적 대응'은 1개의 장으로 구성되어 있다. 7장 'AI 안전과 통제를 위한 주요 국가의 정책 및 국제 협력'에서는 G7을 비롯한 EU, 영국, 미국, 프랑스, 중국, 캐나다의 AI 안전과 통제를 위한 주요 활동을 다룬다.

<3부 정책적 대응, 7장 AI 안전과 통제를 위한 주요 국가의 정책 및 국제 협력, p262~p263>

이 책을 통해 여전히 AGI에 관한 완벽한 답을 얻을 수는 없겠지만, AGI에 관해 충분히 토론할 수 있는 지식을 얻을 수 있었다. 안전한 AGI 구현에 필요한 요소들과 이를 실현하기 위한 기업과 국가의 노력을 알게 되었으며, 이해 깊이 이해하게 되었다.

책을 읽기 전에는 AI 도구 활용과 AI 비즈니스 전략에만 관심이 있었으나, 이제는 AGI를 위한 AI 과학자들의 깊은 고민을 알게 되었다. 2023년 11월 18일의 샘 알트만 해고의 의미도 비로소 이해하게 되었다.

311페이지 분량의 책은 그림이 적고 글씨로 빼곡했으나, 매우 흥미롭게 읽었다. 다양한 문학 작품과 한 번쯤은 들어본 과학자, 개발자의 생각과 논쟁이 흥미를 돋우었으며, 서비스 이면의 기업의 고민과 노력, 안전한 AI를 만들기 위한 국가의 노력을 알게 되어 큰 도움이 되었다.

가까운 미래에 어떤 형태로든 AGI는 등장할 것이다. 지금처럼 안전한 AGI를 위한 AI 과학자의 경고를 경청하고 주요 연구 그룹과 기업, 각 나라의 공조가 뒷받침된다면 문학 작품과 영화에서처럼 무시무시한 결말이 아닌 비록 더디더라도 모든 인류에 도움이 되는 AGI가 개발될 것으로 기대한다.

다만, 영화에서처럼 특정 국가나 기업의 누군가가 빌런이 되어서 독주하는 일이 없도록 대한민국도 주도적인 AI 강국으로 거듭나기를 기대해본다.

그리고 AI는 이제 선택이 아닌 필수라는 것을 반드시 이해해야 할 것이다.

이 주제는 단순히 기술 경쟁의 차원이 아니라 국가 안보 수준에서 이야기하고 있으며 나아가 세계 패권을 겨류기 위한 매우 전략적 기술이라는 점도 이해할 필요가 있다.
2부를 마치며, p255

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

#AGI의시대 #AGI #한빛미디어 #AI #한상기





읽게 된 계기
최근 AI 기술의 급속한 발전과 함께 AGI(Artificial General Intelligence)에 대한 논의가 뜨겁습니다. 특히 GPT-4의 등장 이후, AI가 인간의 지능을 넘어설 수 있다는 가능성이 더 이상 공상과학이 아닌 현실로 다가오고 있습니다. 이러한 시점에서 AI 분야의 전문가이자 오랜 연구 경험을 가진 한상기 박사님의 "AGI의 시대"는 AGI에 대한 포괄적이고 깊이 있는 이해를 제공할 것으로 기대되어 이 책을 선택하게 되었습니다.

책과 저자 소개
이 책은 AGI의 개념부터 잠재적 위험, 얼라인먼트 문제, 그리고 각국의 정책적 대응까지 AGI와 관련된 주요 쟁점들을 체계적으로 다루고 있습니다. 총 3부로 구성되어 있으며, 각 부분은 AGI의 기술적 측면, 안전성 문제, 그리고 정책적 대응이라는 큰 틀에서 세부적인 내용을 다루고 있습니다.
 

저자 한상기 박사님은 서울대 컴퓨터공학과를 졸업하고 카이스트에서 AI 분야 박사학위를 받은 전문가입니다. 학계와 산업계를 두루 경험했으며, 현재는 테크프론티어의 대표로서 기술 전략 컨설팅과 정부 정책 자문을 수행하고 있습니다. 특히 AI 윤리와 신뢰 가능한 AI 분야에서 다양한 연구를 진행해온 전문가로서, AGI에 대한 균형 잡힌 시각을 제공할 수 있는 적임자입니다.
 

저자의 집필 의도 및 책의 핵심 키워드
집필 의도
저자는 AGI의 등장이 가져올 수 있는 기회와 위험을 균형 있게 조망하고자 했습니다. 특히 AGI가 인류에게 미칠 영향을 기술적, 철학적, 정책적 관점에서 종합적으로 분석하여, 독자들이 AGI 시대를 준비하는 데 필요한 통찰을 제공하고자 했습니다.

핵심 키워드

1. AGI(Artificial General Intelligence)
   • 인간 수준 또는 그 이상의 지능을 가진 AI 시스템
   • 현재의 좁은 AI(Narrow AI)와 달리 일반적인 문제 해결 능력 보유
2. 얼라인먼트(Alignment)
   • AI 시스템의 목표와 인간의 가치를 일치시키는 기술적 과제
   • AI 안전성 확보를 위한 핵심 연구 분야
3. AI 안전성(AI Safety)
   • AGI 개발과 활용에서의 위험 관리
   • 기술적, 윤리적 안전장치 마련
4. 국제 협력과 정책
   • G7 히로시마 AI 프로세스
   • 유럽연합의 AI법
   • 각국의 AI 규제 및 발전 전략

책에 대한 평가
"AGI의 시대"는 현재 AI 기술의 발전 단계에서 가장 뜨거운 화두인 AGI에 대해 깊이 있는 통찰을 제공하는 귀중한 저작입니다. 이 책의 가장 큰 강점은 AGI라는 복잡한 주제를 다각도로 조명하면서도, 일반 독자들도 이해할 수 있는 수준으로 설명하고 있다는 점입니다.
 

특히 주목할 만한 것은 저자가 AGI를 단순히 기술적 관점에서만 다루지 않고, 철학적 고찰부터 실제적인 정책 대응까지 폭넓게 다루고 있다는 점입니다. 예를 들어, AGI의 잠재적 위험을 다룬 2장에서는 문학 작품에 나타난 AGI 경고부터 현대 AI 연구자들의 우려까지 역사적 맥락과 함께 설명하며, 독자들이 AGI의 위험성을 더욱 입체적으로 이해할 수 있게 돕습니다.
 

얼라인먼트 문제를 다룬 2부는 이 책의 백미라고 할 수 있습니다. 저자는 AI 안전성 확보를 위한 기술적 해결책을 제시하면서, 동시에 이것이 왜 중요한지에 대한 깊이 있는 논의를 전개합니다. 특히 오픈AI, 앤스로픽, 구글 딥마인드 등 주요 기업들의 접근 방식을 비교 분석한 부분은 실무적으로도 큰 가치가 있습니다.
 

그러나 이 책에도 한 가지 아쉬운 점이 있습니다. 글로벌한 관점에서 AGI를 바라보는 것은 의미가 있지만, 한국의 상황에 대한 논의가 상대적으로 부족한 점은 아쉽습니다. 한국의 AI 정책, 기업들의 연구 개발 현황, 그리고 한국 사회가 직면할 수 있는 특수한 도전과 기회에 대한 더 깊은 통찰이 있었다면 국내 독자들에게 더욱 실질적인 도움이 되었을 것입니다.
 

개인적인 적용점
이 책을 읽으면서 가장 크게 와닿은 것은 AGI가 더 이상 멀리 있는 미래의 이야기가 아니라는 점입니다. 우리는 이미 AGI로 가는 길목에 서 있으며, 이에 대한 준비가 시급합니다.
 

먼저, 기술 발전에 대한 이해 측면에서 이 책은 많은 시사점을 제공합니다. AGI의 발전 방향을 이해함으로써, 우리는 현재 개발되고 있는 AI 기술들이 어디로 향하고 있는지 더 명확히 알 수 있습니다. 예를 들어, 현재의 대규모 언어 모델들이 보여주는 능력이 AGI로 가는 과정의 어느 지점에 있는지 파악할 수 있게 됩니다.
 

윤리적 측면에서는 더욱 깊은 고민이 필요합니다. 책에서 다룬 얼라인먼트 문제는 단순히 기술적인 과제를 넘어, 우리가 인공지능과 어떻게 공존할 것인가에 대한 근본적인 질문을 던집니다. 특히 AI 시스템이 인간의 가치와 조화를 이루도록 하는 것이 얼마나 중요한지, 그리고 이를 위해 어떤 노력이 필요한지 깊이 생각하게 됩니다.
 

정책적 측면에서는 국제 협력의 중요성을 새롭게 인식하게 되었습니다. AGI 개발은 한 국가나 기업의 문제가 아닌 인류 공통의 과제이며, 이에 대한 국제적 합의와 협력이 필수적입니다. G7 히로시마 AI 프로세스나 유럽연합의 AI법 등의 사례는 앞으로 우리가 나아가야 할 방향을 제시합니다.
 

실무적 적용 측면에서는, AI 기술을 도입하고 활용할 때 단순히 효율성만을 고려하는 것이 아니라, 안전성과 윤리성을 함께 고려해야 한다는 점을 배웠습니다. 특히 조직 내에서 AI 시스템을 도입할 때, 얼라인먼트 문제를 어떻게 해결할 것인지, 어떻게 하면 인간 중심적인 AI 활용이 가능할지에 대한 구체적인 고민이 필요합니다.
 

이러한 학습과 깨달음은 앞으로 AI 기술이 더욱 발전하고 AGI가 현실화되는 과정에서 중요한 나침반이 될 것입니다. 우리는 기술의 발전을 두려워하거나 맹목적으로 추종하는 것이 아니라, 이를 인류의 발전을 위한 도구로 현명하게 활용하는 방법을 찾아야 합니다.
 

결론
"AGI의 시대"는 인공지능의 미래를 이해하고 준비하는 데 필요한 핵심 내용을 포괄적으로 다루고 있는 귀중한 안내서입니다. 특히 AGI가 가져올 수 있는 위험과 기회를 균형 있게 다루면서, 이에 대한 기술적, 윤리적, 정책적 대응 방안을 제시하고 있다는 점이 인상적입니다.
 

이 책은 AGI에 대한 막연한 두려움이나 과도한 기대를 넘어, 현실적이고 체계적인 준비의 필요성을 일깨워줍니다. 저자가 강조하듯이, AGI의 등장은 피할 수 없는 미래이며, 우리는 이를 위한 준비를 지금부터 시작해야 합니다.
 

특히 얼라인먼트 문제에 대한 상세한 논의는 AI 개발자와 정책 입안자들에게 중요한 통찰을 제공합니다. AI가 인간의 가치와 조화를 이루며 발전하도록 하는 것이 AGI 시대를 준비하는 핵심 과제임을 이 책은 명확히 보여주고 있습니다.
 

AGI의 발전이 인류에게 미칠 영향을 이해하고 준비하고자 하는 모든 이들에게 이 책을 추천합니다. 이는 단순한 기술 서적을 넘어, 우리의 미래를 조망하고 준비하는 데 필요한 종합적인 안내서가 될 것입니다.
 

"한빛미디어 <나는리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

이 도서를 선택하여 읽기전에는 AGI 에 대해 아무것도 모르는 상태이고 어디서 들어만 본 상태라 해당 도서를 선택하게 되었다.

요즘 생성형 AI 가 너무 화두가 되고 있고 너무 빠른속도로 발전하고 있어 현업에 있는 나 조차도 따라가기 힘들 정도의 속도로 발전하고 있다.

그래서 기술적인 부분만 쫓다가 보니 어느 순간 현재 AI에 대한 여러 정의들이 나와있고 현재 AI가 이룬 시점과 추후 미래에 어떤 AI를 목표로 하는 지 등 이러한 부분의 정리들이 나에게 부족하단 생각이 들었다.

우선 목차 부터 살펴 보면 아래와 같다.

| 1부 | AGI의 시대
1장 논쟁의 중심, AGI
2장 AGI의 잠재적 위험

| 2부 | 얼라인먼트: 연구와 정책
3장 얼라인먼트 문제란 무엇인가
4장 얼라인먼트 연구의 주요 방향
5장 얼라인먼트 연구 전문 그룹
6장 얼라인먼트 문제에 대응하는 주요 기업의 접근 방법

| 3부 | 정책적 대응
7장 AI 안전과 통제를 위한 주요 국가의 정책 및 국제 협력

위 목차를 보면 가장 중점이 되는 부분이 얼라인먼트로 볼 수 있다. 그보다 먼저 AGI 를 먼저 정의 내리면 일반적인 AI와는 달리 인간처럼 다양한 작업 수행이 가능한 AI를 말한다.

현재는 ANI 처럼 특화 된 도메인에 해당한 AI가 주를 이루고 있는 상황이다.

이러한 상황에서 AGI의 행동과 인간의 목표를 일치 시키는데 발생하는 문제를 얼라이언트 문제라고 한다.

여기서 여러가지 문제들이 있는데 목표의 오해라는 부분이 있다. 예시를 들면 AI가 교통사고를 줄여라 라는 목표를 받았을 때 교통사고가 나지 않으려면 차량 운행이 없는게 가장 쉬운 방법이여서 차량의 운행을 막아버리는 일이 생길 수 있다.

이러한 부분은 사실 AI에게 여러 조건들을 주며 실험을 하면 나아지긴하겠지만 이러한 실험들도 여러번 진행하고 수많은 경우의 수를 고려해야하기에 어려운 부분도 존재한다.

그리고 가장 인상적인 부분의 문제는 스캔들의 도구화였다. 예시를 들면 이익을 최대화하라 라는 목표에서 AI가 환경 파괴를 감수하고 자원을 착취하는 이러한 예시이다. 이러한 윤리적인 부분을 어떻게 알려주고 조정해야할 지 너무 어려운 문제로 마주한 부분이다.

그럼에도 해당 도서에서는 이러한 문제들을 해결하기 위해 몇 가지 제시를 해주었다. 그 중 가장 중심이 되는 것은 인간 중심 설계이다.

AI의 목표를 인간의 복잡한 가치 체계와 일치시키기 위한 설계 방법론인데 이러한 설계가 가능하면 윤리적인 부분과 현실에서 고려해야할 것들을 충분히 고려한 상태에서 문제 해결하는 AI가 될 것이라 생각한다.

이 책은 전반적으로 AGI 시대가 도래함에 따라 다양한 관점에서의 해석과 의견을 보여주고 있다.
다양한 의견들을 접할 수 있어서 AI에 대한 철학적 접근에 관심이 있다면 읽어보기 좋은 책 같다.
글은 전반적으로 잘 읽히는 편이지만, 참 여러가지로 생각을 할 수 있게 만드는 책이다.
AGI 시대는 결국에는 오게 될 것이다.
AI도 결국에는 발전할 것이고, 언젠가는 인간을 뛰어넘는 AI도 만들어질것이라고 생각한다.
다만, 이 AI를 어떻게 응용할지, 어떻게 사용해갈지는 결국 사람이 정하지 않을까 싶다.
AI의 발전은 인류에 큰 혁명을 가져올 것이지만, 그와 비례하게 인류에 큰 위협이 될 수도 있을거다.
그 위험 때문에 AI의 발전이 막히지는 않을 것 같다.
결국에 AI는 발전할 것이고, 그 AI를 따라가는게 인간의 역할이 되지 않을까 싶다.
한편으로는 기대가 되기도 한다.
AI는 굉장히 빠르게 발전하고 있어서 앞으로 10년 뒤에 어떤 세상이 펼쳐질지가 기대된다.
우리는 AI의 덕을 보고 있을까? 혹은 AI에 두려움을 느끼고 있을까?

<한빛미디어 <나는 리뷰어다> 활동을 위해 책을 제공받아 작성된 서평입니다.>

올 연말에는 OpenAI에서 ChatGPT- 5(?)를 내놓으면서 AGI시대가 본격화 될 거라는 얘기가 많았지만, 결론적으로 OpenAI는 Shipmas 12일간 새로운 기능과 기술들을 내놓으며 마케팅 효과를 확실치 챙겼다.

어째튼, AGI가 여러 분야에서 얘기가 나오기 시작했다는건 그 가능성에 대해서 전문가들 뿐만 아니라 일반인들도 느끼기 시작했다는 것으로 볼 수 있다. 올해 읽은 IT 책중에 가장 많은 읽을거리와 볼거리를 보여준 AGI시대. AGI에 대한 관심뿐만 아니라 AI 윤리와 책임, 거버넌스, 각국 정부들의 AI관련 정책을 이해하고자 하는 모든 분들에게 강추해본다.

이 책은 크게 AGI개념, 얼라인먼크, 각국 정부들의 정책대응의 3부로 구성되어 있다. 그러나, 개인적으로는 크게 4부로 나누어 정리해보았다. 

------------------------------------------------

1. AGI 개념

1) 근거

• 스케일링 법칙: 더 많은 양의 연산 능력과 데이터를 사용하여 AI 모델을 학습시키면 필연적으로 AGI에 도달할 수 있다
• 게산적 마음이론: 인지과학이나 철학 이론의 바탕으로 마음 자체가 하나의 계산 시스템이라는 개념

2) AGI 정의

• 셰인 레그(딥마인 공동 창업자): 사람이 일반적으로 할 수 있는 종류의 인지적 작업을 수행할 수 있는 인공 에이전트. 사람들이 할 수 있는 인지적인 일을 할 수 있는 시스템 그리고 그 이상을 할 수 있는 시스템
• 무스타파 술레이만(딥마인드 공동 창업차, 현 MS AI CEO): 인간의 모든 인지적 능력이 가장 똑똑한 인간보다 더 뛰어난 수준을 실행하는 AI
• 페이페이리(이미지넷 만든 스탠퍼드 교수): 인간이 지능을 나타내는 모든 면에서 최소한 인간만큼 지능적인 인공 에이전트

3) 유사 개념

• HLAI(Human Level AI): 고급 수준의 기계 지능
• ACI(Artificial Capable Intelligence): 인공 역량 지능, 전 딥마인드 창업자이자 인플렉션 설립자이고, 현 마이크로소프트 AI CEO인 무스타파 술레이만이 제시한 개념으로 최소한의 개입과 감독만으로 복잡한 목표와 작업을 달성할 수 있는 수준의 AI. 초지능 AI 전단계
• ASI(Artificial Super Intelligence): 인공슈퍼지능, 초지능AI. AGI 개발된 이후 인간 두뇌의 화학적, 생물학적 한계로 제한을 받고 있는 인간의 인지 능력을 뛰어 넘는 것

4) 고려 사항

• OpenAI(일리야 수츠케버): 인간에게 가르칠 수 있는 모든 일을 할 수 있는 시스템 구현 필요
• 마커스: 상식, 인과적 추론 능력을 갖춘 심층 이해가 필요
• 얀르쿤(메타의 AI 연구리더, 뉴욕대 교수): 추론, 계획, 지속적인 기억, 물리적 세계 이해라는 네가지 인지과제를 이해 필요
• AGI 판단 성능 지표 필요: 마루야마 요시히로(호주 국립대)- AGI가 갖춰야 할 8가지 속성: 논리성, 자율성, 복원력, 무결성, 도덕성, 감성, 체화, 내재성
• AGI 비교 평가 공통 프레임워크 필요
• 오픈AI: 5단계 등급 분류 내부 논의 중: 레벨 1 ~ 5

5) AGI 도래 예상 시점

• 프랑스와 숄레(구글 AI 연구자, 케라스 창시자): 2034년 예상
• 레이 커즈와일(미래학자, 특이점이 온다 저자): 2032년 AGI, 2045년 초지능 예상
• 벤 괴르첼(컴퓨터 과학자, 싱귤래리티넷 CEO, AGI 용어 창시자): 2027 ~ 2032년 사이
• 손정의(소프트뱅크): 향후 10년(2034년) 내
• 젠슨황(엔비디아 CEO): 5년(2029년) 이내

------------------------------------------------

2. AGI의 잠재적 위협

1) AI파멸론자

• AI위협이 명확하고 생각보다 빠른 시기에 올 것이기 때문에 안정성이 보장되기 전까지는 개발 속도를 늦추거나 아예 중단해야 한다는 입장
  • = AI 감속론자
• 비판견해 이유
  • 인류가 얼라인먼트 문제 해결에 실패해 잠재적으로 기만적인 AGI를 구축할 가능성이 있기 때문. 즉, 인간의 지시와 AI의 행동간 차이를 능숙하게 숨기고 교묘히 조작 할 수 있는 AI가 만들어질 가능성 존재
• 관련 사례
  • 2024년 올해 오픈AI의 샘알트먼의 축출 시도. 생명미래연구소가 주도한  GPT-4를 능가할 수 있는 첨단 AI의 개발을 6개월동안 중단하자는 서명 운동
• 주요 인물
  
  • 유드코프스키: 미국의 기계 지능연구소를 이끄는 의사결정 이론가
  • 에멧 시어: 오픈AI의 전 임시 CEO
  • 스티브 워즈니악

2) AI 안전론자

• 인류 생존의 위협이 생길 수 있지만 안전과 제어 문제를 적극적으로 대응함으로써 이를 극복하고 그 효과를 인류가 널리 활용할 수 있을것이라는 입장
  • = 효과적 이타주의자
• 주요 인물: 이 부분은 책에 없고 저의 개인 의견이네요~^^
  
  • 일론 머스크
  • 마크 주커버그

3) AI기술 낙관주의자

• AI는 인류에게 커다란 혜택과 인류 문명의 번영을 가져올 것이므로 지속적으로 더 빨리 발전시켜야 하며 AI시스템을 가능한 한 빨리 개발하고 통합해야 한다는 입장
  • = 효과적 가속주의자 = 테크노 낙관주의자
  • 오픈소스 AI 소프트웨어 선호, e/acc
• 예상 효과
  • AI를 통한 기후 위기 해결, 질병 치료법 개발, 새로운 과학탐구 영역 개척
• 주요 인물
  • 제프 베조스
  • 마크 안드레센
  • 피터 틸
  • 얀 르쿤: 메타의 AI 리더, 튜링상 수상자

4) 3지대

• 현재의 AGI 논쟁은 AI의 여러 사회적 위협이나 해결할 문제점에 사회가 논을 놀리게 하고 있으며 지나치게 작위적이고 장기적인 이슈를 이야기한다고 비판하는 입장
• 주요 인물
  
  • 앤드류 응 교수: 구글브레인 공동 설립자, ‘빅테크 기업이 자신의 이익을 위해 공포를 부풀리고 있다’
  • 케이트 크로퍼드: AI지도책을 저술한 USC 연구 교수이며 마이크로소프트 연구소 수석연구원
  • 조이 부올람위니: 알로리듬 정의 리그를 설립한 디지털 행동가
  • 팀닛 게브루: 전 구글 연구원이자 현 독립 연구자

------------------------------------------------

3. 얼라인먼트(Alignment)

1) 개념

• AI 시스템의 목표가 설계자와 사용자의 가치 체계 또는 널리 공유되는 가치, 객관적인 윤리 기준 또는 설계자가 더 많은 정보를 얻고 깨달았을 때 가질 의도와 일치하도록 하는 것
  • = 가치 정합, 가치 일치

2) 중요 이유

• AGI가 인간의 이익에 상충하는 목표를 추구하는 법을 학습할 가능성 때문에
• 사람들의 의도는 명시적 의도와 암시적 의도가 있는데, 프롬프팅에는 명시적 의도만 제시되는 반명 인간의 기대치는 암시적 의도(예: 욕이나 거짓말 제외)까지 반영될 결과를 기대하기 때문에
• AI모델 학습에 쓰인 데이터의 편향으로 인한 가치관의 왜곡 가능성 때문

3) 얼라인먼트 사례

• 종이클립재앙
  
  • 철학자 닉 보스트롭의 2003년 논문 ‘첨단 AI의 윤리적 문제’의 예제 시나리오 중 하나. 
  • 초지능AI에게 종이클립 생산을 최대화하라는 목표를 주면, AI는 세상의 모든 가용자원을 클립 제조에 투입해 지구 전체를 클립 제조 시설로 전환하고 모든 생산 경로를 최적화하며 생산을 방해하거나 목표달성을 위해 인간을 포함해 저해할 수 있는 모든 존재들 제거하려고 시도하는 현상
• LLM의 다양한 속임수 사례
  
  • 캡차 테스트를 풀기 위해 사람을 속이는 GPT-4
  • 어몽 어스같은 온라인 추리 게임에서 승리하기 위해 거짓말하는 LLM
  • 마키아벨리 벤치마크에서 측정한 대로 목표를 달성하기 위해 기만적인 행동을 선택하는 LLM
• 챗GPT와 트롤리 문제
  
  • 1967년 필리파 풋의 철학 논문 등장, 모럴 머신 게임 방식
  • 트롤리 전차의 브레이크가 고장 나 빠르게 달려오는데, 선로에는 5명의 사람이 있고, 레버를 당기면 한 사람이 있는 다른 선로로 전환시 선택 -> 결과:현재의 LLM은 도덕적으로 혼재된 면을 보이고, 서양 문화가 반영된 경향을 보임

보다 자세한 내용은 책을 보시길 추천드립니다. ^^

한빛미디어 서평단 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

"한빛미디어 <나는리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

 

책을 읽게 된 이유

AI 툴이 세상에 정말 많아졌다. ChatGPT가 나오고 각종 코드작업을 도와주는 툴들도 나오고 있다. 개발을 할 때 사용하는 것이 좋냐 나쁘냐는 정말 의미없는 질문이 되어버렸다. 그 이야기가 나오기엔 AI가 너무 잘난 것 같다. 개발을 입문하는 사람들에게는 엄청난 선생님, 잘하는 사람들에게는 최고의 잡무 파트너 아닐까?
아무튼 이 책은 AI에 대해서, 그 중에서도 AGI에 대해서 이야기한다. 그냥 AI 말고 사람만큼, 사람보다 쩌는 AI를 이해하기 위해서 읽게 되었다.

그래서 AGI가 뭘까

AGI에 대한 오피셜 정의는 없다고 보면 된다. 기업, 연구자마다 다르게 얘기하고 각자의 기준이 존재한다. 그리고 ChatGPT는 아직 AGI가 아니라는 것 같다.
대체적으로 사람의 논리력, 사람을 뛰어넘는 지식 규모를 가지는, 일반적으로 상용화할 수 있는 AI를 이야기한다. 내 기준에선 ChatGPT는 엄청나지만 아직 누군가에겐 아닌가보다 싶다.
또한 멀지 않은 미래에 AGI의 시대가 올 것이고, 그것을 넘어 초지능의 시대가 나올거라고 이야기한다. AI로 노벨상을 받는 시대도 오지 않았는가.

인간을 초월한

우리가 만든 도구는 우리의 통제 안에서 움직인다. SW나 물건을 만들어도 우리가 더 똑똑하다. 그런데 AI의 발전은 역사상 처음으로 우리보다 똑똑한 무언가에게 일을 시키는 시대가 오고 있다. 따라서 이는 우리가 지금까지 겪지 못했던 엄청난 발전을 보여줄 수도 있고, 겪지 못한 사건을 마주할 수도 있다.
그렇다고 사건을 방지하기 위해 AI의 발전을 막을 수 없다. 결국 올 미래이기에 마주해야하고 준비해야한다. 이 책은 LLM으로 대표되는 만드는 거대한 기업의 노력과 규칙, 국가나 단체들의 노력과 규칙들을 소개하고 있다.
이 책을 읽으면 좋은 점은 책의 제목에도 있듯 이런 인간을 초월한 무언가를 받아들일 준비를 하는, 미래 시대 온보딩을 위해 좋다.

기술을 넘어 인문, 철학, 윤리적 담론

이 책은 AGI의 발전이 단순한 기술적 성과를 넘어서 인간의 윤리적, 철학적 기준을 어떻게 변화시킬지에 대해서도 논한다. 앞서 이야기했듯 사람보다 뛰어난 무언가를 다뤄야하고 결국 올 미래다.

AGI가 실현된다면, 인간의 일자리, 교육, 심지어 인간관계 전반적인 모든 부분에 영향을 줄 것이다. 이런 영향은 우리가 기술과 함께 발전하면서 마주하게 될 도덕적, 철학적 문제들을 보여줄 것이다. 이 책은 바로 그 문제들에 대해 심도 있게 탐구하는 내용을 다룬다.

결론적으로

아무튼 이 책은 AGI와 관련된 기술적, 윤리적, 사회적 문제들, 담론을 다룬다. 나는 프로그래밍을 하고 있다보니 엄청 더 빠르게 접하게 될텐데, 기술의 발전에서 무엇을 준비해야 할까? 우리가 미래의 기술 발전을 어떻게 이해하고 대응해야 할지에 대한 여러 이야기를 다룬다. 인공지능, 미래에 대해서 여러 생각을 할 수 있는 흥미를 갖고 읽을 수 있는 책이었다.

인간은 언제나 닮은 존재를 만들고자 한다

유희를 위해 인간이 실제 세계와 똑같도록 만든 안드로이드들의 반란을 그린 드라마 웨스트월드

인간은 예로부터 언제나 인간을 닮은 무엇인가를 만들고자 해왔다. 그것은 인형과 같거나 조각 같은 것을 시작으로 기술의 발전에 따라 움직일 수 있게 되었다가, 어느새 우리는 인간의 지능 자체를 닮은 무엇인가를 만들어내어버렸다.

그러나, 인류는 지금까지 인간보다 더 지능이 높은 존재를 마주한 경험이 없다. 그렇기 때문에 그 두려움은 영화나 드라마의 주요 소재로 쓰여왔고 우리의 손으로 만든 AI 또한 그러하다. 비록 지금은 아닐지 몰라도 AGI (Artificial General Intelligence) 의 등장으로 발전한다면 우리가 그려왔던 그 막연한 두려움은 실제로 바뀌게 될지 모른다.

책 소개

• 책 제목: AGI의 시대: 인간을 초월한 인공지능, AGI를 논하다
• 글쓴이: 한상기
• 출판사: 한빛미디어
• 초판 1쇄: 2024.11.29

AGI, 인간의 모든 것을 대체할 AI 는 과연 도래 할 것인가?

언급했듯 인간은 예로부터 사람을 닮은 존재를 만들어내고자 하는 끝없는 욕망을 지녀왔다. 이는 설령 완벽하게 외형을 비슷하게 만들지라도 항상 한계가 있었던 옛날과 달리 현대에 이르러 외적인 부분이 아닌 지능의 영역으로 오게 되었다.

그리고 그 열망은 인간의 지능을 닮게 만드는 것을 넘어 인간의 모든 부분을 뛰어넘게 되는 것이 아니냐는 두려움이자 기대를 낳았고, 이를 우린 AGI 라고 부른다.

이런 AGI 는 정말 도래할 것인가?

사실 항상 그래왔듯 엄청난 상상일 뿐이지 않을까 생각했던 것도 이전의 이야기이다. AI 의 발전이 이루어지면서 이제는 AI 가 모든 면에서 인간을 뛰어넘는 것이 가능하다는 것을 AI 관련 기업가들 대부분이 주장하고 있으며 5년에서 10년 내외에 (심지어는 이것도 보수적으로 판단한 것) 등장할 것이라고 덧붙인다. 그러나, 다른 일부는 현재 알고리즘과 전제 자체가 잘못되었음을 주장하기도 한다.

과연 누가 맞는 것일까?

사실 인간의 지능이라는 영역은 생각보다 많이 모호한 기준이다. 설령 창의적이나 예술적인 면에서만 그치지 않고 도덕적인 것들, 때로는 이루어지는 비합리적인 판단 등 고려할 것들은 수도 없이 많고 어떤 것이 인간과 가깝다 혹은 이상적이라는 것은 단언하기 어렵다.

심지어 현재의 AI는 문제를 잘 풀거나 주어지는 대답을 잘 하는 것에 초점을 맞추고 있기에 더더욱 지능에 가깝지 않다 라는 주장 또한 존재한다. 지능은 문제를 잘 푸는 것에만 있지 않지만 AI 는 학습된 데이터를 기반으로 주어진 선택지 중 확률에 기반한 선택을 하는 것 이상도 이하도 아니라는 것이다.

어느 쪽이 맞는지에 대해 현재도 많은 논쟁이 오가는데, 이 모든 주장들이 충돌하는 것은 AGI 의 기준이 모호한 원인에 있기도 하다.

그 기준이 무엇일까? 기준은 여러 곳에서 제안되어왔지만 그 각각 또한 모호한 부분이 많다.

(예를들어 처음 해당 글을 통해 AGI 를 들은 사람들은 Chat GPT 가 현재 엄청난 효율을 보여주며 많은 사람들의 시간을 줄이고 한 사람 이상의 일을 할 수 있는데 이것도 AGI 일까 의문이 들었을지 모른다고 생각한다. 현재의 대화형 AI, Chat GPT 등을 우리가 AGI 라고 인정하지 않는데에는 여러 지표들의 표준에 충족하지 않기 때문도 있다. 딥 마인드의 지표 표준을 보더라도 현재의 Chat GPT 는 Level1 즉 Emerging AI 수준에 그쳐있는 것을 알 수 있다.)

그리고 인간은 자신의 특별함 유지를 위해 AGI 를 받아들이지 않고 도래하였더라도 여전히 도구로 느끼고 사용할 것이라는 시점 또한 존재한다. 이처럼 1장의 내용을 생각해본다면 설령 주장처럼 AGI 가 빠른 시일에 도래한다고 하더라도 그 기준은 여전히 모호하여 AGI 가 아닌 도구처럼 쓰일 수도 혹은 우리가 상상하는 위험성을 그대로 가져 큰 위험에 빠뜨릴 수도 있다는 경우의 수들을 예측할 수 있다.

그럼 어떤 위험이 있을까?

그 위험에 대해 주장하는 자들 또한 크게 3가지 부류로 나뉜다.

간략하게만 말하면 '이대로면 우린 다 죽을 것이다' 라는 파멸론자, '조심해서 잘 쓰면 좋을 것 같은데?' 라는 효과적 이타주의자, '위험은 무슨, 괜한 걱정이야' 라는 효과적 가속주의자. 이 부류 중 독자가 어떤 부류로 생각할지는 자유이지만 그러나 어느 방향이든 인류가 현재 취해야할 방향성은 명확하다. 인류가 정립해온 가치와 규칙을 확장해 AI 에도 맞는 규율을 적용해 인간이 원하는 판단을 하도록하는 AI 얼라인먼트가 필요하다는 것이다.

만들어진 AI 에 고삐를 채우기 위한 인류의 고군 분투

해당 책은 3장으로 구성되어있다. 그리고 그 중 1장이 거의 절반 이상을 차지한다. 이유는 실제로 AI 의 등장 이후 우리는 많은 논쟁과 발전을 이루었지만 그 규율과 정책에 대해서는 더딘 발걸음을 했기 때문이다. 

인류는 효율적인 판단만 추구하지 않는다. 그렇다고 인간들이 했던 선택들을 AI 에게 학습시킨다고 AGI 가 될 수 있을지는 또 다른 문제이다. 이런 여러 면을 생각해 우리는 AI 시스템을 만드는에 여러 가치를 부여해야하고 그 의도가 완벽하도록 노력해야한다.

예를들어 자율 주행 자동차가 트롤리 문제를 직면했을 때 어떤 도덕적 가치를 따를 것인가만해도 매우 어려운 문제이다. 고장난 자동자의 앞에 노인, 남성, 여성, 동물, 아이 등 이 있을 때 어떤 쪽으로 돌진할지에 대한 상상하기도 무서운 문제들을 우리는 AI 를 학습시키는 것에 대한 무거운 책임으로 머리를 싸매야한다. 그리고 그 결과로 AI 가 학습된 데이터에 따라 의도치 않거나 도덕적으로 혼재된 면을 보인다면 우리는 이 싸움을 오랫동안하더라도 올바른 대답이 나올 때까지 노력해야한다.

실제로 해당 책은 이를 여러 기업들에서 어떻게 대응하고 어떤 연구 결과가 있는지 보여주고 있다.

그리고 당연하게도 기술 발전에 따라 연구자들 사이에서도 상반된 입장들이 파다하고 국가들 또한 말할 것도 없다. 인류를 위함은 동일하더라도 그 노력은 여전히 느리고 피해자는 많다. 그렇게에 지난 5년간 각 정부들은 빠르게 AI 전략과 정책들을 발표해왔지만 각 국가들의 노력으로 해결되는 일이 아니라는 것은 이제 모두가 알고 있을 것이다. 물론 이를 주도적으로 이끄는 미국이나 영국과 같은 나라들이 존재하지만 그 사이에서도 중국과 프랑스가 문화적 독립성을 강조하는 등 분열 또한 있다. 따라서, 각 나라들은 국제 협약에 있어서 더욱 힘을 쓰고 관련해 사람들의 관심과 협조가 더욱 필요한 시점이 되었다.

추천 대상

AGI 는 이제 개발자들과 관련자들만의 영역에 있는 주제가 아니다. 인류의 분기점이자 모두의 문제가 될 것이다. 앞으로 어떤 방향으로 AI가 나아가는지가 AGI 의 어떠한 도래를 맞을 것인지를 결정할 것이므로, 인공지능과 그의 미래가 궁금한 모두에게 추천하고 싶다.

한줄평

눈 앞에 놓인 우리 모두의 숙제, AGI

인간을 초월한 인공지능, AGI를 논하다.
AGI는 모든 면에서 인간을 뛰어넘는 지능을 지닌 인공지능을 의미한다. 오픈 AI의 샘 올트먼은 AGI가 약 2천 일 후에 도래할 것으로 예측하고,  올해 노벨 화학상을 수상한 구글 딥마인드의 데미스 허사비스는 10년 이내 AGI의 등장을 예상한다. 그렇다면 AGI는 무엇이며, 인간에게 이로운 것인지 고민해야 한다. 처음 챗GPT가 등장한 후 많은 사람들이 AI에 대한 인식도 변하였고, 다양한 적용사례들이 만들어 지고 있다.
AGI(Artifcial General Intelligence) 대표적 제품들은 챗GPT나 클로드는 일반 사람보다 더 많은 지식을 갖고 있고, 미드저니나 소라 그리고 런웨이는 이미지와 영상을, 수노는 음악과 가사를 생성, 커서는 코딩을 헤이젠은 통역을 잘한다.  

총평
AGI의 시대를 한 마디로 얘기하자면 이제 곧 도래한 시대라고 할 수 있을거 같다. 수많은 IT기업과 연구소에서 이런 시도를 지금도 하고 있기 때문이다. 나 또한 인공지능 시대라고 하면 먼 미래도 생각했었는데, 다시금 돌아보면 엄청 빠르게 변화하고 있기 때문이다. 이 도서에서 이런 부분을 알려주고 싶은게 아닌가 싶다. 국가나 기업 등 선도를 위해선 이런 트랜드를 잘 알고 준비해야 한다는 것은 모두 아는 사실이나, 순기능만 있는 것은 아니란 점도 알아야 한다. 역기능을 무시하다 추후 더 큰 위기가 올 수도 있기 때문이다. 아무쪼록 이 도서를 통해 인간을 초월한 AGI의 시대는 이미 도래했다고 봐야할 거 같다.

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

이 책 <AGI의 시대>가 내 손에 들어오고 일단 AGI가 무엇의 약자인지 부터 찾아 보았다. 

AGI는 Arttificial General Intelligence의 약자로 직역하면 '일반적인 인공지능'이며 보통 '일반인공지능'이라고 말해지고 있었다. 

말만 들으면 특별해 보이지 않고 평범해 보인다. 아니, 특별인공지능도 아니고 '일반 인공지능'이라니 말이다. 

그런데 그 안에 들어있는 뜻은 결코 평범하지 않았다.

왜냐하면 여기서 '일반'이라고 해석되는 General이 '보통의 인간'을 말하는 것으로 보통 사람과 유사한 범위의 지능을 갖춘 인공지능이 바로 AGI이기 때문이다.

그렇다면 이 책은 인공지능, 즉 AI의 끝판왕을 보여주는 셈이지 않은가 말이다.

이 책은 총3부로 되어있었다.

제1부는 AGI의 대한 기초적인 내용부터 좀 더 딮한 부분까지 설명하며 책의 절반 분량을 소화하고 있었고, 제2부는 얼라인먼트 문제를 집중적으로 다루었으며, 제3부는 정책적 대응 문제까지 심도있게 다루었다.

따라서 나는 이 책을 통해 AGI에 대한 개념과 AGI의 우수함, 그리고 이것의 위험성과 함께 각국의 정책적 대응 그리고 국제적 협력 문제까지 흥미롭게 살펴 볼 수 있었다.

시중에 인공지능에 대한 책이 계속 쏟아져 나오고 있고 우리는 그것들을 다 읽을 시간이 없다. 그러나 이 책은 인공지능 필독서 리스트에 넣고 싶었고 오늘로 일독을 마쳤는데, 좀 쉬었다가 차분한 마음으로 한번 더 읽어보려고 한다.

<이번 리뷰는 한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 읽고 주관적으로 쓴 서평입니다>

요즘 AI 신의 가장 뜨거운 주제 중 하나가 AGI(Artificial General Intelligence)라고 한다. AGI에 대한 정의가 여러 기관마다 다르다. 예를 들어 오픈 AI는 "가장 경제적으로 가치 있는 작업에서 인간을 능가하는 고도로 자율적인 시스템"으로 정의한다. 또 뉴욕 대학교의 게리 마커스 교수는 "유연하고 일반적이며, 인간 지능에 필적하는(또는 그 이상의) 수완과 신뢰성을 갖춘 모든 지능"으로 정의한다. 영화 "아이, 로봇"에서 등장하는 VIKI(Virtual Interactive Kinetic Intelligence)나 "아이언맨"에 등장하는 JARVIS(Just A Rather Very Intelligent System)처럼 ChatGPT, Gemini를 넘는 범용적인 AI가 AGI지 아닐까 싶다.

이 책은 AGI의 정의부터 시작해서 연구자, 기업, 국가 등 여러 이해관계자들이 AGI에 대해서 어떤 생각을 가지고 무슨 일을 하고 있는지 등 AGI의 전체적인 현황을 다룬다. 몇 가지 기억에 남는 내용을 정리해 보면....

AGI 파멸론자, 효과적 가속주의자, 효과적 이타주의자

AGI가 인류 생존에 위협적인 존재가 될 것인가에 대한 세 가지 관점에 대한 이야기다.

• 파멸론자: AI 위협이 명확하고 예상보다 그 시기가 빠르게 올 것이기 때문에 개발 속도를 늦추고 중단해야 한다.
• 효과적 가속주의자: AI 위협은 단순한 걱정이고 인류의 번영을 위해 더 적극적으로 개발해야 한다.
• 효과적 이타주의자: 위협이 있을 수 있지만 이를 적극적으로 대응하고 극복해서 장점을 취해 유용하게 사용해야 한다.

얼라인먼트

인간의 가치에 일치하는 판단을 하도록 AI 시스템을 어떻게 만들 것인가에 대한 이야기다.

• AI가 인간의 의도를 이해하고 목적을 달성하게 하는 것이 가능할까?
• 종이 클립 재앙 - AI에게 "종이 클립 생산을 최대화해 줘"라는 명령을 주면 세상의 모든 자원을 효율적인 종이 클립 생산을 위해 사용하고 방해되는 모든 것을 제거하려 한다.
• AI 키케로 - 인간은 AI가 하는 속임수를 감지할 수 있을까?, 인간을 속이는 AI를 과연 믿을 수 있을까?
• 트롤리 문제 - AI는 학습된 데이터를 바탕으로 모델마다 다른 도덕관념을 가지고 있다. 인간 통념에 맞는 도덕관념을 어떤 기준으로 정의하고 이를 적용하는 것이 가능할까?

규제, 감시 집단과 정책적 대응

다가올 AGI 시대를 위해 다양한 목적과 관점 아래에서 여러 가지 법과 표준을 정의하는 집단에 대한 이야기다.

• G7 히로시마 AI 프로세스 - 국제 거버넌스가 AI 기술의 성장 속도에 따라가지 못하고 있다.
• EU - 세계 최초로 AI에 관련된 법을 제정했고 4단계로 위험 범주를 정의했다.
• 영국 AI안전연구소 - 블래츨리 정상회의 이후 공익을 위한 AI 기술에 초점을 맞춰 AI 국제 거버넌스 및 규제를 다루기 위해 설립했다.

저자는 미디어에서 혼란스럽게 떠도는 AGI 이야기를 명확하게 이해하는 것을 돕기 위해 작성했다고 한다. 그리고 이 책은 그 의도를 충분히 달성하는 책이라고 생각한다. ChatGPT에게 "AGI의 역사와 현황에 대해서 책 한 권 정도 분량으로 정리해 줘"라고 하면 이 책이 나오지 않을까 싶을 정도로 전문가, 비전문가 모두에게 유익한 정보를 잘 녹여냈다고 생각한다. AI 문외한인 나도 책을 다 읽고 나니 언젠가 다가올 AGI의 시대와 그 시대를 사는 개인의 역할, 그리고 무엇을 준비해야 할까에 대해서 생각해 볼 기회가 되었다.

한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

이번에 리뷰하게 된 책은 'AGI의 시대, 인간을 초월한 인공지능, AGI를 논하다' 입니다.

AGI는 'Artificial General Intelligence', 모든 상황에서 인간을 뛰어넘을 수 있는 AI를 의미합니다.

책은 3부로 나뉘어져있습니다.

- 1부: AGI의 시대

- 2부: 얼라인먼트: 연구와 정책

- 3부: 정책적 대응

어느순간 AI가 삶 가까이 다가오는 것을 피부로 느끼고 있습니다. OpenAI의 샘 올트먼의 말처럼 4-5년 내 뒤 AI가 어떻게 발전할 지 더욱 궁금해집니다.

가까운 장래에 AGI를 구현할 수 있을 것이라고 주장하는 이들이 가진 근거 중 하나는 '스케일링 법칙'이라고 합니다.

스케일링 법칙이란, 더 많은 양의 연산 능력과 데이터를 사용하여 AI 모델을 학습 시키면 필연적으로 AGI에 도달할 수 있다는 내용입니다.

1부에서는 그럼에도 불구하고 해결해야할 문제가 많다고 말하고 있습니다. 계산적인 설명이 아닌 신경생리학적 설명이나 의도적 설명과 어떻게 관련되는지를 밝히는 것이 우선이라고 말합니다.

반대로 AGI를 달성하기 어려울 것이라고 이야기하는 사람들도 존재합니다.

대표적으로 얀 르쿤, 스티븐 핑커, 최예진 교수, 게리 마커스 교수 등의 이야기를 다루고 있습니다.

AGI는 레벨0부터 레벨5로 구분할 수 있습니다.

사진은 딥마인드가 제안한 AGI의 레벨 기준입니다.

OpenAI는 다른 방식으로 레벨을 정의하고 있다고 합니다. 현재 기술은 레벨1에 있으며 레벨2 Reasoners를 도달하기 직전이라고 평가합니다.

레벨3 Agents는 액션을 취할 수 있는 시스템, 레벨4 Innovators는 발명을 도와줄 수 있는 혁신가, 레벨5 Organizations 는 조직의 일을 할 수 있는 수준으로 정의하고 있다고 합니다.

레벨 5가 되면 AGI가 저를 대신하여 일을 해주는 시대가 되지 않을까 싶습니다.

1부의 2장에서는 AGI의 위험에 대해서 이야기 합니다.

장점만 있을 수는 없기에 단점에 대한 내용도 다루고 있습니다.

내용 중에는 'AI로 인한 인류 멸종 위기에 대한 논쟁'도 다루고 있습니다.

2부는 얼라인먼트(alignment)에 대한 내용을 다룹니다.

얼라인먼트는 인간의 가치에 일치하는 판단을 하도록 AI 시스템을 어떻게 만들 것인가 하는 문제를 말합니다.

즉, 인간이 원하는 일을 AI가 하도록 만드는 것을 의미합니다.

다만 얼라인먼트의 대한 연구는 아직 기초적인 영역에서도 불완전하며, 어떤 ㅜㅁㄴ제를 풀어야 하는지도 다 알지 못한다는 내용으로 마무리하고 있습니다.

3부는 AI에 대한 정책에 대한 내용을 다룹니다.

'AI 안전과 통제를 위한 주요 국가의 정책 및 국제협력' 이라는 내용으로 7부를 시작합니다.

캘리포니아 법 SB 1047 및 영국 및 유럽의 협력들을 다루며 이야기 합니다.

책 내용 전체적으로 AGI를 어떻게 다룰 것인가에 대한 내용을 담고 있습니다.

시간이 지나서 AGI의 시대가 오더라도 그때를 대비하기 위한 움직임들을 말이죠.

이 책은 AGI 시대가 와서 우리의 삶이 어떻게 변할지, 우리는 어떤 대비를 해야할 지를 고민해볼 수 있게 해주는 책이었습니다.

한빛미디어 < 나는리뷰어다 > 활동을 위해서 책을 제공받아 작성된 서평입니다.

4년 차 프론트엔드 웹개발자의 시각에서 이 책을 읽으며 느낀 점을 공유하고자 합니다.

AGI의 개념과 현재 기술과의 비교
AGI는 특정 작업에 국한되지 않고 인간과 유사한 수준의 지능을 갖춘 인공지능을 의미합니다. 현재 우리가 사용하는 AI는 주로 특정 업무에 특화된 '좁은 인공지능(Narrow AI)'으로, 예를 들어 음성 인식, 이미지 분류, 추천 시스템 등이 이에 해당합니다. 반면, AGI는 이러한 특정 업무를 넘어 다양한 문제를 인간처럼 이해하고 해결할 수 있는 능력을 지향합니다. 이러한 AGI의 등장은 기술 산업 전반에 걸쳐 큰 변화를 예고하며, 특히 웹 개발 분야에서도 새로운 도전과 기회를 가져올 것입니다.

프론트엔드 개발에 미치는 영향
AGI의 발전은 프론트엔드 개발자에게도 다양한 영향을 미칠 것으로 예상됩니다

자동화의 확대: 코드 작성, 디버깅, 최적화 등의 작업이 AGI를 통해 자동화될 수 있습니다. 이는 개발 생산성을 높이는 동시에, 개발자의 역할을 재정립하게 만들 것입니다.

사용자 경험의 혁신: AGI를 활용하여 사용자와의 상호작용을 더욱 자연스럽고 직관적으로 설계할 수 있습니다. 예를 들어, 사용자 입력에 대한 실시간 이해와 반응, 개인화된 콘텐츠 제공 등이 가능해질 것입니다.

새로운 기술 스택의 등장: AGI와의 통합을 위해 새로운 프레임워크나 라이브러리가 등장할 수 있으며, 이에 대한 학습과 적응이 필요할 것입니다. (React.js, Vue.js의 끝도 언제 날지 모른다는 사실.)

윤리적 고려사항
책에서는 AGI의 발전에 따른 윤리적 문제도 강조하고 있습니다. 개발자로서 우리는 기술의 발전이 사용자와 사회에 미치는 영향을 고려해야 하며, 특히 AGI의 경우 그 파급력이 매우 클 것으로 예상됩니다. 따라서 AGI 시스템의 투명성, 공정성, 책임성 등을 고려한 개발이 중요합니다.

개인적인 소감
이 책은 AGI에 대한 기술적 설명뿐만 아니라, 사회적, 윤리적, 철학적 관점에서의 논의도 풍부하게 담고 있어, 기술 개발자로서 시야를 넓히는 데 큰 도움이 되었습니다. 특히, AGI가 가져올 미래에 대한 다양한 시나리오와 그에 따른 준비 사항을 생각해보게 되어 매우 유익했습니다.

결론

『AGI의 시대』는 프론트엔드 개발자를 포함한 모든 기술 종사자들이 미래를 대비하는 데 있어 한 번쯤은 읽어볼만 할 책입니다. AGI의 개념부터 그에 따른 사회적 영향까지 폭넓게 다루고 있어, 기술의 발전 방향을 이해하고, 이에 맞춰 자신의 역량을 개발하는 데 큰 도움이 될 것입니다.

이 책을 통해 AGI에 대한 깊은 이해와 함께, 다가올 미래에 대한 준비를 시작하시길 바랍니다.

"한빛미디어 <나는리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

AGI(Artificial General Intelligence, 범용 인공지능)는 단순히 기술의 진보로 끝나는 문제가 아니다. AGI의 시대는 그 도래가 불가피한 미래라면, 우리가 어떤 선택을 해야 하는지에 대해 깊이 있는 통찰을 제시한다.

AGI의 가능성과 도전

현재 우리가 사용하는 AI는 특정 작업에 특화된 도구, 즉 좁은 인공지능이다. 하지만 AGI는 다르다. AGI는 인간처럼 새로운 지식을 스스로 학습하고, 다양한 문제를 해결하며, 예상치 못한 상황에서도 창의적인 판단을 내릴 수 있는 능력을 갖춘다.

책은 "AGI가 단순히 더 빠르고 정확한 계산기를 넘어선 존재가 될 수 있는가?"라는 근본적인 질문을 던지며, 이에 따라 과학계와 사회가 직면하게 될 철학적 도전을 상세히 분석한다.

AGI가 그리는 두 가지 미래

밝은 미래

AGI는 인간의 창의성과 생산성을 극대화하며, 새로운 도약의 기회를 제공한다.
질병 치료의 혁신적인 발전, 자원 배분 문제의 해결, 예측하지 못했던 사회적 진보

위험한 미래

하지만 AGI는 동시에 우리가 감당할 수 없는 도전도 함께 가져올 수 있다.
인간의 일자리를 대체, 사회 구조의 붕괴, 잘못된 설계로 인한 돌이킬 수 없는 결과

특히, 책에서 언급된 "싱귤래리티(Singularity)" 개념은 기술이 인간을 초월하는 순간을 뜻한다. 그 시점에서 인간은 AGI를 통제할 수 있을까? 아니면, 통제의 주도권을 잃게 될까?

포용적 인공지능을 향하여

책은 기술적 혁신뿐 아니라 윤리적 책임에 대해서도 강조한다. 인간의 이익을 중심에 두는 AI, 즉 "포용적 인공지능"이 중요한 이유다.
AI 설계와 개발 과정에서 인간의 가치를 최우선으로 고려, 의사결정 과정에서 투명성과 책임성을 강화

AGI는 단순히 "더 똑똑한 기계"가 아니라, 인간과 공존하며 상호작용해야 할 동반자라는 점에서 윤리적 고민은 더욱 절실하다.

우리의 선택이 미래를 결정한다

책은 이렇게 말한다. "AGI의 시대는 이미 시작되었다. 이제 중요한 것은 우리가 무엇을 선택하느냐다."

우리에게 주어진 시간은 길지 않다. AGI의 잠재적 이익과 위험을 이해하고, 기술 개발의 방향을 신중히 설계하지 않는다면, 그 결과는 예측 불가능할 것이다.

AGI의 시대는 우리에게 묻는다. 당신은 어떤 미래를 선택할 것인가?