(번역) The Gentle Singularity
샘 알트맨이 말하는 특이점
We are past the event horizon; the takeoff has started. Humanity is close to building digital superintelligence, and at least so far it’s much less weird than it seems like it should be.
우리는 이미 사건의 지평선을 넘어섰고, 도약은 시작되었습니다. 인류는 디지털 초지능(superintelligence)의 구축을 눈앞에 두고 있으며, 적어도 지금까지 이 과정은 생각보다 덜 이상하게 느껴집니다.
Robots are not yet walking the streets, nor are most of us talking to AI all day. People still die of disease, we still can’t easily go to space, and there is a lot about the universe we don’t understand.
아직 로봇이 거리를 활보하지도 않고, 대부분의 사람들이 하루 종일 AI와 대화하지도 않습니다. 여전히 사람들은 질병으로 사망하며, 쉽게 우주로 나가지 못하고, 우주에 대해 우리가 모르는 것도 많습니다.
And yet, we have recently built systems that are smarter than people in many ways, and are able to significantly amplify the output of people using them. The least-likely part of the work is behind us; the scientific insights that got us to systems like GPT-4 and o3 were hard-won, but will take us very far.
그럼에도 불구하고 우리는 최근 여러 면에서 사람보다 더 똑똑한 시스템을 만들었으며, 이를 사용하는 사람들의 성과를 크게 높이고 있습니다. 가장 어려웠던 과학적 통찰은 이미 얻었고, GPT-4나 o3와 같은 시스템은 앞으로 우리를 훨씬 더 먼 곳으로 이끌 것입니다.
AI will contribute to the world in many ways, but the gains to quality of life from AI driving faster scientific progress and increased productivity will be enormous; the future can be vastly better than the present. Scientific progress is the biggest driver of overall progress; it’s hugely exciting to think about how much more we could have.
AI는 다양한 방식으로 세상에 기여할 것이지만, AI가 과학적 발전과 생산성 증대를 주도함으로써 얻는 삶의 질 향상은 엄청날 것입니다. 미래는 현재보다 훨씬 나아질 수 있습니다. 과학적 진보는 모든 발전을 이끄는 가장 중요한 동력이기 때문입니다.
In some big sense, ChatGPT is already more powerful than any human who has ever lived. Hundreds of millions of people rely on it every day and for increasingly important tasks; a small new capability can create a hugely positive impact; a small misalignment multiplied by hundreds of millions of people can cause a great deal of negative impact.
어떤 중요한 측면에서는 이미 ChatGPT가 역사상 어떤 인간보다 더 강력합니다. 수억 명의 사람들이 매일 이를 사용하고 있으며, 그 중요성은 점점 커지고 있습니다. 작은 능력의 개선도 엄청난 긍정적 영향을 미칠 수 있지만, 작은 방향성의 오류 역시 수억 명의 사람들에게 확대되어 큰 부정적 영향을 끼칠 수도 있습니다.
2025 has seen the arrival of agents that can do real cognitive work; writing computer code will never be the same. 2026 will likely see the arrival of systems that can figure out novel insights. 2027 may see the arrival of robots that can do tasks in the real world.
2025년은 실제적인 인지 작업을 수행할 수 있는 에이전트의 도래를 목격했습니다. 소프트웨어 개발은 이전과 같지 않을 것입니다. 2026년에는 독창적 통찰을 제공하는 시스템이 등장할 가능성이 높으며, 2027년에는 실제 세계의 작업을 수행하는 로봇들이 출현할 수 있습니다.
A lot more people will be able to create software, and art. But the world wants a lot more of both, and experts will probably still be much better than novices, as long as they embrace the new tools. Generally speaking, the ability for one person to get much more done in 2030 than they could in 2020 will be a striking change, and one many people will figure out how to benefit from.
더 많은 사람들이 쉽게 소프트웨어와 예술을 만들 수 있게 되겠지만, 세상은 여전히 더 많은 소프트웨어와 예술을 원할 것이고, 새로운 도구를 적극적으로 받아들이는 전문가들은 여전히 초보자들보다 뛰어난 성과를 낼 것입니다. 2030년 한 사람이 해낼 수 있는 일이 2020년에 비해 놀라울 정도로 증가할 것이며, 많은 사람들이 이를 활용하는 방법을 익히게 될 것입니다.
In the most important ways, the 2030s may not be wildly different. People will still love their families, express their creativity, play games, and swim in lakes.
가장 본질적인 면에서 2030년대는 크게 달라지지 않을지도 모릅니다. 사람들은 여전히 가족을 사랑하고, 창의성을 표현하며, 게임을 하고, 호수에서 수영할 것입니다.
But in still-very-important-ways, the 2030s are likely going to be wildly different from any time that has come before. We do not know how far beyond human-level intelligence we can go, but we are about to find out.
하지만 여전히 매우 중요한 면에서, 2030년대는 이전 어느 시대와도 크게 다를 것입니다. 인간 수준의 지능을 얼마나 넘어설 수 있을지 우리는 알 수 없지만, 곧 알게 될 것입니다.
In the 2030s, intelligence and energy—ideas, and the ability to make ideas happen—are going to become wildly abundant. These two have been the fundamental limiters on human progress for a long time; with abundant intelligence and energy (and good governance), we can theoretically have anything else.
2030년대에는 지능과 에너지, 즉 아이디어와 이를 실현할 능력이 풍부해질 것입니다. 이 두 가지는 오랫동안 인류 발전의 핵심 제약이었습니다. 충분한 지능과 에너지, 그리고 적절한 거버넌스를 통해 우리는 사실상 모든 것을 이룰 수 있습니다.
Already we live with incredible digital intelligence, and after some initial shock, most of us are pretty used to it. Very quickly we go from being amazed that AI can generate a beautifully-written paragraph to wondering when it can generate a beautifully-written novel; or from being amazed that it can make live-saving medical diagnoses to wondering when it can develop the cures; or from being amazed it can create a small computer program to wondering when it can create an entire new company. This is how the singularity goes: wonders become routine, and then table stakes.
이미 우리는 놀라운 디지털 지능과 함께 살아가고 있고, 처음엔 충격적이었으나 대부분 금세 익숙해졌습니다. AI가 아름다운 단락을 만들어내는 데 놀랐지만 곧 아름다운 소설을 쓸 수 있을지 궁금해하게 되었습니다. AI가 생명을 구하는 진단을 내리는 데 감탄하다가, 곧 치료법을 개발할 수 있을지 궁금해집니다. 작은 프로그램 제작에 놀랐지만, 곧 새로운 기업 전체를 만들어낼 수 있는지를 궁금해합니다. 특이점은 이렇게 진행됩니다. 경이로움은 일상이 되고, 결국 당연한 것이 됩니다.
We already hear from scientists that they are two or three times more productive than they were before AI. Advanced AI is interesting for many reasons, but perhaps nothing is quite as significant as the fact that we can use it to do faster AI research. We may be able to discover new computing substrates, better algorithms, and who knows what else. If we can do a decade’s worth of research in a year, or a month, then the rate of progress will obviously be quite different.
이미 많은 과학자들은 AI 덕분에 생산성이 두세 배 증가했다고 말합니다. 발전된 AI의 중요성은 많지만, 가장 의미 있는 것은 AI를 활용하여 더욱 빠르게 AI 연구를 할 수 있다는 점입니다. 새로운 컴퓨팅 물질, 더 나은 알고리즘 등을 발견할 수 있을지도 모릅니다. 10년 치 연구를 1년 또는 한 달 만에 할 수 있다면 진보 속도는 매우 달라질 것입니다.
From here on, the tools we have already built will help us find further scientific insights and aid us in creating better AI systems. Of course this isn’t the same thing as an AI system completely autonomously updating its own code, but nevertheless this is a larval version of recursive self-improvement.
이제 우리가 구축한 도구들이 추가적 과학적 통찰을 돕고, 더 나은 AI 시스템을 만들 수 있게 해줄 것입니다. 이것이 완전히 자율적인 코드 개선은 아니지만, 초기 단계의 자기 재귀 개선(recursive self-improvement)에 해당합니다.
There are other self-reinforcing loops at play. The economic value creation has started a flywheel of compounding infrastructure buildout to run these increasingly-powerful AI systems. And robots that can build other robots (and in some sense, datacenters that can build other datacenters) aren’t that far off.
그 밖에도 자기 강화 루프가 존재합니다. AI가 만들어내는 경제적 가치는 점점 강력한 AI 시스템을 구동할 인프라를 구축하는 순환적 구조를 만들어냅니다. 로봇이 다른 로봇을 만들고, 데이터센터가 다른 데이터센터를 만들 수 있는 시대가 곧 도래할 것입니다.
If we have to make the first million humanoid robots the old-fashioned way, but then they can operate the entire supply chain—digging and refining minerals, driving trucks, running factories, etc.—to build more robots, which can build more chip fabrication facilities, data centers, etc, then the rate of progress will obviously be quite different.
초기에는 백만 대의 로봇을 전통적 방법으로 만들어야 하겠지만, 이후 이 로봇들이 공급망(자원 채굴, 운송, 공장 운영 등)을 운영하여 로봇과 칩 제조 시설, 데이터센터를 구축할 수 있다면 진보 속도는 급격히 빨라질 것입니다.
As datacenter production gets automated, the cost of intelligence should eventually converge to near the cost of electricity. (People are often curious about how much energy a ChatGPT query uses; the average query uses about 0.34 watt-hours, about what an oven would use in a little over one second, or a high-efficiency lightbulb would use in a couple of minutes. It also uses about 0.000085 gallons of water; roughly one fifteenth of a teaspoon.)
데이터센터 생산이 자동화됨에 따라 지능의 비용은 결국 전력 비용 수준으로 떨어질 것입니다. (ChatGPT의 평균 질의는 약 0.34와트시, 물 사용량은 약 0.000085갤런입니다. 이는 오븐이 1초 조금 넘게 사용하는 양, 또는 고효율 전구가 몇 분간 사용하는 양에 해당하며, 물은 약 15분의 1 티스푼 정도입니다.)
The rate of technological progress will keep accelerating, and it will continue to be the case that people are capable of adapting to almost anything. There will be very hard parts like whole classes of jobs going away, but on the other hand the world will be getting so much richer so quickly that we’ll be able to seriously entertain new policy ideas we never could before. We probably won’t adopt a new social contract all at once, but when we look back in a few decades, the gradual changes will have amounted to something big.
기술 발전의 속도는 계속 가속화될 것이며, 사람들은 거의 모든 변화에 적응할 수 있을 것입니다. 일부 직업군이 완전히 사라지는 등의 어려움도 있겠지만, 세상이 너무도 빠르게 부유해지기 때문에 이전에는 상상도 못 했던 정책 아이디어들도 진지하게 논의될 수 있을 것입니다. 새로운 사회계약이 한순간에 채택되지는 않겠지만, 몇십 년 뒤 돌아보면 점진적 변화들이 매우 큰 전환이 되어 있을 것입니다.
If history is any guide, we will figure out new things to do and new things to want, and assimilate new tools quickly (job change after the industrial revolution is a good recent example). Expectations will go up, but capabilities will go up equally quickly, and we’ll all get better stuff. We will build ever-more-wonderful things for each other. People have a long-term important and curious advantage over AI: we are hard-wired to care about other people and what they think and do, and we don’t care very much about machines.
역사가 증명하듯, 우리는 새로운 일을 만들고, 새로운 욕망을 발견하며, 새로운 도구를 빠르게 흡수하게 될 것입니다 (산업혁명 이후의 직업 변화가 좋은 예입니다). 기대치는 높아지겠지만 능력도 그만큼 빠르게 따라오게 되고, 우리는 더 나은 것을 갖게 될 것입니다. 우리는 서로를 위해 점점 더 놀라운 것을 만들어낼 것입니다. 인간은 AI보다 중요한 장점을 가지고 있습니다. 우리는 본능적으로 타인을 중요하게 여기고, 그들이 생각하고 행동하는 것에 관심을 가지며, 기계에는 그렇게 큰 관심을 갖지 않습니다.
A subsistence farmer from a thousand years ago would look at what many of us do and say we have fake jobs, and think that we are just playing games to entertain ourselves since we have plenty of food and unimaginable luxuries. I hope we will look at the jobs a thousand years in the future and think they are very fake jobs, and I have no doubt they will feel incredibly important and satisfying to the people doing them.
천 년 전의 자급자족 농부가 오늘날 우리의 직업을 본다면, 우리가 충분한 음식과 상상조차 못할 사치를 누리며 그저 스스로를 즐겁게 하기 위해 ‘가짜 일’을 하고 있다고 생각했을 것입니다. 나도 우리가 천 년 뒤의 직업을 보며 그것들을 매우 ‘가짜’ 같은 일이라 여길 것이라고 생각하지만, 그 일을 하는 사람들에게는 분명 매우 중요하고 만족스러운 일일 것입니다.
The rate of new wonders being achieved will be immense. It’s hard to even imagine today what we will have discovered by 2035; maybe we will go from solving high-energy physics one year to beginning space colonization the next year; or from a major materials science breakthrough one year to true high-bandwidth brain-computer interfaces the next year. Many people will choose to live their lives in much the same way, but at least some people will probably decide to “plug in”.
새로운 경이로움이 달성되는 속도는 엄청날 것입니다. 우리가 2035년까지 무엇을 발견하게 될지를 지금 상상하기란 어렵습니다. 어쩌면 한 해에는 고에너지 물리학의 난제를 해결하고, 다음 해에는 우주 식민지화가 시작될 수도 있습니다. 혹은 한 해에 신소재 과학에서 대도약을 이루고, 그 다음 해에 진정한 고대역폭 뇌-컴퓨터 인터페이스가 개발될 수도 있습니다. 많은 사람들은 이전과 비슷한 방식으로 삶을 이어가겠지만, 적어도 일부는 ‘직접 접속(Plug in)’을 선택하게 될지도 모릅니다.
Looking forward, this sounds hard to wrap our heads around. But probably living through it will feel impressive but manageable. From a relativistic perspective, the singularity happens bit by bit, and the merge happens slowly. We are climbing the long arc of exponential technological progress; it always looks vertical looking forward and flat going backwards, but it’s one smooth curve. (Think back to 2020, and what it would have sounded like to have something close to AGI by 2025, versus what the last 5 years have actually been like.)
앞으로 벌어질 일을 상상하기란 쉽지 않지만, 실제로 그 속에서 살아가는 것은 놀라우면서도 충분히 감당할 수 있을 것입니다. 상대론적 관점에서 보면, 특이점은 점진적으로 일어나고, 인간-AI의 통합도 서서히 진행됩니다. 우리는 지수적 기술 발전의 긴 곡선을 오르고 있으며, 이 곡선은 앞을 보면 수직으로 보이고, 뒤를 보면 평탄하게 보이지만, 실제로는 부드러운 하나의 곡선입니다. (2020년에 AGI에 근접한 것을 2025년에 갖게 될 거라고 말했을 때의 반응과, 실제 지난 5년간의 변화를 떠올려보세요.)
There are serious challenges to confront along with the huge upsides. We do need to solve the safety issues, technically and societally, but then it’s critically important to widely distribute access to superintelligence given the economic implications. The best path forward might be something like:
엄청난 가능성과 함께, 우리가 직면해야 할 심각한 도전도 존재합니다. 우리는 기술적으로나 사회적으로 안전 문제를 해결해야 하며, 경제적 함의를 고려할 때 초지능에 대한 접근권을 널리 분산시키는 것이 매우 중요합니다. 가장 바람직한 진로는 다음과 같을지도 모릅니다:
Solve the alignment problem, meaning that we can robustly guarantee that we get AI systems to learn and act towards what we collectively really want over the long-term (social media feeds are an example of misaligned AI; the algorithms that power those are incredible at getting you to keep scrolling and clearly understand your short-term preferences, but they do so by exploiting something in your brain that overrides your long-term preference).
우선 정렬 문제(alignment problem)를 해결해야 합니다. 이는 우리가 진정으로 집단적으로 바라는 장기적 목표를 AI가 학습하고 그에 따라 행동하도록 확실하게 보장할 수 있어야 한다는 의미입니다. (소셜미디어 피드는 오정렬된 AI의 예시입니다. 그 알고리즘은 당신이 계속 스크롤하게 만드는 데 매우 능하지만, 이는 당신의 장기적 선호를 무시하게 만드는 뇌의 특정 취약점을 이용한 결과입니다.)
Then focus on making superintelligence cheap, widely available, and not too concentrated with any person, company, or country. Society is resilient, creative, and adapts quickly. If we can harness the collective will and wisdom of people, then although we’ll make plenty of mistakes and some things will go really wrong, we will learn and adapt quickly and be able to use this technology to get maximum upside and minimal downside. Giving users a lot of freedom, within broad bounds society has to decide on, seems very important. The sooner the world can start a conversation about what these broad bounds are and how we define collective alignment, the better.
그 다음은 초지능을 값싸고 널리 이용 가능하게 만들며, 특정 개인, 기업, 국가에 지나치게 집중되지 않도록 하는 것입니다. 사회는 회복력 있고 창의적이며 빠르게 적응합니다. 우리가 사람들의 집단적 의지와 지혜를 잘 이끌어낸다면, 많은 실수와 일부 심각한 오류가 있더라도 우리는 빠르게 학습하고 적응하여 이 기술의 이점을 극대화하고 부작용은 최소화할 수 있을 것입니다. 사회가 결정한 넓은 범위 내에서 사용자에게 많은 자유를 주는 것이 매우 중요합니다. 이러한 사회적 경계와 집단 정렬이 무엇인지에 대한 논의를 세계가 하루라도 빨리 시작하는 것이 좋습니다.
We (the whole industry, not just OpenAI) are building a brain for the world. It will be extremely personalized and easy for everyone to use; we will be limited by good ideas. For a long time, technical people in the startup industry have made fun of “the idea guys”; people who had an idea and were looking for a team to build it. It now looks to me like they are about to have their day in the sun.
우리는 (OpenAI만이 아닌 전 산업계가) 세계를 위한 ‘두뇌’를 만들고 있습니다. 이는 매우 개인화될 것이며 누구나 쉽게 사용할 수 있을 것입니다. 이제 한계는 좋은 아이디어의 유무에 달려 있습니다. 오랫동안 스타트업 업계의 기술자들은 '아이디어만 있는 사람들'을 비웃어 왔지만, 이제 그들이 주목받는 시대가 오고 있는 것처럼 보입니다.
OpenAI is a lot of things now, but before anything else, we are a superintelligence research company. We have a lot of work in front of us, but most of the path in front of us is now lit, and the dark areas are receding fast. We feel extraordinarily grateful to get to do what we do.
OpenAI는 이제 여러 역할을 수행하지만, 그 무엇보다도 우리는 초지능을 연구하는 회사입니다. 앞으로 해야 할 일은 많지만, 대부분의 길은 이미 밝혀졌고, 어두운 영역은 빠르게 사라지고 있습니다. 우리가 이 일을 할 수 있다는 것에 깊이 감사하고 있습니다.
Intelligence too cheap to meter is well within grasp. This may sound crazy to say, but if we told you back in 2020 we were going to be where we are today, it probably sounded more crazy than our current predictions about 2030.
May we scale smoothly, exponentially and uneventfully through superintelligence.
측정할 수 없을 만큼 저렴한 지능(Intelligence too cheap to meter)은 이제 손에 닿을 듯합니다. 이런 말을 하는 것이 미친 소리처럼 들릴 수도 있지만, 만약 우리가 2020년에 지금 우리가 있는 위치에 도달할 것이라 말했다면, 그것이 지금의 2030년 예측보다 훨씬 더 믿기 어려운 이야기였을 것입니다.
초지능의 시대를 원활히, 지수적으로, 그리고 안전하게 맞이하길 바랍니다.