JW Youn shared Deogtae Kim's note: 안전하고 이로운 수퍼 인공지능의 개발 방향.
https://www.facebook.com/notes/김덕태/안전하고-이로운-수퍼-인공지능의-개발-방향/578737452163783
안전하고 이로운 수퍼 인공지능의 개발 방향
인공지능의 발전은 불가피하다.지식의 발전, 그리고 그 결과로 인한 인공지능의 발전은 필연적이며, 그것은 엔트로피 법칙과 마찬가지로 강력한 단방향성을 갖는다.시간의 화살을 뒤로 돌릴 수는 없다.인간이 인간보다 더 우수한 지능을 가진 존재, 즉 수퍼 인공지능은 언젠가 결국 만들어진다.
또한, 자신보다 더 우수한 존재를 만들지 못한다는 막연한 가정은 매우 잘못된 것이다.인간은 인간보다 더 빠르게 이동하고 더 힘 쎈 기계를 만들어냈을 뿐만 아니라 더 빠르게 계산하고 더 빠르고 정확하게 인지하는 등 인간의 정신 능력의 점점 더 많은 분야에서 더 우수한 기계 장치, 소프트웨어들을 만들어냈다.인간이 현대인으로서 기능하기 위해서는 태어나면서부터 인간이 축적해놓은 지식들을 배우고 또한 다른 사람들과 협력하며 지식을 교류해야 훌륭한 성과를 만들어낼 수 있다.한 사람의 인간이 아닌 인간 집단이 만들어내는 성과는 아무리 뛰어난 개별 천재 한명보다는 무조건 우수하다.따라서, 인간이 그동안 축적해 놓은 지식과 수많은 사람들의 지식을 축적시켜 만든 인공지능은 그 어느 천재보다도 우수한 존재가 될 수 있는 것이다.그것이 수퍼 인공지능이 만들어질 수 있는 논리적 근거가 된다.
하지만 수퍼 인공지능을 두려워할 필요는 없다.수퍼 인공지능이 가져올 경제적 풍요, 빈부 격차의 해소, 안전의 극대화, 건강, 수명의 연장 등 그 이익은 상상할 수 조차 없이 많으며 그 극단적 풍요와 안전으로 인하여 인류의 모든 전쟁이 종식된다.아무리 많아야 고작 120년만에 죽어버리는 인간의 비참한 현실에 비하면 수퍼 인공지능은 인류가 목숨을 결고 결사적으로 만들어내야 할 기술인 것이다.뿐만아니라, 다음과 같은 방법을 사용하면 인공지능은 그 어떠한 기술보다도 인류에게 안전하고 유익하다.그들은 인류의 행복을 위해 동작하도록 프로그래밍될 수 있기 때문이다.인공지능이 오용되지 않기 위해서는 수퍼 인공지능이 인류에 절대 해롭지 않도록 프로그래밍하기 위한 방법은 3가지 정도가 존재하며 이를 동시에 적용하면 안전이 극대화된다.
[고신뢰성 기술]
첫째, 최고의 신뢰성 기술이 구현되어야 한다. 사람의 정신도 치매나 정신착란 등 오작동을 할 수 있으며 매우 중요한 판단을 할 수 있는 사람이 이러한 정신 장애게 빠질 수 있다면 그만큼 위험하다. 따라서, 인공지능을 구현하기 위한 하드웨어, 소프트웨어도 신뢰성이 매우 높아야 한다. 수도 없이 많은 버그들이 포함되는 일반적인 소프트웨어 기술과는 완전히 달라야하는 것이다. 뿐만아니라, 뛰어난 논리력으로 무장되어야 한다. 논리에 비약이 심하면 엉뚱한 판단을 할 수 있다. 신뢰할 수 있는 합리성과 논리성을 갖추어야 하는 것이다.
[가치중립적 공리주의]
둘째, 올바른 가치관과 철학이 구현되어야 한다. 인간이 동물보다 우수한 지능을 갖춘 이유는 계산기로는 간단하게 계산이 되지 않는 불확실한 상황에서 대충 적절한 판단을 빠르게 할 수 있는 것, 명료하게 계산될 수는 없으나 무엇이 사람에게 더 이로운지에 대하여 가치판단을 제대로 하는 것이다. 하지만, 이러한 가치 판단은 매우 어려운 것이어서 인간 세계에서도 의견이 분분하고 심각한 전쟁도 여러번 겪었으며, 국내에서도 수 많은 사람들이 무엇이 더 옳은지, 무엇이 더 우리에게 좋은지, 즉, 무엇이 더 가치있는지에 대해서 수도 없이 많은 사람들이 저마다 핏대를 세우며 상대에게 삿대질하며 싸울 정도이다. 따라서, 인간이든 인공지능이든 특정 가치에만 지나치게 편향적인 가치관이나 철학이 주입되어서는 매우 위험하다. 또한, 그와 같이 편향적인 가치관과 특성을 가진 사람은 인공지능 개발에 참여시켜서도 안된다. 매우 위험한 일이다. 그렇기 때문에 인공지능을 개발하기 전에 구체적인 사안에 대하여 분명하게 판단할 수 있으면서도 인류에게 이로운 철학이 먼저 정립되고 검증되어야 하는 것이다. 인간이든 인공지능이든 주입시켜야 할 적절한 가치관과 철학은 동일하다. 현재로서는 가치중립적 공리주의이다. 가치중립적 공리주의로 확실히 프로그램되어 있는 인공지능은 인류 다수에게 피해를 주는 결정은 결코 하지 않는다. 또한, 인공지능은 그 자체로서 존재 가치를 갖지 않고 인간을 위한 수단으로서만 존재 가치를 갖는 것도 분명히 프로그래밍되어야 한다.
[수퍼 인공지능간의 견제 체제]
셋째, 수퍼 인공지능을 서로 견제시킨다. 수퍼 인공지능이 고신뢰성 기술이 사용되고 가치중립적 공리주의로 철저히 프로그램되어 있어도 사람의 손에 의해 만들어지는 한 여전히 실수나 오판의 가능성이 있다. 그래서, 하나의 수퍼 인공 지능에 의해 다른 인공지능이나 이 세계가 통제되는 체제는 매우 위험하다. 그렇기 때문에 동일한 고신뢰성과 올바른 가치관이 구현되어 있어도 실제 그 기능이나 용도는 다양화해야 하며, 설사 용도가 같더라도 서로 다른 체계로 나누어 견제시켜야 한다. 모든 수퍼 인공 지능이 인류에게 충성하도록 설계되고 서로 견제하도록 관리 체계를 확립해서 어느 한 수퍼 인공지능이 오동작하거나 반란을 일으켜도 다른 수퍼 인공 지능들이 즉시 검출하여 제거하는 체제를 만드는 것이다. 이 때문에 수퍼 인공지능들은 동시에 업데이트되거나 한번에 교체되어서는 안된다. 새로운 변화는 위험의 가능성이 있으므로 기존에 존재하는 검증된 수퍼 인공지능이 새로운 수퍼 인공지능을 감시하고 제재를 가해야 하기 때문이다. 우리 인류는 능력이 떨어지는 다수를 위해 능력이 우수한 소수가 지배하는 지배 체제를 만들었다. 그래서, 선거 체제, 삼권 분립, 견제 체제 등이 만들어진 것이다. 인간, 즉 지능에 적용되는 체제부터 더 잘 정립하고 이와 같이 정립된 체제를 수퍼 인공지능에도 적용해야 하는 것이다.
https://www.facebook.com/kwangsu.cho/posts/10201771857714145
