Елиезер Юдковски

Месният костюм на Юдковски, 2006 г. (преди качването на неговия съзнание в квантов компютър).
Внимателно, правилно
По-малко грешно
Икона lesswrong.svg
Сингулярност блус
Преди Брус Шнайер да заспи, той сканира компютъра си за качени копия на Елиезер Юдковски.

Елиезер Юдковски (р. 1979) е AI изследовател, блогър и представител на човек рационалност (по-специално неговата Байес базирана версия). Юдковски е съосновател и работи в Института за изследване на машинното разузнаване (бивш Институт за синтетичен интелект за изкуствен интелект), организация с нестопанска цел, която се занимава с концепцията, известна като сингулярност .


Юдковски основава и блог общността По-малко грешно като сестра сайт и разклонение на Преодоляване на пристрастия, където той започва своята блог кариера с ГМУ икономист Робин Хансън. Тъй като е идеалист, който иска всички да живеят вечно, той също има непреодолим интерес крионика , и (вероятно) е уязвим към бучиниш. Като самоописан самоук , той няма официално обучение по предметите, за които пише.

Съдържание

AI „проучване“

Намерете всичко, в което сте най-добри; ако това нещо, в което сте най-добри, е измислянето на нова математика (и) на изкуствения интелект, тогава заповядайте да работите в Института за единичност. Ако нещото, в което сте най-добри, е инвестиционното банкиране, тогава работете за Уолстрийт и прехвърлете толкова пари, колкото мислите си, и ще разрешите на Института за сингулярност, където [той] ще се използва от други хора.
—Елиезер Юдковски за това как да спасим човешката раса.

Юдковски вярва, че е установил „голям проблем в изследванията на ИИ“, който никой друг не е забелязвал преди това. Проблемът е, че няма причина да се предполага, че ИИ би пукал за хората или за това, което ни интересува по някакъв начин, като се има предвид, че няма да има милион години като савана маймуна или милиард години от еволюция в неговия грим за изграждане на всякакви нравственост или отвращение към убийството ни. Той също така вярва, че AI предстои. Като такива, разработваме как да създадем приятелски AI (FAI) - такъв, който няма да ни убие, неволно или по друг начин - е Големият проблем, който той е приел като свой за решаване.


Проблемният сценарий е известен като „AI foom“, което е съкращение от „рекурсивно самоусъвършенстващ се изкуствен интелект, породен от сингулярност“. Тя се основава на идеите, които:

  • Въпреки ледниковия напредък в AI досега, базираната на AI Singularity скоро ще настъпи.
  • ИИ биха искали да се подобрят (и ние бихме искали).
  • ИИ на човешко ниво или по-добре не биха могли да бъдат затворени или заплашени с издърпване на щепселите, защото те ще могат да си проправят път за излизане от ситуацията. Интересното е, че Юдковски твърди, че е тествал тази идея, като е изиграл ролята на суперсмисления ИИ, като по-малък смъртен играе тъмничаря. Въпреки това - читателят може да отбележи началото на даден модел тук - стенограмите никога не са публикувани.
  • ИИ в даден момент също ще могат да получат практически неограничен контрол над физическия свят чрез нанотехнологии .

Неговият приятел, колега трансхуманист , директор на института „Бъдещето на човечеството“ в Оксфордския университет, философ и екзистенциален риск теоретикът Ник Бостром е написал в книгата си през 2014 г. декларация за горните идеиСуперинтелигентност: Пътища, опасности, стратегии. Централната теза на Bostrom изглежда е „не можете да докажете, че това няма да се случи, следователно трябва да се притеснявате за това“. Бостром кредитира Юдковски в раздела за благодарности и цитира от него в книгата.

Както се вижда от диалога между Люк Мюлхаузер и Pei Wang, концепцията на Юдковски (и по този начин на LessWrong) за изкуствен общ интелект (AGI) се различава рязко от основния поток научна и практическо изследователско разбиране за него. Юдковски вярва, че AGI ще се основава на някаква форма на теория за вземане на решения (въпреки че всичките му примери за теории на решенията са изчислително неразрешими) и / или ще приложи някаква форма на байесовски логика (което е изпробвано в реален AI, но не се мащабира).



Тъй като и двете са напълно абстрактни математически функции, няма причина AGI въз основа на тях да споделя човешки ценности (не че можете да основавате AGI на тях). Чрез тези разсъждения Юдковски вижда необходимостта да се монтира някакъв морален модул, който по някакъв начин ще бъде имунизиран от промяна, въпреки че сценарият „foom“, от който се страхува толкова много, се основава на AGI, които могатпренапишете собствения си код. (Бостром посочва в книгата си, че има няколко ситуации, в които ИИ може да има стимул да промени собствените си крайни цели.) По този начин Юдковски вижда необходимостта да „реши“ етика под някаква форма, която може да бъде компютъризиран - въпреки че етиката остава отворен проблем в философия след хиляди години. Въпреки това, Чиния , Аристотел и Странични просто не бяха толкова умни като Юдковски вярва, че е .


Както и да е, действителното изследване на изкуствения интелект не се основава на прилагане на неизпълними функции; тя се основава на опит за възпроизвеждане на известни примери заестественинтелигентност, особено човешка интелигентност , в цялата му разхвърляна слава; и се основава на учене.

В допълнение, някои от критиците на Юдковски идентифицират по-спешни заплахи, отколкото недружелюбност: умишлено оръжие на AI, грешки в кодирането, самите хора, киборгизация и т.н.


Разисквания на Юдковски / Хансън

Икономист Робин Хансън , Тогавашният блогър на Юдковски, няколко пъти е разисквал Юдковски в „AI foom“. Хансън, който преди това беше изследовател на ИИ от няколко години, написа поредица от публикации в блога с Юдковски през 2008 г. и го обсъди лично през 2011 г. Тези дебати по-късно бяха събрани и публикувани като електронна книга. През 2014 г., след като прочете книгата на БостромСуперинтелигентност, Хансън се придържаше към оръжията си: той написа поредната публикация в блога, озаглавена „Все още не ми се получава“. Той се аргументира:

„Интелигентност“ просто означава способност за изпълнение на умствени / изчислителни задачи, осреднени за много задачи. Винаги съм намирал за правдоподобно машините да продължават да изпълняват повече видове умствени задачи по-добре и в крайна сметка да бъдат по-добри в почти всички тях. Но това, което ми е трудно да приема, е „локален взрив“. Това е мястото, където една машина, построена от един проект, използваща само малка част от световните ресурси, преминава за кратко време (например седмици) от толкова слаба, че обикновено бива от един човек с обичайните инструменти, до мощен, който лесно поема целия свят. Да, по-интелигентните машини могат значително да увеличат общите темпове на икономически растеж и да, този растеж може да бъде неравномерен. Но тази степен на неравности изглежда неправдоподобно екстремна.

Веднага след този дебат Юдковски напусна „Преодоляване на пристрастието“ (сега личен блог на Хансън) и премести последователностите в „LessWrong“.

Те все още не се виждаха очи в очи през 2016 г. след известния мач Go между софтуера Alpha Go на Google и Лий Седол. Хансън каза, че смята, че изкуственият интелект с общо предназначение е аналогичен на националните държави, изискващ много работници и обмен на идеи, докато ограниченият специален интелект е аналогичен на продуктовите екипи в бизнеса и дава критерий, по който неговата теория може по принцип , бъдете тествани - при което Юдковски каза, че смята, че светът вече е „приключил“, преди да има шанс да провери теорията на Хансън! Юдковски твърди, че различни лаборатории за ИИ провеждат собствено обучение по ИИ и почти няма обменпредварително обученмодули илиспециалисткомпоненти. (Въпреки това,общКомпонентите на AI се използват повторно между компаниите.)

По-рано Юдковски обяви убеждението си, че ако (както всъщност се случи) Alpha Go победи Големия майстор на Go, това ще означава, че сингулярността се приближава - въпреки факта, че предишните случаи, когато компютрите побеждаваха най-високо класираните хора на настолна игра ( пулове и шах) все още оставяха компютрите доста под интелигентността на човешкото бебе.


Институт за сингулярност / MIRI

През 1998 г. Елиезер Юдковски завършва първата версия на „Кодиране на трансчовешки AI“, алтернативно известна като „Бележки за дизайна на самоусъвършенстващата се интелигентност“. След това прекарва няколко месеца в писане на бележки за дизайна на нов език за програмиране на име Flare. След това той пише „План за сингулярност“, представяйки идеята за институт за сингулярност. През май 2000 г. на срещата на Института за прогнозиране идеята за създаване на института получи подкрепа от други двама. Сега беше създаден Институтът за единство с уебсайт. Тогава той написа преработена версия на „Кодиране на трансчовешки AI“. През 23 юли SI стартира проекта Flare под ръководството на един Димитрий Мишкин. Проектът е анулиран през 2003 г. От самото начало Елиезер Юдковски отдава значение на създаването на „приятелски ИИ“. През 2001 г. той написа книга с дължина на книгата „Създаване на приятелски AI“.

През 2004 г. Елиезер Юдковски получи „голямо прозрение“. Това беше кохерентна екстраполирана воля (CEV). Човек не винаги може да иска това, което наистина е най-добро за него. Но Юдковски иска неговият ИИ да прави това, което наистина е добро за хората. Но как AI би решил проблема? Е, той вярва, че за да намери най-доброто за даден човек, ИИ ще сканира мозъка на човека и ще направи „нещо сложно“ (думите на Елиезер). За да се гарантира, че ИИ е приятелски настроен към всички хора, би направил това „нещо сложно“ на всички. Самото количество изчислителна мощност, необходимо за това, разбира се, е неразбираемо голямо. Нито имаме представа как би изглеждало това в действителност, ако бъде приложено.

До 2008 или 2009 г. Singularity Institute беше практически моноспектакъл. Всички негови публикации носеха името на Елиезер Юдковски и нямаше друг щатен служител на SI. Промяната обаче настъпи през 2008 г. с появата на По-малко грешно . Скоро започнаха да пристигат нови публикации от нови автори като Карл Шулман, Н Тарлтън и след известно време Люк Мюлхаузер. И това стана норма, като повечето статии бяха написани от новоприетите изследователи.

Новият фокус на изследванията в SI стана теорията на решенията. През 2010 г. Елиезер Юдковски публикува теорията за безвременното решение.

По това време стана видимо още нещо. Сътрудничеството с Института за бъдещето на човечеството на Ник Бостром. Появиха се множество съвместни статии от изследователи на SI и изследователи на FHI като A. Sandberg, Stuart Armstrong и др. Съвместна статия на Елиезер Юдковски и Ник Бостром се появява през 2011 г. Книгата на Бостром за 2014 г. Суперразузнаване се позовава на Юдковски 15 пъти. Имаше също близо 5 страници на Кохерентна екстраполирана воля. През 2009 г. Джефри Епщайн дари 50000 долара на SIAI.

Други проекти

Фен фантастика

О, Боже. Бъдещето на човешкия вид е в ръцете на човек, който пише кросоувър фен фантастика.
- Скот Александър

За малко по-хумористичен, но все пак доста проницателен поглед в съзнанието му, можете да прочетете неговия Хари Потър фен фантастика. Всъщност Юдковски не е всичко, което е инвестирало в стиха на Хари Потър. Той искаше да използва фанфика като платформа за преподаване на рационалност на по-широка аудитория, защото смяташе, че липсата на рационалност кара хората да отхвърлят идеите му за ИИ и трансхуманизма. В разказа а рационалист Хари (когото е променил в пълен аватар на авторката на Мери Сю) се опитва да разбере главата си магия докато изнася лекции по наука пред старейшините и публиката.

Това е пробивно добро четиво за фанфици (макар че за най-добри резултати, просто преминете направо от глава 30 до глава 100) и е много високо оценено от FanFiction.net. Юдковски и феновете му вярват, че това е материал с високо качество; Юдковски помоли феновете си да спамят номинацията за 2016 г. за най-добър роман (защото след Тъжни кученца , спамът на Hugos със сигурност ще убеди хората, че сте гений, а не някакъв невероятен петел), въпреки че не е влязъл в списъка. Някои читатели бяха по-малко впечатлени, отказвайки се доста рано заради арогантността и проповедите на „Hariezer“. Както самият Юдковски отбелязва във фейсбук постинг:

Хората, които имат тази [регулираща статуса] емоция, оставят гневни отзиви за Глава 6 от HPMOR, където се оплакват от това колко Хари не уважава професор Макгонъгол и не могат да прочетат тази история.

Други, които не са фенове, останаха да пишат подробни критики и да оспорват дидактическото съдържание. Също така беше малко весело, когато някой публикува на LessWrong доста нормален литературен анализ на главния герой като нарцисист, очевидно без да осъзнава до каква степен той се самовмъква.

LessWrong може да е развил малко мъничко мъничко мъничко култ към личността около Юдковски, със списък с фактите на Елиезер Юдковски, но фантастикатанатой очевидно е пиеса, продуцирана без негово знание.

Арбитален

След умората от LessWrong и най-накрая завършването на фанатите на Хари Потър, следващият проект на Юдковски беше Arbital, нов вълнуващ конкурент на образователния пазар с различен подход към ученето спрямо този на Уикипедия . За първи път той го предложи през март 2015 г .:

Първо, проектирах опит за наследник на Уикипедия и / или Tumblr и / или партньорска проверка, и един мой приятел работи на пълен работен ден по прилагането му. Ако този проект работи с най-висок процент на възможен успех (HPMOR ниво „божичко, че сигурно е работило“, което ми се случва не по-често от една трета от времето, когато опитвам нещо), тогава може да помогне да се обърне директно към основното обществено общество проблеми (каза неясно с умишлена неяснота).

С финансиране от 300 хиляди долара бяха наети разработчици, като Юдковски пое надзорна роля. Имаше редица промени в посоката. Той стартира в началото на 2016 г. като LessWrong Sequences в различна бутилка; до края на 2016 г. той се обозначи като „мястото за краудсорсирани, интуитивни математически обяснения“, което е област, в която всъщност би могло да има шанс да победи прословутите непрозрачни математически статии в Уикипедия, освен че не можаха да намерят достатъчно знаещи хора да ги напишете. Към началото на 2017 г. първата страница беше агрегатор в стил Slashdot за хора в субкултурата MIRI; до края на март те най-накрая признаха поражение и превърнаха първата страница в скорошна платформа за блогове.

Разработчик на проекти оплака лидерския стил на Юдковски.

Също по това време ни стана ясно, че нещата просто не вървят добре. Основният проблем беше, че изцяло разчитахме на Eliezer да даде насоки кои функции да се внедрят и как да се внедрят. Често, когато се опитвахме да правим нещата по наш начин, бяхме пренебрегвани. (Никога без прилична причина, но мисля, че в много от тези случаи и двете страни са имали заслуги. Преминаването с гледната точка на Елиезер означаваше, че често в крайна сметка сме блокирани за него, тъй като не можем да предскажем следващите стъпки.) Също така, тъй като Елиезер беше единственият човек, който сериозно използва продукта, нямаше достатъчно бърза обратна връзка за много от функциите. И тъй като не бяхме всеки ден в офиса с нас, често ни блокираха.

И така, решихме да вземем въпроса в свои ръце. Тримата щяхме да решим какво да правим и от време на време разговаряхме с Елиезер, за да получим мнението му за конкретни неща.

Постижения

Защо да следвам вашия основател, когато той не е осмо ниво извън неговия култ?
—Елиезер Юдковски
Юдковски.

Важно е да се отбележи, че както и да няма обучение в заявената от него област, Юдковски няма почти никакви постижения от какъвто и да е вид, освен да получи Питър Тийл да му даде пари. (И преминаване към програмисти за криптовалута Ethereum.)

Дори феновете му признават, че 'повтаряща се тема тук изглежда' грандиозни планове, оставени недовършени '. Той твърди, че е опитен компютърен програмист, но няма наличен код освен Flare, недовършен компютърен език за AI програмиране с XML-базиран синтаксис. (Предполагаше се, че това е езикът за програмиране, на който SIAI ще кодира Seed AI, но беше отменен през 2003 г.). Той счете за необходимо да наеме професионални програмисти, които да реализират неговия проект Arbital (вж. По-горе), който в крайна сметка се провали.

Юдковски е почти изцяло непубликуван извън собствената си фондация и блогове и никога не е завършил гимназия, а още по-малко е направил някакви реални изследвания на ИИ. Не са публикувани проби от неговото AI кодиране.

Неговите статии обикновено се публикуват в собствена публикация и имат общо два цитата в архивирани от JSTOR списания (нито свързани с AI) от 2015 г., едно от които е на приятеля му Ник Бостром от тясно свързания Институт за бъдещето на човечеството.

Действителните му, забележими резултати в реалния свят са популярна фен фантастика (която в негова чест той всъщност завърши, необичайно за жанра), пастичен еротичен лек роман, голяма купчина публикации в блогове и изненадващо добре финансирани изследвания организация - която е произвела по-малко статии за десетилетие и половина, отколкото един студент аспирант произвежда в хода на докторска степен по физика, а последният ще бъде партньорска проверка .

Гений или манивела?

Дали Юдковски се смята за гений, не е ясно напълно ясно; той нарича себе си като гений шест пъти в своята „автобиография“. Той също така твърди, че „е спечелил на случаен принцип лотария за писателски талант“. Той смята, че повечето докторанти са доста обикновени в сравнение с хората, с които той хоби:

Истинският поразителен факт за изследователите, които се явяват на конференции на AGI, е, че те са толкова ... Не знам как иначе да го кажа ...

... обикновени.

Не на интелектуалното ниво на големите имена в изкуствения интелект. Не на нивото на Джон Маккарти или Питър Норвиг (когото и двамата съм срещал).

Изкушавам се да кажа, че докторат по изкуствен интелект би бил отрицателно полезен, но не съм от хората, които държат нечия безразсъдна младост срещу тях - това, че сте придобили докторска степен по изкуствен интелект, не означава, че трябва да бъдете окончателно дисквалифицирани.

Въпреки това той признава, че вероятно е по-малко умен от Джон Конуей. Като домашно обучение лице без висше образование, Юдковски може не е в идеална позиция да оцени собствената си интелигентност . Това, че много от последователите му смятат, че е гений, е подценяване. По същия начин някои от неговите последователи се подиграват на основните учени, просто потърсете коментари за ' не е умен извън лабораторията „и“ за a известен учен . ' Юдковски вярва, че докторатът по изкуствен интелект е нетен негатив, що се отнася до AI на семената. Докато Юдковски не атакува Айнщайн , той наистина мисли научен метод не може да се справи с неща като Много светове Тълкуване, както и неговият възглед за теоремата на Байес. LessWrong наистина има свой уникален жаргон.

Само за да не получи читателят погрешното впечатление, че Юдковски се хвали непрекъснато с интелекта си, тук той се хвали колко е хубав и добър:

Отнех няколко години усилия, за да изчистя основните емоции (удовлетворение от егото и т.н.), след което бях почти изцяло алтруистичен по отношение на сурови мотивации, въпреки че ако бяхте ме попитали, щях да кажа нещо по време на редове от: „Е, разбира се, че все още се уча ... все още има вероятно всички тези неоткрити неща за почистване ...“

Често се приписва несъгласие с идеите на Юдковски „недискриминационен скептицизъм“. Ако не вярвате, че криониката работи, това е защото сте гледали Penn & Teller: Глупости! . Просто не е възможно да не вярвате, че работи, защото е имал неуспешни тестове и е направен невероятно от факти .

По-спорни позиции

Въпреки че на него се гледа като на най-умното същество с две крака, което някога е ходило по тази планета на LessWrong, Юдковски (и вследствие на това голяма част от общността LessWrong) одобрява позициите като Истина които всъщност са противоречиви в съответните им области. По-долу е частичен списък:

  • Трансхуманизъм е вярно. Крионика може някой ден да работи. Сингулярността е близо!
  • Теоремата на Байес и научният метод не винаги водят до едни и същи заключения (и следователно Байес е по-добър от науката).
  • Баесовата вероятност може да се приложи безразборно.
  • Неизчислими резултати, като сложността на Колмогоров, са напълно разумна основа за цяла епистемология. Соломонов, скъпа!
  • Интерпретация на много светове (MWI) на квантова физика е правилно ('шлем потапяне'), въпреки липсата на консенсус сред квантовите физици. Юдковски казва, че по-голямата част от теоретичните физици могат или не могат да споделят неговата гледна точка, добавяйки, че опитите за проучване на общественото мнение противоречат по този въпрос.
  • Еволюционна психология е утвърдена наука.
  • Философия е обект толкова лесен, че може да го „измисли в движение“.
  • Утилитаризъм е правилна теория за морала. По-специално той предлага рамка, чрез която изключително, изключително огромен брой хора, изпитващи прашинка в очите си за миг, може да бъде по-лош от мъж, измъчван в продължение на 50 години. По-конкретно, Юдковски защитава тотален утилитаризъм в този мисловен експеримент.

Освен това, макар да не е много ясно каква е действителната му позиция по този въпрос, той написа кратка научно-фантастична история къде изнасилване бе споменато накратко като законно. Това, че героят, който прави забележка върху него, изглежда не се отнася до консенсуален секс по същия начин, както правим днес, не попречи на мащабна реакция в раздела за коментари. Той отговори: „Фактът, че е поет от коментарите, не е толкова добър, колкото се надявах, но нито реакцията беше толкова лоша, колкото се страхувах.“ Той описва света на научната фантастика, който е имал предвид, по-скоро като 'странна топотия', отколкото като ' дистопия .