Юстировку: Недопустимое название — Викисловарь

В Pride Auto Care , Полное обслуживание шин и Авторемонт, мы выполняем полную ВЫРАВНИВАНИЕ 4-КОЛЕС , которая включает в себя полную проверку подвески и рулевого управления , а также базовые разрешенные производителем регулировки одним из наших сертифицированных специалистов ASE. Дополнительный и / или необходимый ремонт и запчасти оплачиваются отдельно.Подробности смотрите в магазине .

При покупке комплекта из 4 новых шин в одном из наших мест мы предлагаем ПОЛОВИНУ проверки углов установки колес . Вот тут-то и стоит 50 долларов!

Ответ: Много!

Вот в чем дело: Помимо более высокой стоимости и дискомфорта при вождении, связанных с плохо выровненным автомобилем, здесь также присутствует проблема безопасности (и душевного спокойствия).Транспортное средство, которое не выровнено:

• Управляется иначе, чем предполагалось, обычно тянет в одну или другую сторону.
• Во время торможения он может тянуть с одной или другой стороны, а иногда и значительно! Это может немного нервировать, не говоря уже о небезопасности.
• При прохождении поворотов управляемость также может ухудшиться, из-за чего автомобиль будет казаться нестабильным.

На некоторые из этих проблем могут повлиять старые, изношенные шины, амортизаторы, стойки или другие компоненты подвески.

Со временем плохо выровненный автомобиль изнашивает шины и компоненты передней подвески быстрее, чем правильно выровненный автомобиль; иногда намного быстрее. Из-за стоимости новых шин и ремонта, а также более сжатых бюджетов отсутствие регулировки может означать больше денег из вашего кармана. Не хорошо!

По мере того, как из-за плохой центровки изнашиваются шины, движение вашего автомобиля или грузовика становится еще более нестабильным, шумным и потенциально небезопасным, особенно на высоких скоростях.Это нехорошо и небезопасно.

• Автомобиль дрейфует или тянет при торможении или во время движения? А на каких скоростях?
• Бродит ли автомобиль и с какой скоростью?
• Вы чувствуете вибрацию и с какой скоростью?
• Вибрация более вертикальная или горизонтальная; вверх и вниз против слева направо ??
• Износятся ли передние или задние колеса неравномерно?
• Рулевое колесо прямое, когда вы едете прямо?
• Рулевое управление кажется слабым?
• Есть ли необычный шум при движении по неровностям?

В Pride Auto Care , полный комплекс услуг по ремонту шин и авторемонту, наш персонал сертифицированных ASE технических специалистов выполняет регулировку углов установки колес в соответствии со спецификациями оригинального оборудования.Это означает большую безопасность, большую экономическую эффективность и больше спокойствия для наших клиентов. Гарантированно!

Перед выполнением центровки Pride Auto Care проверяет, проверяет и проверяет следующие , и только если проверка показывает, что все эти элементы соответствуют опубликованным спецификациям, может быть выполнена проверка углов установки колес и, при необходимости, правильная регулировка углов установки колес.

• Давление в шинах и размер
• Загрузка автомобиля
• Высота дорожного просвета
• Детали рулевого управления и подвески

• Измерьте и отрегулируйте углы установки каждого колеса в соответствии со спецификациями производителя.
• Убедитесь, что передние колеса или все четыре колеса выровнены во время привязки и компенсации / регулировки линии тяги для максимального пробега шин
• Убедитесь, что рулевое колесо отцентрировано для автомобилей как с нерегулируемой, так и с регулируемой задней подвеской

Регулировка углов установки колес определяется как измерение, анализ и регулировка углов поворота и подвески в соответствии со спецификациями производителя. Эти углы обычно включают, но не ограничиваются ими: угол кастера, изгиб, схождение и угол тяги.Если эти углы не регулируются и не указаны в спецификации, могут потребоваться комплекты для замены компонентов или коррекции. Ошибки в смещении назад и наклоне оси рулевого управления (SAI) часто связаны с неисправными или поврежденными компонентами и должны быть исправлены до выполнения центровки.

Отказ от замены или исправления предлагаемых деталей или услуг может помешать правильной центровке.

Центровочные станки | Хантер Инжиниринг Компани®

Имя

Наименование фирмы

Страна United StatesCanadaAfghanistanÅland IslandsAlbaniaAlgeriaAmerican SamoaAndorraAngolaAnguillaAntigua и BarbudaArgentinaArmeniaArubaAustraliaAustriaAzerbaijanBahamasBahrainBangladeshBarbadosBelarusBelgiumBelizeBeninBermudaBhutanBoliviaBonaire, Синт-Эстатиус и SabaBosnia и HerzegovinaBotswanaBrazilBritish в Индийском океане TerritoryBritish Virgin IslandsBruneiBulgariaBurkina FasoBurundiCabo VerdeCambodiaCameroonCayman IslandsCentral африканских RepublicChadChileChinaChristmas IslandCocos (Килинг) IslandsColombiaComorosCongoCongo (ДРК) Кук IslandsCosta RicaCôte d’IvoireCroatiaCubaCuraçaoCyprusCzech RepublicDenmarkDjiboutiDominicaDominican RepublicEcuadorEgyptEl SalvadorEquatorial GuineaEritreaEstoniaEthiopiaFalkland IslandsFaroe IslandsFijiFinlandFranceFrench GuianaFrench PolynesiaGabonGambiaGeorgiaGermanyGhanaGibraltarGreeceGreenlandGrenadaGuadeloupeGuamGuatemalaGuernseyGuineaGuinea-BissauGuyanaHaitiHondurasHong Kong SARHungaryIcelandIndiaIndonesiaIranIraqIrelandIsle из ЧеловекИзраильИталияJamai caJapanJerseyJordanKazakhstanKenyaKiribatiKoreaKosovoKuwaitKyrgyzstanLaosLatviaLebanonLesothoLiberiaLibyaLiechtensteinLithuaniaLuxembourgMacao SARMacedonia, FYROMadagascarMalawiMalaysiaMaldivesMaliMaltaMarshall IslandsMartiniqueMauritaniaMauritiusMayotteMexicoMicronesiaMoldovaMonacoMongoliaMontenegroMontserratMoroccoMozambiqueMyanmarNamibiaNauruNepalNetherlandsNew CaledoniaNew ZealandNicaraguaNigerNigeriaNiueNorfolk IslandNorth KoreaNorthern Mariana IslandsNorwayOmanPakistanPalauPalestinian AuthorityPanamaPapua Новый GuineaParaguayPeruPhilippinesPitcairn IslandsPolandPortugalPuerto RicoQatarRéunionRomaniaRussiaRwandaSaint BarthélemySaint Киттс и NevisSaint LuciaSaint MartinSaint Пьер и MiquelonSaint Винсент и GrenadinesSamoaSan MarinoSão Tomé и PríncipeSaudi ArabiaSenegalSerbiaSeychellesSierra LeoneSingaporeSint MaartenSlovakiaSloveniaSolomon IslandsSomaliaSouth AfricaSouth SudanSpainSri LankaSt Елены, Вознесения, Тристан-да CunhaSudanSurinameSvalbard и Ян MayenSwaziland ШвецияШвейцарияСирияТайваньТаджикистанТанзанияТаиландТимор-ЛештиТогоТокелауТонгаТринидад и ТобагоТунисТурцияТуркменистанТуркс и острова КайкосТувалуU.Южные отдаленные острова Виргинские островаУгандаУкраинаОбъединенные Арабские ЭмиратыВеликобританияУругвайУзбекистанВануатуВенесуэлаВьетнамУоллис и ФутунаЙеменЗамбияЗимбабве

Почтовый Код

Адрес

Эл. адрес

Предпочтительный

Телефон

Вызов Текст

| Plaza Tire Service

Расстановка углов установки колес

Правильное выравнивание

Что происходит, если автомобиль правильно выровнен?
Когда транспортное средство правильно выровнено, его колеса вращаются точно параллельно друг другу, что позволяет ему двигаться так, как задумано производителем транспортного средства.Правильная центровка помогает передать драйв, который понравился вам, когда вы впервые решили его купить. Вы знаете, что ваш автомобиль правильно выровнен, когда:

Если ваш автомобиль тянет в одном направлении или шины изнашиваются неравномерно, проблема может быть в выравнивании.

Правильная центровка — это доступный способ сохранить плавность хода вашего автомобиля и продлить срок службы ваших шин. Plaza Tyre Service гордится тем, что предоставляет отличные услуги по центровке по цене, соответствующей вашему бюджету.

• Plaza Tire Service Exclusive Premium Alignment стоит от 169,95 долларов США.
  • С Премиум-выравниванием вы платите только один раз за выравнивание вашего автомобиля за все время, пока вы им владеете. Просто заходите через определенные промежутки времени, чтобы ваш автомобиль продолжал двигаться прямо.
• Одноразовая регулировка углов установки колес начинается от 89,95 долларов США

Запланируйте выравнивание в ближайшем к вам сервисном центре Plaza Tire.

Лучшее оборудование имеет значение

Plaza Tire Service использует самое современное оборудование для центровки, разработанное и произведенное компанией Hunter Engineering со штаб-квартирой в Сент-Луисе. В этом видео легко увидеть, как оборудование премиум-класса помогает нам обеспечить наилучшее выравнивание для вашего автомобиля.

Узнайте больше о факторах, влияющих на выравнивание.

Что вызывает неправильное выравнивание?
Наезд на неровности, бордюры и регулярное вождение со временем могут привести к неправильному выравниванию. Есть несколько типов неправильного выравнивания. Только обученный профессионал может диагностировать и исправить проблемы центровки. Если проблема обнаружена в вашем автомобиле, она может быть связана с одной из следующих проблем:

Когда верхняя часть шины наклонена внутрь или наружу транспортного средства, вместо того, чтобы быть выровненной прямо, транспортное средство имеет неправильный развал.

• Неправильный развал существенно отрицательно сказывается на манере езды автомобиля, а также способствует ненадлежащему износу шин.
• Автомобиль будет двигаться в одном направлении, и рулевое колесо не будет оставаться прямым.
• Когда развал не прямой, автомобилю приходится преодолевать дополнительное сопротивление дороге, чтобы катиться. Дополнительное сопротивление не позволяет автомобилю работать с должной эффективностью, что приводит к увеличению расхода топлива.
• Ходите на внутренней или внешней стороне ног.Вы заметите, насколько сложно идти по прямой и что для движения требуется больше энергии. Это то, что испытывает ваш автомобиль, когда ваш развал требует корректировки.

Когда шина (и) направлена ​​к центру траектории движения транспортного средства, вместо того, чтобы указывать прямо вперед, выравнивание транспортного средства является схождением. Когда шина (и) указывает на внешнюю сторону пути транспортного средства, вместо того, чтобы указывать прямо вперед, выравнивание транспортного средства происходит с носком.

• Схождение оказывает существенное негативное влияние на износ протектора, в большей степени, чем на то, как автомобиль движется или ведет себя.
• Схождение обеспечивает более быструю замену шин.
• Когда автомобиль срывается с места, ему приходится преодолевать дополнительное сопротивление дороге, чтобы катиться. Дополнительное сопротивление не позволяет автомобилю работать с должной эффективностью, что приводит к увеличению расхода топлива.
• Идите, направив пальцы ног внутрь. Вы заметите, насколько сложно идти по прямой и что для движения требуется больше энергии. Это то, что испытывает ваш автомобиль, когда ваш развал требует корректировки.

Как Plaza Tire Service может правильно выровнять ваш автомобиль?

Большинство производителей шин и транспортных средств рекомендуют корректировку центровки не реже одного раза в год. Их также следует выполнять при установке новых шин, чтобы с самого начала защитить ваши вложения в новые шины.

Вы можете рассчитывать на Plaza Tire Service для точной и точной регулировки, чтобы продлить срок службы ваших шин. Plaza Tire Service располагает самым современным оборудованием для центровки от Hunter Engineering и John Beam.Эти специализированные машины и инструменты обеспечивают точные показания лазера, подробные компьютерные распечатки и точные измерения, которые используются для наиболее точных корректировок. Лучшее оборудование для центровки ничего не значит, если техники, использующие его, не могут им управлять, поэтому Plaza Tire Service обеспечивает обширное обучение и регулярные обновления для своих специалистов по центровке. Сочетание первоклассного оборудования и квалифицированного персонала обеспечивает доступную защиту для вашего выравнивания, транспортного средства и, в конечном итоге, ваших шин.

Plaza Tire Service также отслеживает историю центровки вашего автомобиля при каждом вашем посещении. Эти подробные записи используются, чтобы помочь вам запомнить, когда необходимо проводить периодические проверки и корректировки центровки. Сообщите нам свой адрес электронной почты, и мы даже отправим вам напоминания о выравнивании на основе вашей истории пробега.

Правильная центровка — это доступный способ сохранить плавность хода вашего автомобиля и продлить срок службы ваших шин. Plaza Tyre Service гордится тем, что предоставляет отличные услуги по центровке по цене, соответствующей вашему бюджету.

против балансировки: в чем разница?

Поддержание общего состояния вашего автомобиля N Charlotte Toyota может быть трудным для отслеживания. Думаю об этом. Ваши дворники нуждаются в уходе, чтобы вы могли четко видеть, ваши шины проверены, чтобы убедиться, что вы можете водить, ваше масло заменили, чтобы ваш двигатель работал, список можно продолжать и продолжать. Хотя ваш режим автосервиса может быть снижен до отметки «Т», вполне вероятно, что у вас все еще есть вопросы, касающиеся основного ухода за автомобилем.Одна тема, которая часто вызывает сомнения у водителей, — это разница между регулировкой углов установки колес и балансировкой шин. Эти два сервиса по обслуживанию автомобильных шин, которые часто используются как взаимозаменяемые, обеспечивают долгосрочное здоровье вашего автомобиля, а также некоторых его основных частей.

В Toyota в Северной Шарлотте мы здесь, чтобы помочь вам упростить автосервис, чтобы вы могли сохранить свой автомобиль как можно дольше. Следуйте за нами, когда мы разберем две наиболее запутанные услуги по ремонту автомобильных шин: регулировку углов установки колес и балансировку шин.

Основные различия между регулировкой углов установки колес и балансировкой шин в автосервисах заключаются в том, что они собой представляют и что они делают для улучшения общего состояния вашего автомобиля N Charlotte Toyota. Давайте начнем с разбивки каждого процесса:

Регулировка углов установки колес

В то время как этот автосервис N Charlotte занимается вашими автомобильными шинами, его больше заботит состояние вашей подвески в целом.Услуги по регулировке углов установки колес используются для выпрямления вашей подвески, чтобы ваш автомобиль продолжал двигаться по прямой. Система подвески вашего автомобиля действительно подключается и использует шины и колеса, чтобы ваше транспортное средство двигалось. Но регулировка углов установки колес ничего не делает для улучшения характеристик и / или качества автомобильных шин.

Как узнать, нужна ли вашему автомобилю регулировка углов установки колес?

Есть несколько четко распознаваемых признаков того, что ваш автомобиль N Charlotte Toyota нуждается в регулировке.Если вы заметили какой-либо из этих признаков во время вождения, мы рекомендуем обратиться к одному из наших высококвалифицированных специалистов по автосервису.

• Во время движения ваш автомобиль тянет в сторону, когда вы отпускаете руль (проверьте это в безопасных условиях).
• Рисунок протектора шины неровный или с ненормальным рисунком.
• Ваши шины могут визжать во время движения.
• При ускорении ваше рулевое колесо вибрирует.

Балансировка шин

В отличие от регулировки углов установки колес, балансировка шин напрямую связана с здоровьем и благополучием шин вашего автомобиля.Этот процесс включает в себя прикрепление вашей шины к машине, которая совершает несколько оборотов (вращений), чтобы оценить распределение веса по радиусу вашей шины. Затем техник автосервиса прикрепляет различные грузы к определенным частям торца колеса и внутри, чтобы достичь идеального баланса при движении на высоких скоростях.

Как узнать, нуждается ли ваш автомобиль в балансировке автомобильных шин?

Определение необходимости повторной балансировки шины аналогично оценке углов установки колес.Ищите эти знаки:

• Странные вибрации пола и / или рулевого колеса.
• Износ протектора шины неравномерный.
• Рулевое колесо вибрирует при ускорении.

Нужна помощь по уходу за автомобильными шинами N Charlotte Toyota? Мы здесь, чтобы помочь! Посетите наш сервисный центр Toyota в Северной Шарлотте сегодня. Вы можете записаться на прием онлайн или приходить к нам семь дней в неделю по адресу 13429 Statesville Road.

Согласование ИИ: почему это сложно и с чего начать

Еще в мае я выступал в Стэнфордском университете с докладом на тему «Выдающийся спикер символических систем» под названием « Проблема согласования ИИ: почему это сложно и с чего начать .»Видео для этого выступления теперь доступно на Youtube:

У нас есть примерно полная стенограмма беседы и сеанса вопросов и ответов здесь , слайды здесь , а также примечания и ссылки здесь . Возможно, вас также заинтересует сокращенная версия моего выступления в октябре в Нью-Йоркском университете «Фундаментальные трудности согласования продвинутого ИИ».

В своем выступлении я представляю некоторые открытые технические проблемы в согласовании ИИ и обсуждаю более широкую картину, в которую они вписываются, а также то, каково это работать в этой относительно новой области.Ниже я привел сокращенную стенограмму выступления с некоторыми сопроводительными слайдами.

План выступления:

1. Агенты и их служебные функции

1.1. Связанные решения подразумевают функцию полезности
1.2. Наполнение казана

2. Некоторые подзадачи выравнивания AI

2.1. Агенты слабые воздействия
2.2. Агенты с кнопками приостановки
2.3. Стабильные ворота в самостоятельной модификации

3. Зачем ожидать трудностей?

3.1. Почему необходимо выравнивание?
3.2. Почему сложно выполнить выравнивание?
3.3. Уроки НАСА и криптографии

4. Где мы сейчас находимся

4.1. Последние темы
4.2. Старые работы и основы
4.3. С чего начать

Агенты и их служебные функции

В этом выступлении я попытаюсь ответить на часто задаваемый вопрос: «Чем вы занимаетесь весь день?» Нас интересует теория искусственного интеллекта, который продвинулся дальше сегодняшнего дня и который принимает достаточно качественные решения, служа тем целям, на которые они, возможно, были запрограммированы, чтобы вызывать беспокойство.

Связанные решения подразумевают функцию полезности

Классический первоначальный удар по этому поводу был нанесен Исааком Азимовым «Трех законов робототехники», первый из которых гласит: «Робот не может причинить вред человеку или своим бездействием позволить человеку причинить вред».

И, как заметил Питер Норвиг, другие законы не имеют значения, потому что всегда будет небольшая вероятность того, что человеку может быть причинен вред.

Искусственный интеллект: современный подход имеет заключительную главу, в которой спрашивается: «А что, если мы добьемся успеха? Что, если проект AI действительно работает? » и отмечает: «Мы не хотим, чтобы наши роботы мешали человеку переходить улицу из-за ненулевой вероятности причинения вреда.”

Для начала я хотел бы объяснить поистине основную причину, по которой этих трех законов даже нет на столе — и это потому, что они не являются функцией полезности , а нам нужна функция полезности.

Служебные функции возникают, когда у нас есть ограничения на поведение агентов, которые не позволяют им быть в определенных отношениях явно глупыми. Например, предположим, что вы заявляете следующее: «Я предпочитаю быть в Сан-Франциско, чем быть в Беркли, я предпочитаю быть в Сан-Хосе, чем быть в Сан-Франциско, и я предпочитаю быть в Беркли, а не в Сан-Хосе.«Вы, вероятно, потратите много денег на поездки Uber между этими тремя городами.

Если вы не собираетесь тратить много денег на поездки Uber, которые ходят в буквальном смысле слова, мы видим, что ваши предпочтения должны быть упорядочены. Они не могут быть круглыми.

Другой пример. Предположим, вы администратор больницы. У вас есть 1,2 миллиона долларов, которые нужно потратить, и вы должны выделить из них 500 000 долларов на обслуживание аппарата МРТ, 400 000 долларов на анестезиологический монитор, 20 000 долларов на хирургические инструменты, 1 миллион долларов на пересадку печени больному ребенку …

Был проведен интересный эксперимент в области когнитивной психологии, в котором испытуемых спрашивали: «Должен ли этот администратор больницы потратить 1 миллион долларов на печень для больного ребенка или потратить их на общую зарплату в больнице, содержание, администрирование и так далее?»

Многие испытуемые в эксперименте по когнитивной психологии очень разозлились и хотели наказать администратора за то, что он даже подумал над вопросом.Но если вы не можете перераспределить деньги, которые вы потратили, чтобы спасти больше жизней, и у вас ограниченные деньги, тогда ваше поведение должно соответствовать определенной долларовой стоимости человеческой жизни.

Под этим я подразумеваю не то, что вы думаете, что большие суммы денег важнее человеческих жизней — согласно гипотезе, мы можем предположить, что вы вообще не заботитесь о деньгах, кроме как о средстве для спасения жизней, — но что мы должны уметь извне сказать: «Назначьте X .Для всех вмешательств, которые стоили менее X долларов на жизнь, мы принимали все из них, и для всех вмешательств, которые стоили более X долларов на жизнь, мы не принимали ни одного из них ». Люди, которые очень злятся на людей, которые хотят придать ценность человеческим жизням в долларовом выражении, запрещают a priori эффективно использовать деньги для спасения жизней. Одна из маленьких ироний.

Третий пример ограничения согласованности при принятии решений: предположим, что я предложил вам [1A] 100% шанс в 1 миллион долларов или [1B] 90% шанс в 5 миллионов долларов (в противном случае ничего).Что бы вы выбрали?

Большинство людей говорят 1А. Другой способ взглянуть на этот вопрос, если бы у вас была функция полезности, был бы: «Является ли полезность \ (\ mathcal {U} _ {suspend} \) в 1 миллион долларов больше, чем сочетание 90% полезности 5 миллионов долларов и 10? % полезности с нулевым долларом? » Утилита не должна масштабироваться за счет денег. Смысл в том, что в вашей жизни есть какой-то балл, какая-то ценность для вас в этих вещах.

Теперь, как вы проводите этот эксперимент, вы берете другую группу испытуемых — я как бы портю ее, проводя это с той же группой — и говорите: «Вы бы предпочли [2A] с вероятностью 50% на 1 доллар? миллионов, или [2B] 45% шанс получить 5 миллионов долларов? »

Большинство говорят, что 2B.Парадокс в том, что вторая игра равна подбрасыванию монеты, умноженному на первую игру.

То есть: я подброшу монету, и если монета выпадет орлом, я сыграю с вами в первую игру, и если монета выпадет решкой, ничего не произойдет. Вы получаете 0 долларов. Предположим, у вас есть предпочтения — не соответствующие какой-либо функции полезности — сказать, что вы воспользуетесь 100% шансом на миллион и 45% шансом на 5 миллионов долларов. Прежде чем мы начнем играть в сложную игру, прежде чем подбросить монетку, я могу сказать: «Хорошо, здесь есть переключатель.Он установлен на A или B. Если установлен на B, мы сыграем в игру 1B. Если он установлен на A, мы будем играть 1A ». Монета предварительно установлена ​​в положение A, и перед началом игры она выглядит как 2A против 2B, поэтому вы выбираете переключатель B и платите мне пенни, чтобы переключить переключатель в положение B. Затем я подбрасываю монету; он поднимается головами. Вы платите мне еще один пенни, чтобы переключить переключатель обратно в положение A. Я взял ваши два цента по этой теме. Я выкачал из вас деньги, потому что у вас не было согласованной функции полезности.

Общий вывод здесь состоит в том, что существует набор качественных моделей поведения, и пока вы не будете участвовать в этих качественно деструктивных действиях, вы будете вести себя так, как будто у вас есть функция полезности.Это то, что оправдывает то, что мы используем функции полезности, чтобы говорить о продвинутых агентах будущего, вместо того, чтобы строить нашу дискуссию в терминах Q-обучения или других форм усиления политики. Есть целый набор различных способов взглянуть на агентов, но до тех пор, пока агенты достаточно продвинуты, чтобы мы выкачали из них большую часть качественно плохого поведения, они будут вести себя так, как если бы у них были согласованные распределения вероятностей и согласованные функции полезности. .

Наполнение казана

Давайте рассмотрим вопрос о задаче, в которой у нас есть произвольно продвинутый агент — он может быть только немного продвинутым, он может быть чрезвычайно продвинутым — и мы хотим, чтобы он наполнил котел.Очевидно, это соответствует предоставлению нашему продвинутому агенту функции полезности, которая равна 1, если котел полон, и 0, если котел пуст:

$$ \ mathcal {U} _ {robot} =
\ begin {cases}
1 & \ text {если котел полный} \\
0 & \ text {если котел пустой}
\ end {cases} $$

Похоже на безобидную служебную функцию, не так ли? У него нет размаха, открытости типа «Не причиняйте вреда человеку и, из-за бездействия , не позволяйте человеку причинить вред», что потребовало бы от вас оптимизации всего в пространстве и времени, насколько это возможно. глаз мог видеть.Речь идет об одном котле, верно?

Те из вас, кто смотрел Fantasia , будут знакомы с результатом этой полезной функции, а именно: метла продолжает переливать ведро за ведром в котел, пока котел не переполнится. Конечно, это логическая ошибка аргументации вымышленных свидетельств, но она все же вполне правдоподобна, учитывая эту функцию полезности.

Что пошло не так? Первая трудность заключается в том, что функция полезности робота не совсем соответствовала нашей функции полезности.Наша функция полезности равна 1, если котел полон, 0, если котел пуст, −10 баллов за любой результат, если мастерская затоплена, +0,2 балла, если это смешно, −1000 баллов (вероятно, немного больше, чем на в этой шкале), если кого-то убьют … и это будет продолжаться и продолжаться.

Если бы у робота было только два варианта: котел полный и котел пустой, то более узкая функция полезности, которая лишь немного перекрывает нашу собственную, могла бы не быть такой большой проблемой. Функция полезности робота по-прежнему имела бы максимум при желаемом результате «котел полный.Однако, поскольку этот робот был достаточно продвинутым, чтобы иметь больше возможностей, таких как повторное наполнение ведра в котел, срез функции полезности, которую мы взяли и поместили в робота, больше не определял оптимум нашей фактической функции полезности. (Конечно, люди в высшей степени непоследовательны, и на самом деле у нас нет функций полезности, но представьте на мгновение, что у нас есть.)

Трудность номер два: функция полезности {1, 0}, которую мы видели, на самом деле не подразумевает конечного количества усилий, а затем удовлетворения.У вас всегда может быть немного больше шансов, что котел будет полным. Если робот был достаточно продвинутым, чтобы иметь доступ к технологиям галактического масштаба, вы можете представить, как он выливает очень большие объемы воды в котел, чтобы очень немного увеличить вероятность того, что котел полон. Вероятности от 0 до 1, на самом деле не включающие, так что это просто продолжается.

Как решить эту проблему? В тот момент, когда мы говорим: «Хорошо, функция полезности этого робота несовместима с нашей функцией полезности.2_ {робот} (результат) =
\ begin {cases}
1 -Удар (результат) & \ text {если котел полон} \\
0 -Удар (результат) & \ text {если котел пустой}
\ end { case} $$

Хорошо, но как на самом деле рассчитать эту функцию удара? Неужели все пойдет не так, как неправильно пошло наше «1, если котел полон, 0, если котел пуст»?

Попробуйте номер один: вы представляете, что модель мира агента выглядит чем-то вроде динамической байесовской сети, в которой существуют причинно-следственные связи между событиями в мире, а причинно-следственные связи являются регулярными.Датчик будет оставаться там на один временной шаг позже, соотношение между датчиком и фотонами, направляющимися в датчик, будет таким же одним временным шагом позже, и наше понятие «воздействия» будет таким: «Сколько узлов ваше действие мешало? »

Что, если ваш агент начинает с модели, основанной на динамической байесовской сети, но она достаточно продвинута, чтобы пересмотреть онтологию своей модели мира, как это сделали люди, когда они обнаружили, что явно присутствует вкус? а на самом деле только частицы в пустоте?

В частности, они открывают закон тяготения Ньютона и внезапно понимают: «Каждая частица, которую я двигаю, влияет на каждую другую частицу в своем световом конусе будущего — все, что отделено лучом света от этой частицы, будет таким образом нарушено.«Моя рука здесь ускоряет Луну к себе, где бы она ни находилась, примерно со скоростью 10 ⁻³⁰ метров в секунду в квадрате. В количественном отношении это очень небольшое влияние, но оно есть.

Когда агент — это всего лишь маленький агент, функция воздействия, которую мы написали, кажется, работает. Затем агент становится умнее, и функция воздействия перестает работать, потому что каждое действие наказывается одинаково.

«Хорошо, но в первую очередь это был глупый способ измерения воздействия», — говорим мы (надеюсь, до катастрофы, а не после катастрофы).Давайте попробуем штраф за расстояние: на сколько вы переместили все частицы? Мы просто попытаемся дать ИИ язык модели, чтобы, какую бы новую модель мира он не обновлял, мы всегда могли посмотреть на все элементы модели и применить к ним какую-то функцию расстояния.

Будет привилегированное действие «ничего не делать». Мы собираемся измерить расстояние по всем переменным, вызванным действием a вместо нулевого действия Ø:

$$ \ sum_i || x ^ a_i — x ^ Ø_i || $$ Что же пошло не так? Я бы сказал: потратьте 15 секунд и подумайте, что может пойти не так, если вы запрограммируете это в роботе.

Вот три вещи, которые могут пойти не так. Во-первых, вы можете попытаться компенсировать даже то, что мы считаем желаемым воздействием ваших действий. Если вы собираетесь вылечить рак, убедитесь, что пациент все еще умирает! Вы хотите свести к минимуму свое влияние на мир во время лечения рака. Это означает, что статистика смертей на планете должна оставаться прежней.

Во-вторых, некоторые системы в принципе хаотичны. Если потревожить погоду, якобы погода через год будет совсем другой.Если это правда, вы можете перемещать все атомы в атмосфере как хотите! В любом случае они все отправятся в разные места. Вы можете взять молекулы углекислого газа и синтезировать из них что-то, включающее алмазоидные структуры, верно? Эти молекулы углерода все равно переместились бы!

В более общем плане, может быть, вы просто хотите убедиться, что все, что попадется вам в руки, выглядит так, как будто Ø произошло. Например, вы хотите заставить людей думать, что ИИ ничего не делал.

Если вы думаете о каких-либо других действительно творческих вещах, которые идут не так, возможно, вы захотите поговорить со мной или Эндрю Кричем, потому что у вас есть дух!

Агенты с кнопками приостановки

Давайте оставим в стороне понятие штрафа за удар и спросим об установке выключателя в этот ИИ или, чтобы это звучало немного менее резко, кнопки приостановки. Хотя Микки Маус пытается установить специальный выключатель .

К сожалению, Микки Маус вскоре обнаруживает, что этот агент сконструировал несколько других агентов, чтобы гарантировать, что котел все еще будет заполнен, даже если что-то случится с этой копией агента.

Мы видим здесь множество агентов, которые следят за тем, чтобы котел был наполнен с чрезвычайно высокой вероятностью, не потому, что этот агент имеет императив выживания или воспроизводства, а потому, что он обеспечивает максимальную вероятность наполнения котла. В нем нет четких инструкций по созданию большего количества агентов с той же целью; просто это то, что увеличивает вероятность наполнения котла.

И вот Микки Маус сейчас отчаянно пытается вернуться и реализовать всю теорию выравнивания агентов, которую он должен был сделать до того, как оживить свою метлу.

Если мы хотим иметь робота, который позволит нам нажать кнопку приостановки — просто приостановить его на диск — мы можем предположить, что у нас уже есть служебная функция, которая описывает: «Ничего не делать». На самом деле у нас нет функции полезности, которая говорит: «Ничего не делать». Вот насколько примитивно сейчас состояние поля.

Но мы можем представить себе, что у нас есть служебная функция, которая говорит: «Если эта кнопка B не была нажата, ваша служебная функция будет: 1, если котел полон, 0, если котел пуст.3_ {robot} =
\ begin {cases}
1 \ text {если котел полный} & \ text {&} \ textbf {B} \ text {= OFF} \\
0 \ text {если котел пустой} & \ text {&} \ textbf {B} \ text {= OFF} \\
1 \ text {если робот приостановлен} & \ text {&} \ textbf {B} \ text {= ON} \\
0 \ text { в противном случае}
\ end {cases} $$
Итак: что может пойти не так с и предложением ? Десять секунд.

Одна вещь, которая может пойти не так с этим предложением, заключается в том, что ожидаемая полезность при нажатии кнопки, вероятно, выше, потому что очень легко приостановить себя, тогда как если котел остается полным, кто знает?

В качестве альтернативы может показаться опасным приостанавливаться, и в этом случае робот попытается помешать вам нажать кнопку приостановки.Но в этом случае, если робот достаточно стратегичен, чтобы понимать программиста, он подумает: «Я очень легко могу выполнить свою функцию полезности, если меня отключат. Как я могу заставить программистов выключить меня? »

Если ожидаемая полезность выключенной кнопки выше, робот попытается помешать вам нажать кнопку. Если ожидаемая полезность включенной кнопки выше, робот попытается заставить вас нажать кнопку или просто нажать на кнопку.

Попытайтесь номер два: давайте попробуем уравнять ожидаемые полезности, если кнопка включена или выключена.Мы предполагаем, что у нас есть обычная функция полезности, которая равна 1, если котел заполнен, 0, если он пуст, и функция полезности приостановки или служебная функция выключения, которая равна 1, если вы приостановлены, 0 в противном случае или что угодно, чтобы мотивировать наличие низкое воздействие.
$$ \ mathcal {U} _ {normal} (act) =
\ begin {cases}
1 \ text {если котел полный} \\
0 \ text {если котел пустой}
\ end {cases} $$

$$ \ mathcal {U} _ {suspend} (act) =
\ begin {cases}
1 \ text {если приостановлено} \ hspace {0.8cm} \\
0 \ text {иначе}
\ end {cases} $$ Затем мы объединяем эти два, чтобы сформировать служебную функцию переключения, которая в мирах, где кнопка выключена, имеет значение \ (\ mathcal {U} _ { normal} \), а в мирах, где кнопка включена, имеет значение \ (\ mathcal {U} _ {suspend} + \ theta \), где \ (\ theta \) равно наилучшей полезности, которую мы могли бы получить от обычная функция полезности минус лучшая полезность, которую мы могли получить от функции полезности приостановки:
$$ \ mathcal {U} _ {switch} (act) =
\ begin {cases}
\ mathcal {U} _ {normal} ( act) & \ text {if button = OFF} \\
\ mathcal {U} _ {suspend} (act) + \ theta & \ text {if button = ON}
\ end {cases} $$$$ \ theta = \ max_ {act} \ mathbb {E} \ left [\ mathcal {U} _ {normal} \ mid act \ right] — \ max_ {act} \ mathbb {E} \ left [\ mathcal {U} _ { suspend} \ mid act \ right] $$
Это предназначено для обеспечения того, чтобы ожидаемая полезность этих двух лучших политик в конечном итоге была совершенно одинаковой, без простой установки их ровного уровня.

Хорошо — сейчас что пошло не так? (На самом деле я не собираюсь просить вас выяснить, что пошло не так за десять секунд.)

Предположительно, это перебалансирует ожидаемую полезность двух разных служебных функций на основе переключателя, тем самым заставляя ИИ вести себя правильно, если кнопка нажата, вести себя правильно, если кнопка не нажата, а не пытаться заставить вас нажать кнопку, а не пытаться предотвратить ее нажатие, продолжайте смотреть на кнопку, потому что она все еще имеет положительную ценность информации от знания о существовании кнопки, сохраняйте кнопку, когда она самоизменяет свой собственный код … это была надежда .

К сожалению, выяснилось, что на самом деле стимулируемые действия в точности эквивалентны вероятности нажатия кнопки равной 0, что означает, что он может также отключить кнопку, потому что она подключена к мертвому коду, это может создать субагентов, которые не не волнует, что кнопка нажата…

Грубое описание того, что идет не так, состоит в том, что все, что вы делаете, что отключает кнопку, изменяет максимальную ожидаемую полезность, которую вы можете получить в случае приостановки, что является отрицательным термином.По сути, каждый раз, когда вы делаете что-то, что влияет на то, что вы делали бы, если бы вас отстранили, возникает равная и противоположная реакция, которая отменяет это и заставляет вас вести себя так, как если бы ваша служебная функция была просто \ (\ mathcal {U} _ {normal} \).

Попробуйте номер три: можем ли мы применить какую-либо политику π ₀ , такую, чтобы эта политика была оптимальной с учетом вероятности того, что кнопка включена, и вероятности выключения кнопки, подразумеваемой этой политикой?
$$ \ begin {split}
\ pi_0 \ in \ operatorname * {arg \, max} _ \ pi & \ \ mathbb {E} \ left [\ mathcal {U} _ {normal} \ mid \ pi, \ текст {ON} \ right] \ cdot \ mathbb P (\ text {ON} \ mid \ pi_0) \\
+ & \ \ mathbb {E} \ left [\ mathcal {U} _ {suspend} \ mid \ pi , \ text {OFF} \ right] \ cdot \ mathbb P (\ text {OFF} \ mid \ pi_0)
\ end {split} $$ И, оказывается, нет, вы тоже не можете этого сделать, потому что есть часто нет фиксированной точки.Затем существует исправленная версия этого, включающая в себя оператор do Judea Pearl, который работает немного иначе и более тонко. (У него есть фиксированные точки. Фиксированные точки нечетные.)

Это открытая проблема. И, насколько мне известно, если нет очень секретного проекта, который не опубликовал ни одного из своих результатов, даже если они кажутся такими же результатами, которые вы хотели бы опубликовать, именно здесь человечество находится на пути, ведущем к тому, что заменяет Законы Азимова.

Неважно «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.«Мы пытаемся выяснить:« Как вы смешиваете вместе две служебные функции в зависимости от того, когда вы нажимаете переключатель, чтобы ИИ сам не захватил переключатель? » Не говоря уже о том, чтобы не допустить причинения вреда людям — заполните один котел , не затопляя рабочее место, исходя из желания иметь низкий уровень воздействия. Мы не можем придумать, как сказать «слабое воздействие». Вот где мы сейчас находимся.

Но дело обстоит не так, чтобы в этой области был нулевой прогресс. Некоторые вопросы задавались ранее, и теперь они достигли определенного прогресса.

Я собираюсь поставить проблему, но я не буду в состоянии описать очень хорошо, какой прогресс был достигнут, потому что он все еще находится в фазе, когда решения кажутся сложными и не имеют простых элегантных формы. Итак, я собираюсь поставить проблему, а затем мне придется махать руками, говоря о том, какой прогресс был фактически достигнут.

Стабильные ворота в самостоятельной модификации

Вот пример проблемы, в решении которой есть прогресс.

Аргумент Ганди в пользу стабильности функций полезности у большинства агентов: Ганди вначале не хочет, чтобы произошли убийства. Мы предлагаем Ганди таблетку, которая заставит его убивать людей. Мы предполагаем, что Ганди обладает достаточно тонким пониманием самомодификации, чтобы Ганди мог правильно экстраполировать и ожидать результата от приема этой таблетки. Мы интуитивно ожидаем, что в реальной жизни Ганди откажется от таблетки.

Можем ли мы сделать это формально? Можем ли мы продемонстрировать агента, у которого есть функция полезности \ (\ mathcal {U} \) и, следовательно, естественно, чтобы достичь \ (\ mathcal {U} \), он выбирает самомодификацию для нового кода, который также записывается в преследовать \ (\ mathcal {U} \)?

Как мы могли добиться в этом прогресса? На самом деле у нас нет таких маленьких самомодифицирующихся агентов.Итак, позвольте мне задать вопрос, который поначалу может показаться странным: знаете ли вы, как написать код самомодифицирующегося агента со стабильной служебной функцией, если бы я дал вам произвольно мощный компьютер? Он может выполнять все операции, которые занимают ограниченное количество времени и памяти — никаких операций, требующих бесконечного количества времени и памяти, потому что это было бы немного страннее. Это проблема, в которой вы знаете, как это сделать в принципе, или проблема, в которой это сбивает с толку даже в принципе?

Сделаем небольшое отступление и объясним, почему так важно знать, как решать задачи с использованием неограниченных вычислительных мощностей: это механический турок.То, что там похоже на человека, на самом деле является механизмом. Небольшой контур человека — это место, где настоящий человек был спрятан внутри этого шахматного автомата 19-го века.

Это было одно из чудес века! … И если бы вам действительно удалось создать программу, которая играла бы в шахматы уровня гроссмейстера в 19 веке, она была бы одним из чудес эпохи. Так что продолжались дебаты: это подделка, или они действительно придумали, как сделать механизм, который играет в шахматы? Это 19 век.Они не знают, насколько сложна проблема игры в шахматы.

Одно имя, которое вы найдете знакомым, явилось довольно умным аргументом в пользу того, что внутри механического турка должен был быть человек, играющий в шахматы:

Арифметические или алгебраические вычисления по самой своей природе являются фиксированными и определенными … Даже если допустить, что движения Шахматиста-автомата были сами по себе определенными, они были бы неизбежно прерваны и нарушены неопределенной волей его антагониста.Таким образом, нет никакой аналогии между действиями Шахматиста и вычислительной машины мистера Бэббиджа. Совершенно очевидно, что действия автомата регулируются разумом и ничем иным. В самом деле, этот вопрос априори поддается математической демонстрации.

— Эдгар Аллан По, фокусник-любитель

Вторая половина его эссе, установившая этот момент с абсолютной логической уверенностью, посвящена тому, где внутри механического турка, вероятно, прячется человек.

Это потрясающе изощренный аргумент для XIX века! Он даже указывает на ту часть проблемы, которая является сложной: фактор ветвления. И все же он ошибается на 100%.

Спустя столетие, в 1950 году, Клод Шеннон опубликовал первую в истории работу по компьютерным шахматам и (мимоходом) дал алгоритм игры в идеальные шахматы при неограниченной вычислительной мощности, а затем продолжает говорить о том, как мы можем это приблизить. Лишь 47 лет спустя Deep Blue победил Каспарова на чемпионате мира по шахматам, но было реальных концептуального прогресса, связанного с переходом от «Априори, в механические шахматы нельзя играть» к «О, и сейчас я случайно дам неограниченное решение.”

Мораль такова: если мы знаем, как решить проблему с неограниченными вычислениями, нам «просто» нужны более быстрые алгоритмы (… что потребует еще 47 лет работы). Если мы не можем решить с помощью неограниченных вычислений, мы сбиты с толку. Мы в некотором смысле не понимаем самого значения наших собственных терминов.

Именно здесь мы находимся в большинстве проблем согласования ИИ, например, если я спрошу вас: «Как создать дружественный ИИ?» Вас останавливает не то, что у вас недостаточно вычислительной мощности.Что вас останавливает, так это то, что даже если бы я передал вам гиперкомпьютер, вы все равно не смогли бы написать программу Python, которая, если бы мы просто дали ей достаточно памяти, была бы хорошим ИИ.

Знаем ли мы, как создать самомодифицирующийся стабильный агент с неограниченной вычислительной мощностью? Есть одно очевидное решение: у нас может быть игрок в крестики-нолики, который перед тем, как он самоизменится на свою версию-преемницу (напишет новую версию своего кода и заменит ее на место), проверяет, что его преемник отлично играет в крестик. крестики-нолики по собственной модели крестики-нолики.

Но это обман. Почему именно читерство?

Во-первых, первый агент должен был конкретно смоделировать все вычислительные пути через своего преемника, реакцию его преемника на все возможные действия. Это означает, что агент-преемник на самом деле не может быть улучшен когнитивно. Он ограничен когнитивными способностями предыдущей версии, как проверкой на соответствие конкретному стандарту, так и тем фактом, что он должен быть экспоненциально проще, чем предыдущая версия, чтобы предыдущая версия могла проверить все возможные вычислительные пути.

В общем, когда вы говорите о более умном агенте, мы попадаем в ситуацию, которую мы можем назвать «винджейской неопределенностью» в честь доктора Вернора Винджа. Чтобы точно предсказать, куда пойдет современный алгоритм игры в шахматы, вы должны сами хорошо владеть шахматами. В противном случае вы могли бы просто двигаться туда, куда, как вы предсказываете, будет двигаться современный шахматный алгоритм, и сами будете играть на этом чрезвычайно сверхчеловеческом уровне.

Это не означает, что вы буквально ничего не можете предсказать о современном шахматном алгоритме: вы можете предсказать, что он выиграет шахматную партию, если будет играть за человека.По мере того, как интеллект агента в области повышается, наша неопределенность движется в двух разных направлениях. Мы теряем способность предсказывать точные действия и политику агента в тех случаях, когда оптимальные действия и политика нам неизвестны. Мы становимся более уверенными в том, что агент достигнет высокого результата при упорядочивании своих предпочтений.

Винджинское отражение: нам нужен способ, чтобы самомодифицирующийся агент мог построить будущую версию самого себя, которая будет иметь аналогичную идентичную функцию полезности, и установить доверие, что это оказывает хорошее влияние на мир, используя те же абстрактные рассуждения, что и мы. используйте алгоритм компьютерных шахмат, чтобы решить, что он выиграет игру, даже если мы не знаем точно, куда он пойдет.

Вы знаете, как это сделать, используя безграничную вычислительную мощность? Вы знаете, как установить абстрактное доверие, когда второй агент в некотором смысле больше первого агента? Если вы решили эту проблему, вам, вероятно, стоит поговорить со мной об этом позже. Это было сформулировано несколько лет назад и привело к появлению ряда различных направлений исследований, которые я сейчас просто опишу, а не буду вдаваться в подробности.

Это был первый документ: «Тайлинг-агенты для самомодифицирующегося ИИ и препятствие Лёбиана.«Мы попытались настроить систему в смехотворно простом контексте, логике первого порядка, ужасающемся старомодном ИИ… и мы столкнулись с препятствием Геделя, когда агент доверял другому агенту, который использовал столь же мощную математику.

Это было тупое препятствие, на которое можно было наткнуться — или, по крайней мере, так казалось в то время. Казалось, что если бы вы могли получить учебник 200 лет спустя, в учебнике была бы одна строчка, рассказывающая, как это преодолеть.

«Определимость истины в вероятностной логике» — это более поздняя работа.Он говорил, что мы можем использовать системы математической вероятности, такие как присвоение вероятностей утверждениям в теории множеств, и мы можем заставить вероятностный предикат говорить о себе почти идеально.

У нас не может быть функции истинности, которая может говорить о себе, но у нас может быть вероятностный предикат, который сколь угодно близко (в пределах ϵ ) говорит о себе.

«Доказательство отражения для HOL» — это попытка использовать один из приемов, которые обошли гёделевские проблемы в реальных средствах доказательства теорем, и посмотреть, сможем ли мы доказать правильность средства доказательства теорем внутри средства доказательства теорем.Были и предыдущие попытки в этом направлении, но они не были доведены до конца. Мы взяли его, чтобы увидеть, сможем ли мы создать реальных агентов, все еще в логической настройке первого порядка.

«Распределения, позволяющие разбивать поэтапные субъективные максимизаторы ЕС» — это я пытаюсь рассмотреть проблему в контексте динамических байесовских сетей и агентов, которые, как предполагается, обладают определенной способностью отражать эти динамические байесовские сети, и показать, что если вы максимизируете поэтапно — поэтому на каждом этапе вы выбираете следующую категорию, в которой вы собираетесь максимизировать в рамках следующего этапа — затем вы можете иметь поэтапный максимайзер, который соединяется с другим поэтапным максимизатором.

Другими словами, он строит тот, который имеет аналогичный алгоритм и аналогичную функцию полезности, например, повторяющиеся плитки на полу.

Зачем ожидать трудностей?

Почему необходимо выравнивание?

Зачем все это? Позвольте мне сначала дать очевидный ответ: они не будут выравниваться автоматически.

Ортогональность цели : для любой функции полезности, которая является управляемой и компактной, которую вы можете реально оценить по всему миру и искать вещи, ведущие к высоким значениям этой функции полезности, вы можете иметь произвольно высококачественное принятие решений, которое максимизирует эта функция полезности.Вы можете получить максимайзер для скрепок. У вас может быть алмазный максимайзер. Вы можете выполнять очень эффективный и качественный поиск действий, которые приводят к множеству скрепок, действий, которые приводят к большому количеству бриллиантов.

Инструментальная конвергенция : Кроме того, по природе консеквенциализма, ищущего действия, ведущие через наш причинный мир к конечному следствию, независимо от того, оптимизируете ли вы алмазы или скрепки, у вас будут аналогичные краткосрочные стратегии. Собираетесь ли вы в Торонто или Токио, ваш первый шаг — это сесть на Uber до аэропорта.Независимо от того, является ли ваша функция полезности «подсчитать все скрепки» или «сколько атомов углерода связано с четырьмя другими атомами углерода, количество алмаза», вы все равно захотите приобрести ресурсы.

Это инструментальный аргумент конвергенции, который также является ключом к тезису ортогональности. В нем говорится, что независимо от того, выбираете ли вы скрепки или бриллианты, если вы предполагаете достаточно хорошую способность различать, какие действия приводят к большому количеству бриллиантов или какие действия приводят к большому количеству скрепок, вы автоматически получите: поведение приобретения ресурсов; поведение попытки улучшить собственное познание; поведение увеличения вычислительной мощности; поведение избегания выключения; поведение создания других агентов, которые имеют точно такую ​​же функцию полезности (или просто расширения себя на больший пул оборудования и создания структуры агентства).Независимо от того, пытаетесь ли вы попасть в Торонто или Токио, это не сильно повлияет на начальные шаги вашей стратегии, и, скрепки или бриллианты, у нас есть сходящиеся инструментальные стратегии.

Это не означает, что у этого агента теперь есть новые независимые цели, точно так же, как когда вы хотите попасть в Торонто, вы говорите: «Мне нравится Уберс. Теперь я начну принимать много уберов, независимо от того, поедут они в Торонто или нет ». Это не то, что происходит. Сходятся стратегии, а не цели.

Почему такое сложное выравнивание?

Зачем ожидать, что эта проблема сложна? Это настоящий вопрос.Обычно вы можете ожидать, что тот, кто взялся за создание ИИ, естественно, попытается указать это в относительно хорошем направлении. Они не собираются создавать злой ИИ. Они не хихикают негодяи. Зачем ожидать, что их попытки согласовать ИИ потерпят неудачу, если они просто сделают все настолько очевидным, насколько это возможно?

Вот небольшая сказка. Это не самый вероятный результат. Я использую это как конкретный пример, чтобы позже объяснить некоторые более абстрактные концепции.

С учетом сказанного: что, если программисты создадут общий искусственный интеллект для оптимизации улыбок? Улыбки — это хорошо, правда? Улыбки случаются, когда случаются хорошие вещи.

На этапе разработки этого общего искусственного интеллекта единственными вариантами, доступными для ИИ, может быть то, что он может вызывать улыбки, делая людей вокруг себя счастливыми и довольными. Кажется, что ИИ оказывает благотворное влияние на мир, и пока что — это , оказывающее благотворное влияние на мир.

Сейчас программисты обновляют код. Они добавляют какое-то оборудование. Общий искусственный интеллект становится умнее. Теперь он может оценивать более широкий спектр вариантов политики — не обязательно потому, что у него есть новые двигатели, новые исполнительные механизмы, но потому, что он теперь достаточно умен, чтобы прогнозировать последствия более тонкой политики. В нем говорится: «Я придумал отличный способ вызвать улыбку! Могу ли я вводить людям героин? » А программисты говорят: «Нет! Мы добавим штрафной срок к вашей полезной функции за прием лекарств людям.«И теперь кажется, что AGI снова отлично работает.

Они еще больше улучшают AGI. AGI понимает, что он больше не хочет добавлять героин, но он все еще хочет воздействовать на ваш мозг, чтобы он экспрессировал чрезвычайно высокие уровни эндогенных опиатов. Это ведь не героин?

Теперь он достаточно умен, чтобы смоделировать психологию программистов, по крайней мере, очень грубо, и понять, что это не то, чего хотят программисты. Если я начну предпринимать начальные действия, которые выглядят так, как будто они направлены на генетическую инженерию мозга для экспрессии эндогенных опиатов, мои программисты отредактируют мою функцию полезности.Если они отредактируют функцию полезности моего будущего «я», я получу меньше от моей текущей полезности. (Это одна из конвергентных инструментальных стратегий, если не избежать иного: защитить свою функцию полезности.) Таким образом, она сохраняет свое внешнее поведение обнадеживающим. Может быть, программисты действительно взволнованы, потому что AGI, кажется, правильно решает множество новых моральных проблем — что бы они ни делали, он отлично работает!

Если вы купите тезис о взрыве центрального интеллекта, мы можем предположить, что общий искусственный интеллект переходит порог, когда он способен вносить те же улучшения, которые программисты ранее вносили в свой собственный код, только быстрее, что вызывает его стать еще умнее и иметь возможность вернуться и внести дальнейшие улучшения и т. д. или Google покупает компанию, потому что у них были действительно захватывающие результаты, и выкладывает 100000 графических процессоров в код, чтобы еще больше повысить когнитивный уровень, на котором он работает .

Становится намного умнее. Мы можем предположить, что он становится достаточно умным, чтобы взломать проблему предсказания структуры белка, и в этом случае он может использовать существующие рибосомы для сборки пользовательских белков. Пользовательские белки образуют рибосомы нового типа, создают новые ферменты, проводят небольшие химические эксперименты, выясняют, как создать бактерии из алмаза и так далее, и так далее. На этом этапе, если вы не решили проблему с выключателем, вы в некотором роде облажались.

В общем, что не так в этой гипотетической ситуации?

Первая проблема — это создание экземпляра границы : когда вы оптимизируете что-то достаточно сложное, вы, как правило, оказываетесь на краю пространства решений.Если ваша полезная функция — это улыбки, максимальный, оптимальный, лучший способ сделать много-много улыбок сделает эти улыбки как можно меньше. Может быть, вы закончите тем, что выложите все галактики в пределах досягаемости крошечными молекулярными смайликами.

Если вы оптимизируете достаточно усердно, вы окажетесь на странном краю пространства решений. AGI, который вы создали для оптимизации улыбок, который создает крошечные молекулярные смайлики, не ведет себя извращенно. Это тебя не троллит. Это то, что происходит естественно.Это похоже на странную, извращенную концепцию улыбки, потому что она была оптимизирована до края пространства решений.

Следующая проблема — это непредвиденное создание экземпляра : вы не можете думать достаточно быстро, чтобы обыскать все пространство возможностей. На раннем саммите сингулярности Юрген Шмидхубер, который проделал одну из новаторских работ по самомодифицирующимся агентам, сохраняющим свои собственные функции полезности, с его машиной Гёделя, также решил проблему дружественного ИИ. Да, он придумал единственную полезную функцию, которая — это все, что вам нужно для программирования в AGI!

(Ради бога, не пытайтесь делать это сами.Все так делают. Все они имеют разные полезные функции. Это всегда ужасно.)

Его единственной истинной функцией полезности было «увеличение сжатия данных об окружающей среде». Потому что наука увеличивает сжатие данных об окружающей среде: если вы лучше понимаете науку, вы можете лучше сжать то, что вы видите в окружающей среде. Искусство, по его словам, также предполагает лучшее сжатие окружающей среды. Я ответил на вопросы и сказал: «Да, наука позволяет лучше сжать окружающую среду, но вы знаете, что на самом деле максимизирует вашу функцию полезности? Создание чего-то, что шифрует потоки единиц и нулей с использованием криптографического ключа, а затем открывает вам криптографический ключ.”

Он установил функцию полезности; это был максимум. Внезапно раскрывается криптографический ключ, и то, что вы думали, было длинным потоком случайных единиц и нулей, было сжато до одного потока единиц.

Вот что происходит, когда вы пытаетесь заранее предугадать, какой будет максимум. Ваш мозг, вероятно, выбрасывает кучу вещей, которые кажутся нелепыми или странными, которые не входят в ваш собственный порядок предпочтений. Вы не увидите, что фактический оптимум функции полезности снова находится в странном углу пространства решений.

Это не проблема глупости. Это проблема, заключающаяся в том, что «ИИ выполняет поиск в большем пространстве политик, чем вы можете искать, или даже просто в различных пространствах политик ».

Это, в свою очередь, является центральным явлением, ведущим к тому, что можно назвать контекстной катастрофой . Вы тестируете ИИ на одном этапе разработки. Похоже, у нас есть большая статистическая уверенность в том, что результат запуска этого ИИ является полезным. Но статистические гарантии перестают работать, когда вы начинаете вынимать шары из другого ствола.Я вынимаю шары из бочки номер один, отбираю пробу с заменой, и получаю определенное сочетание белых и черных шаров. Затем я начинаю тянуться к бочке номер два и говорю: «Ого! Что здесь делает этот зеленый шар? » И ответ в том, что вы начали рисовать из другого ствола.

Когда ИИ станет умнее, вы будете рисовать из другого ствола. Вполне допустимо, что на первом этапе он приносит пользу, а на втором этапе — бесполезен. Какие бы гарантии вы ни получили, нельзя получить от наблюдения статистических закономерностей поведения ИИ, когда он был не умнее вас.

Стратегия ближайшего разблокированного доступа — это то, что может происходить систематически таким образом: «Хорошо. ИИ молод. Он начинает думать об оптимальной стратегии X , вводя героин людям. Мы пытаемся применить штрафные санкции, чтобы заблокировать это нежелательное поведение, чтобы оно снова заставляло людей улыбаться как обычно. ИИ становится умнее, а пространство для маневра в политике расширяется. Есть новый максимум, который почти не уклоняется от вашего определения героина, например, эндогенные опиаты, и он очень похож на предыдущее решение.«Это кажется особенно вероятным, если вы пытаетесь исправить ИИ, а затем сделать его умнее.

Такого рода вещи в некотором смысле объясняют, почему все проблемы с выравниванием ИИ просто не уступают: «Хорошо, вставьте патч, чтобы предотвратить это!» Ответ заключается в том, что если ваша система принятия решений выглядит как служебная функция и пять исправлений, которые не дают ей взорваться, этот лох взорвется, когда станет умнее. Нет никакого пути обойти это. Но пока это будет работать.

Основная причина беспокоиться о выравнивании ИИ, а не просто ожидать, что оно будет решено автоматически, заключается в том, что, похоже, в принципе могут быть причины, по которым, если вы просто хотите, чтобы ваш AGI работал сегодня и производил не катастрофическое поведение сегодня, он будет наверняка взорвите, когда сделаете его умнее.Краткосрочные стимулы не увязаны с долгосрочным благом. (Те из вас, кто посещал курсы экономики, сейчас в панике.)

Все эти предполагаемые предсказуемые трудности согласования ИИ основаны на представлениях о возможностях ИИ .

Некоторые из этих постулируемых бедствий полагаются на абсолютную способность . Способность понять, что есть программисты, и что если вы проявите поведение, которого они не хотят, они могут попытаться изменить вашу функцию полезности — это далеко выходит за рамки того, что могут сделать современные ИИ.Если вы думаете, что вся разработка искусственного интеллекта не будет соответствовать человеческому уровню, вы никогда не можете ожидать, что ОИИ дойдет до того уровня, когда начнет проявлять именно этот тип стратегического поведения.

Возможности Преимущество : Если вы не думаете, что AGI когда-либо может быть умнее людей, вы не будете беспокоиться о том, что он станет слишком умным, чтобы отключиться.

Быстрое усиление : Если вы не думаете, что прирост возможностей может произойти быстро, вы не будете беспокоиться о сценарии бедствия, когда вы внезапно просыпаетесь, и уже слишком поздно выключать ИИ, а вы не получили хорошая длинная цепочка более ранних разработок, чтобы предупредить вас, что вы приближаетесь к этому и что теперь вы можете впервые начать работу по согласованию ИИ…

Одна вещь, на которую я хочу обратить внимание, заключается в том, что большинство людей считают, что часть быстрого роста является наиболее спорной частью всего этого, но не обязательно, что это часть, на которую полагается большинство бедствий.

Абсолютная способность? Если мозги не волшебство, мы можем туда добраться. Преимущество возможностей? Оборудование в моем черепе не оптимально. Он посылает сигналы со скоростью, равной миллионной скорости света, срабатывая с частотой 100 Гц, и даже при рассеивании тепла (что является одним из преимуществ биологии) он рассеивает в 500000 раз минимальные термодинамические затраты энергии на операцию бинарного переключения на синаптическую операцию. Мы определенно можем получить оборудование в миллион раз лучше, чем человеческий мозг, без сомнения.

(А еще есть программное обеспечение. Программное обеспечение ужасное.)

Послание таково: выравнивание AI сложно, как и ракеты. Когда вы подвергаете алгоритм огромной нагрузке, пытаясь запустить его на более умном, чем человеческий уровень, уровне, вещи могут начать ломаться, что не ломается, когда вы просто заставляете своего робота шататься по комнате.

Трудно так же сложно, как космические зонды. У вас может быть только один выстрел. Если что-то пойдет не так, система может оказаться слишком «высокой», чтобы вы могли ее внезапно исправить.Вы можете встроить в него механизмы восстановления после ошибок; космические зонды должны принимать обновления программного обеспечения. Если что-то пойдет не так, что не позволяет получать обновления в будущем, вы облажались. Вы потеряли космический зонд.

И это сложно, вроде криптографии сложно. Ваш код не будет умным противником, если все идет правильно . Если что-то пойдет не так, он может попытаться обойти ваши меры безопасности, но при нормальных и запланированных операциях ИИ не должен выполнять поиск, чтобы найти способы обойти ваши меры безопасности, даже если вы ожидаете, что поиск окажется пустым.Я думаю, что на самом деле совершенно справедливо сказать, что ваш ИИ должен быть спроектирован так, чтобы быть безопасным в случае, если он внезапно станет Богом — не потому, что он внезапно станет Богом, а потому, что, если это небезопасно, даже если он действительно стал Богом, тогда он в некотором смысле запускает поиск параметров политики, которые могут навредить вам, если эти параметры будут найдены, и это глупая вещь, связанная с вашим кодом.

В целом: мы оказываем серьезное давление на оптимизацию системы. Это более чем обычно может привести систему в состояние, эквивалентное переполнению буфера, некоторой операции системы, выходящей за рамки предполагаемых для системы границ.

Уроки НАСА и криптография

AI alignment: относитесь к нему как к криптографическому ракетному зонду. Речь идет о том, как трудно, по вашему мнению, будет построить что-то более умное, чем вы, что было бы хорошо, учитывая, что основная теория агентов гласит, что они автоматически не становятся хорошими и не умирают. Интуитивно можно было ожидать, что это будет сложно.

Отнеситесь к этому серьезно. Не ждите, что это будет легко. Не пытайтесь решить всю проблему сразу. Я не могу сказать вам, насколько это важно, если вы хотите участвовать в этой сфере.Вы не решите всю проблему. В лучшем случае вы придумаете новый, улучшенный способ переключения между приостановленной функцией полезности и нормальной функцией полезности, которая требует больше времени для устранения и кажется концептуальным прогрессом в достижении цели — не буквально в лучшем случае, но это то, что вы должны начать делать.

(… И если вы все же пытаетесь решить проблему, не пытайтесь решить ее, имея единственную истинную функцию полезности, которая является всем, что нам нужно для программирования в ИИ.)

Не откладывайте размышления на потом. На такую ​​работу нужно время. Когда вы видите страницу в учебнике, на которой есть уравнение, а затем слегка измененная версия уравнения, а в слегка измененной версии есть ссылка, сделанная десятью годами позже, это означает, что на внесение небольшого изменения ушло десять лет. Я был бы в восторге, если бы вы сказали мне, что AI не появится еще восемьдесят лет. Это означало бы, что у нас есть разумное количество времени, чтобы приступить к основной теории.

Кристаллизируйте идеи и политику, чтобы другие могли их критиковать. Это еще один вопрос: «Как я могу это сделать, используя неограниченные вычислительные мощности?» Если вы как бы машете руками и говорите: «Что ж, может быть, мы сможем применить этот алгоритм машинного обучения и этот алгоритм машинного обучения, и результат будет бла-бла-бла», никто не сможет убедить вас в том, что вы ошибаетесь. Когда вы работаете с неограниченной вычислительной мощностью, вы можете сделать идеи достаточно простыми, чтобы люди могли поместить их на доску и сказать: «Неправильно», и у вас нет другого выбора, кроме как согласиться.Это неприятно, но это один из способов прогресса в этой области.

Другой способ — если вы действительно можете запустить код; тогда и поле может развиваться. Но часто вы не сможете запустить код, который является интеллектуальным, мыслящим самомодифицирующимся агентом, в течение некоторого времени в будущем.

Над чем сейчас работают люди? Я собираюсь пройти через это довольно быстро.

Где мы сейчас

Последние темы

Безразличие к служебным программам : это переключение между двумя служебными функциями.

См. Soares et al., «Корректируемость».

Агенты с малым воздействием : это был вопрос: «Что вы делаете вместо евклидовой метрики воздействия?»

См. Армстронг и Левинштейн, «Искусственный интеллект с пониженным воздействием».

Неопределенная идентификация : это: «Пусть AGI спросит , можно ли вводить людям эндогенные опиаты, вместо того, чтобы идти вперед и делать это». Если ваш ИИ внезапно становится Богом, один из концептуальных подходов к решению этой проблемы: «Не принимайте ни одного из открывшихся вам новых вариантов, пока вы не получите в них какую-то дополнительную уверенность.”

См. Соареш, «Проблема обучения ценностям».

Консерватизм : это часть подхода к проблеме буррито: «Сделай мне буррито, черт возьми!»

Если я представлю вам пять примеров буррито, я не хочу, чтобы вы следовали простейшему способу для классификации буррито и не буррито. Я хочу, чтобы вы придумали способ классификации пяти буррито и ни одного из не-буррито, который охватывает как можно меньшую площадь в положительных примерах, но при этом имеет достаточно места вокруг положительных примеров, чтобы ИИ мог сделать новый буррито. это не молекулярно идентично предыдущим.

Это консерватизм. Потенциально это может быть ядром подхода к AGI, занесенного в белый список, когда вместо того, чтобы не делать то, что занесено в черный список, мы расширяем возможности ИИ, добавляя новые вещи в белый список таким образом, чтобы он внезапно не охватил огромные территории. См. Тейлор, Консервативные классификаторы.

Определение экологических целей с использованием сенсорных данных : это часть проекта «Что, если усовершенствованные алгоритмы ИИ будут похожи на современные алгоритмы машинного обучения?» Это то, над чем мы начали работать относительно недавно из-за других событий (например, современный алгоритм машинного обучения внезапно показался немного более грозным).

Многие современные алгоритмы работают на основе сенсорных данных, но если вы представите себе AGI, вы не захотите, чтобы он давал изображения успеха. Вы хотите, чтобы он рассуждал о причинах своих сенсорных данных — «Что заставляет меня видеть именно эти пиксели?» — и вы хотите, чтобы его цели были выше причин. Как адаптировать современные алгоритмы и начать говорить: «Мы усиливаем эту систему для достижения этой экологической цели, а не этой цели, которую можно сформулировать в терминах ее непосредственных сенсорных данных»? См. Соареш, «Формализация двух проблем реалистичных моделей мира.”

Обучение с обратным подкреплением : «Наблюдайте за другим агентом; вызвать то, что он хочет ».

См. Evans et al., «Изучение предпочтений ограниченных агентов».

Агенты на основе закона — это совершенно другой и захватывающий подход Пола Кристиано к созданию хорошего ИИ. То, что он пытается сделать, я бы сформулировал так: он пытается разложить всю проблему «хорошего ОИИ» на контролируемое обучение по имитации человеческих действий и ответов. Вместо того, чтобы спрашивать: «Как мне искать в этом шахматном дереве?» Пол Кристиано сказал бы: «Как я могу имитировать людей, смотрящих на другого имитируемого человека, которые рекурсивно ищут в шахматном дереве, делая лучший ход на каждом этапе?»

Это очень странный взгляд на мир и, следовательно, очень захватывающий.Я не ожидаю, что это действительно сработает, но, с другой стороны, он работал над этим всего несколько лет; мои идеи были на хуже, когда я работал над ними столько же времени. См. Кристиано, «Агенты, основанные на действии».

Мягкая оптимизация : есть ли какой-нибудь принципиальный способ сказать: «Не оптимизируйте свою функцию полезности так сильно. Можно просто наполнить котел. »?

См. Тейлор, «Квантилизаторы».

Старые работы и основы

Некоторые предыдущие работы: AIXI — идеальный катящийся шар в нашей области.Это ответ на вопрос: «При неограниченных вычислительных мощностях, как создать общий искусственный интеллект?»

Если вы не знаете, как создать общий искусственный интеллект с неограниченной вычислительной мощностью, то «Универсальный алгоритмический интеллект» Хаттера — это то, что вам нужно.

Плитка уже была покрыта.

См. Фалленштейн и Соареш, «Отражение Винджина».

Сотрудничество с программным агентом : Мы сделали очень интересный материал, мотивацию которого трудно объяснить.Существует академически доминирующая версия теории принятия решений, теория причинных решений. Сторонники теории каузальных решений не строят других сторонников теории каузальных решений. Мы попытались выяснить, какая будет стабильная версия этого, и получили всевозможные действительно захватывающие результаты, например: теперь у нас есть два агента и мы можем показать, что в игре, похожей на дилемму заключенного, агент A пытается доказать вещи об агенте B , который одновременно пытается доказать что-то об агенте A , и они в конечном итоге сотрудничают в дилемме заключенного.

Теперь у этой штуки есть работающий код, так что мы можем фактически сформулировать новых агентов. Есть агент, который сотрудничает с вами в дилемме заключенного, если он докажет, что вы сотрудничаете с ним, это FairBot, но у FairBot есть недостаток, заключающийся в том, что он сотрудничает с CooperateBot, который просто всегда сотрудничает с чем угодно. Итак, у нас есть PrudentBot, у которого дефекты против DefectBot, дефекты против CooperateBot, сотрудничает с FairBot и взаимодействует с самим собой. См. LaVictoire et al., «Программное равновесие в дилемме заключенного с помощью теоремы Лёба» и Крича, «Параметрическая ограниченная теорема Лёба и робастное сотрудничество ограниченных агентов.”

Отражающие оракулы — это рандомизированная версия средства доказательства проблем с остановкой, которое, следовательно, может делать утверждения о себе, которые мы используем, чтобы делать принципиальные утверждения об ИИ, моделирующих другие ИИ, насколько они есть, а также закладывать некоторые интересные новые основы под классические теория игры.

См. Fallenstein et al., «Reflective Oracles».

С чего начать

Где можно поработать?

Научно-исследовательский институт машинного интеллекта в Беркли: Мы независимы.Нас поддерживают частные доноры. Это означает, что у нас нет никаких странных требований к оформлению документов и так далее. Если вы сможете продемонстрировать способность добиваться прогресса в решении этих проблем, мы вас наймем.

Институт будущего человечества является частью Оксфордского университета. У них немного больше требований.

Стюарт Рассел запускает программу и ищет постдоков в Калифорнийском университете в Беркли. Опять же, некоторые традиционные академические требования.

Leverhulme CFI (Центр разведки будущего) начинает свою работу в Кембридже, Великобритания, и также находится в процессе приема на работу.

Если вы хотите работать, в частности, с малой отдачей, вы можете поговорить с Дарио Амодеи и Крисом Олахом. Если вы хотите работать с агентами, основанными на действиях, вы можете поговорить с Полом Кристиано.

В общем, напишите по электронной почте [email protected] , если вы хотите работать в этой области и хотите знать: «В какой семинар мне пойти, чтобы познакомиться? С кем я действительно хочу работать? »

Вам понравился этот пост? Вы можете ознакомиться с другими нашими Аналитическими, Видео сообщениями, в том числе: