Интерпретация длинного текста Виталика: почему умные люди должны придерживаться «глупых правил»?

Автор: Чжисюн Пан

Статья «Galaxy Brain Resistance», опубликованная Виталиком несколько недель назад, на самом деле довольно трудна для понимания, и я не видел хороших интерпретаций, так что я попробую.

В конце концов, создатель термина Vibe Coding Карпати также прочитал эту статью и сделал заметки, значит, в этом определенно есть что-то особенное.

Сначала давайте обсудим, что означают заголовки Galaxy Brain и Resistance. Поняв этот заголовок, вы сможете понять, о чем примерно идет речь в этой статье.

1️⃣ Перевод Galaxy Brain на китайский язык – «银河大脑», но на самом деле это происходит от интернет-мема, похожего на (🌌🧠), который вы, безусловно, видели.

Изначально это, конечно, было положительным выражением, использовавшимся для похвалы гениальности мыслей другого человека, то есть для обозначения ума. Но затем, с распространением этого выражения, оно постепенно превратилось в некую иронию, примерно означающую «слишком много думаешь, логика слишком запутанная».

А Виталик здесь упоминает 🌌🧠, имея в виду такое поведение, как «использование высокого интеллекта для умственных упражнений, чтобы заставить нелепые вещи выглядеть разумными». Например:

• Явно сокращая штат для экономии, они все же утверждают, что это «передача высококвалифицированных кадров обществу».

• Явно являясь проектом с воздухом, который обманывает инвесторов, они утверждают, что «уполномочивают глобальную экономику с помощью децентрализованного управления».

Все это можно считать мышлением в стиле «Галактического разума».

2️⃣ Что же такое сопротивление (抗性)? Это понятие довольно легко запутать, в популярном выражении его можно сравнить с «умением не поддаваться на провокации» или «умением не быть обманутым».

Таким образом, Galaxy Brain Resistance должно быть Resistance to [becoming] Galaxy Brain, то есть: «способность сопротивляться (превращению в) Галактический Мозг (ерунда)».

Или, более точно, насколько трудно использовать стиль мышления / аргументации, который был неправомерно использован для «доказательства любых выводов, которые вы хотите».

Таким образом, это «сопротивление» может быть направлено против какой-то «теории», например,

• Теория низкой сопротивляемости (Low Resistance): стоит только немного поразмыслить, как она может превратиться в крайне абсурдную логику «Галактического мозга».

• Теория высокой устойчивости (High Resistance): Как бы вы ни анализировали это, оно остается неизменным, и его трудно превратить в абсурдную логику.

Например, Виталик говорит, что закон в идеальном обществе должен иметь одну красную линию: запрещать действие можно только тогда, когда можно четко объяснить, как оно наносит ущерб или создает риск для конкретной жертвы. Этот стандарт обладает высокой устойчивостью к Galaxy Brain, поскольку он не принимает такие нечеткие и неопределенные причины, как «мне субъективно не нравится» или «это противоречит морали».

3️⃣ Виталик в статье также привел множество примеров, даже использовал теории, которые мы часто слышим, такие как «долгосрочная перспектива» и «неизбежность».

«Долгосрочная перспектива» очень трудно противостоять 🌌🧠 типу мышления, потому что её устойчивость крайне низка, это просто «пустой чек». Потому что «будущее» слишком далеко и слишком неопределенно.

• Высокая устойчивость: «Это дерево через 10 лет может вырасти на 5 метров». Это можно проверить, не так легко сказать ерунду.

• Низкая сопротивляемость “долгосрочному подходу”: “Хотя я сейчас собираюсь сделать нечто крайне аморальное (например, убрать часть людей или развязать войну), но это ради того, чтобы через 500 лет человечество могло жить в утопическом обществе. По моим расчетам, общее количество счастья в будущем бесконечно, поэтому нынешние жертвы незначительны.”

Смотри, если ты растянешь время достаточно долго, ты можешь оправдать любое зло в данный момент. Как сказал Виталик: «Если твой аргумент может доказать, что что угодно оправдано, то твой аргумент ничего не доказывает.»

Тем не менее, Виталик также признал, что «долгосрочные вещи важны», он критиковал «использование чрезмерно неопределенных, непроверяемых будущих доходов, чтобы скрыть явный ущерб в настоящем».

Другой тяжелый район — это «неизбежность» (Inevitabilism).

Это также любимая техника самообороны в Силиконовой долине и технологическом кругу.

Речь идет о следующем: «Замена человеческого труда ИИ — это неизбежность истории, даже если я этого не сделаю, кто-то другой сделает. Поэтому я сейчас радикально разрабатываю ИИ не для того, чтобы зарабатывать деньги, а чтобы соответствовать исторической тенденции.»

Где низкая сопротивляемость? Это идеально разрушает чувство ответственности у человека. Поскольку это «неизбежно», мне не нужно нести ответственность за причиненный мной ущерб.

Это также典型ное银河大脑: личные желания «Я хочу зарабатывать деньги / Я хочу иметь власть» упакованы в «Я выполняю историческую задачу».

4️⃣ Что нам делать с этими «ловушками умных людей»?

Лекарство, предложенное Виталиком, оказалось неожиданно простым, даже немного «глупым». Он считает, что чем умнее человек, тем больше ему нужны жесткие правила, чтобы ограничить себя и предотвратить от того, чтобы его умственные акробатики не вышли из-под контроля.

Во-первых, придерживайтесь «долговой теории» (Деонтологическая этика), то есть моральных железных правил на уровне детского сада.

Не стоит считать сложные математические задачи вроде «ради будущего всего человечества», вернитесь к самым строгим принципам:

• Не кради

• Не убивайте невинных людей

• Не обманывайте

• Уважайте свободу других

Эти правила обладают высокой степенью устойчивости. Поскольку они черно-белые, их невозможно обсуждать. Когда вы пытаетесь объяснить, почему вы хотите присвоить средства пользователей с помощью высокопарной логики «долгосрочного мышления», эта строгая заповедь «не кради» ударит вас по лицу: украл — значит, украл, не надо говорить о великой финансовой революции.

Во-вторых, иметь правильную «позицию», включая даже физическое местоположение.

Пословица гласит, что задница определяет голову. Если вы каждый день находитесь в эхо-камере залива Сан-Франциско, окружённой людьми, занимающимися ускорением ИИ, вам будет трудно оставаться в сознании. Виталик даже дал совет с физической точки зрения: не живите в заливе Сан-Франциско.

5️⃣ Резюме

Виталик эта статья на самом деле предупреждает тех очень умных элит: не думайте, что из-за вашего высокого IQ вы можете обойти простые моральные границы.

Теории «Галактического разума», которые звучат так, будто могут объяснить все, часто являются самыми опасными универсальными отговорками. Напротив, те правила «высокой устойчивости», которые звучат жестко и догматично, являются последней линией защиты от самозаблуждения.