Продолжаю конспектировать статьи Элиезера Юдковского о рациональности и когнитивных искажениях.

1. Разные модели мира могут давать одинаковую картину.
2. Наше сознание может моделировать неведомое, и даже умеет предсказывать чувственный опыт. При этом у нас встречаются убеждения о вещах, которые не просто незримы — они нереальны.
3. Более того, сознание может связывать понятия, про которые не имеет чувственного опыта. Представим, что нам говорят про писателя, и называют его пост-утопистом. Мы не читали его работ и не знаем, кто такие пост-утописты. Затем мы узнаем, что пост-утописты выступают за борьбу с капитализмом. Так мы делаем вывод, что писатель — борец с капиталистическим опытом. Так мы строим целые сети убеждений, соединённые только друг с другом. Это опасно.
4. Чтобы бороться с таким искажением, следует задавать себе вопрос: какой новый опыт я получу? Этот писатель — пост-утопист. Ну а что мне с того?
5. Два рационалиста не могут согласиться не соглашаться. Если два человека не соглашаются друг с другом, то хотя бы один из них должен быть в чем-то неправ.
6. Убеждение как групповая идентификация — это неполноценное убеждение. Это скорее способ войти в сообщество, подчеркнуть свою принадлежность к нему. Аналогично действуют люди, надевающие рясу.
7. Рациональные убеждения заразительны. Если убеждения человека не заразительны, то значит он делает их на основании личных или скрытых причин, что плохо.
8. Убеждение стоит того, чтобы в него верить, если тебя в принципе можно убедить не верить в него. Это означает, что ты привит от слепой веры во что-то.
9. Хайнлайн писал, что самое простое обоснование чего угодно выглядит так: «Женщина дальше по улице — ведьма, значит она это сделала». Рационалист должен задавать к этой фразе вопросы. Как она это сделала? Что именно сделала?
10. Нельзя проводить эксперименты, которые подтверждают теорию. Эксперименты должны испытывать её на прочность.
11. Хороший принцип — если вы испытываете замешательство, то значит с убеждениями что-то не так.
12. Часто выдуманное удивляет рационалиста сильнее существующего.
13. Важно разделять то, что человек говорит (речевое поведение) и его убеждение. Яркий пример: дети в школе, которые по памяти называют зазубренные формулы, но не понимают их смысла.
14. Есть семантические стоп-сигналы: бог, ИГИЛ, ГМО. Когда слышишь их, то автоматически превращает в контр-аргументы в разговоре. Их главная черта — нежелание рассмотреть следующий вопрос. Важно избегать такое, стоп-сигналы это плохая штука.
15. Также важно опасаться таинственных ответов на таинственные вопросы. «Почему у нас есть стремление к бессмертию? — Потому что у нас есть жизненная сила!». В таких вопросах ответ является сплошной силой. И явление продолжает оставаться тайной даже после ответа.
16. Есть заклинание, останавливающее любопытство. Когда кто-то спрашивает: «Как ты это сделал?», я просто отвечаю: «Наука!»
17. Вокруг нас мало рационалистов.Для большинства восприятие хаотичного мира предполагает хаотичные стратегии борьбы с ним. Тебе надо сделать лишний шаг, подумать мысль, не приходящую в голову первой, для того, чтобы сообразить что-то иное для борьбы с огнем, чем огонь.
18. Непросвещенные говорят: «Рациональность работает лишь при взаимодействии с рациональными людьми, но мир нерационален». Но выбрасывание собственной рациональности, при встрече с нерациональным оппонентом, не поможет. Есть законные формы мышления, которые все же генерируют наилучший ответ, даже при встрече с оппонентом, нарушающим законы. Теория принятия решений не сгорает синим пламенем при встрече с оппонентом, не подчиняющимся этой теории.
19. Сталкиваясь с неизвестным, мы выбираем из трилеммы: объяснить, поклониться, игнорировать.
20. Лучше всего объяснять. Нажмёшь «объяснить» для жизни — получишь химию. Нажмёшь «объяснить» для химии — получишь атомы. Нажмёшь «объяснить» для атомов — получишь электроны и нуклоны. Нажмёшь «объяснить» для нуклонов — получишь хромодинамику и кварки. Нажмёшь «объяснить» для того, чтобы узнать, откуда взялись кварки — вернёшься во времена Большого Взрыва. Не забывайте, что поклоняться можно по-разному. Поклоняться можно и не зажигая свечей вокруг алтаря. Если бы я сказал «Хм, это какой-то парадокс. Интересно, как он разрешается?», то это означало бы, что я нажал «объяснить» и теперь терпеливо жду ответа. И если весь вопрос кажется тебе неважным, или неуместным, или тебе кажется, что лучше подумать о нём потом — значит, ты нажал «игнорировать».

Продолжение саммари.