Продолжаю конспектировать статьи Элиезера Юдковского о рациональности и когнитивных искажениях.

1. Авторитет не отменяет аргументов. Если мы знаем об авторитете говорящего, то всё равно хотим услышать аргументы. Однако если говорящий сразу начинает с аргументов, то в его авторитетности мы уже не сомневаемся.
2. Если мы видим, что эксперт верит во что-либо, мы предполагаем существование некоего абстрактного свидетельства (пусть даже мы не знаем какого именно), и из существования данного свидетельства мы выводим истинность позиции эксперта.
3. Братья Райт говорят: «Наш самолет полетит». Если вы посмотрите, насколько они авторитетны (механики, чинящие велосипеды и изучавшие физику самостоятельно) и сравните их авторитет, скажем, с лордом Кельвином, вы обнаружите, что лорд Кельвин явно более авторитетен. Если же вы видите на самом деле летящий самолет, то авторитет Кельвина можно даже не обсуждать.
4. На авторитет стоит полагаться только при прочих равных условиях, и он не выдерживает никакой конкуренции с сильными аргументами.
5. Иногда кажется, что для примирения и объединения человечеству нужен новый враг-суперзлодей.
6. Если вы позволяете утверждению о вашей любимой идее компенсировать недостаток ритма в песне, недостаток красоты в картине, недостаток остроты в произведении, то ваше искусство неизбежно будет крайне убого. Когда вы стараетесь рассказать через искусство свою любимую идею, то вы должны придерживаться тех же стандартов, что при рассказе о бабочке. Общий тест, который позволяет распознать ужасное политическое искусство — спросить, казалось бы данное искусство нужным, не будь оно политическим. Если кто-то пишет песню о космическом путешествии, и песня достаточно хороша, что я слушал бы ее, даже будь она о бабочках, тогда и только тогда ей можно начислить бонусные баллы за прославление великой идеи.
7. Есть множество форм искусства, которые страдают от очевидности. Однако юмор страдает больше остальных, поскольку он держится на сюрпризе — нелепом, неожиданном, абсурдном.
8. Если вы обнаруживаете себя в компании людей, которые рассказывают несмешные шутки о злейшем враге, будет хорошей идеей смыться оттуда, пока вы не начали смеяться вместе с ними.
9. Люди, имеющие изначальную точку зрения на проблему находят поддерживающие аргументы более охотно, чем опровергающие. Даже когда их поощряют в том, чтобы они были объективными.
10. Люди тратят больше времени и умственных усилий на то, чтобы отклонить опровергающие аргументы в сравнении с поддерживающими аргументами. Если двум группам с разными мнениями предлагали очевидно уравновешенный набор аргументов, то их мнения поляризовались еще сильнее.
11. Люди, свободные выбирать источники информации, скорее ищут подтверждающие, чем опровергающие источники.
12. Люди, встречаясь с новыми контраргументами, ищут оправдание не снижать свою уверенность и разумеется находят поддерживающие аргументы, которые им уже известны.
13. Вы не можете получить больше истины из фиксированного положения, просто доказывая его; вы можете заставить большей людей поверить этому, но вы не можете сделать это более истинным. Чтобы улучшить наши убеждения, мы обязательно должны менять их. Рациональность — это операция, которую мы используем для получения большей истинности наших убеждений, путем их изменения. Рациональность — это поток, направленный вперед, которые собирает свидетельства, взвешивает их и делает заключение.
14. Рационализация же фиксирует убеждения на месте; её лучше было бы назвать «антирациональностью», как по её результатам, так и по её алгоритму. Рационализация — это обратный поток, от заключения к избранным свидетельствам.
15. Различие между мотивированным скептицизмом и мотивированным доверием в том, что заключения, которым человек не хочет верить, обладают большей требовательностью, нежели заключения, которым человек хочет верить. Мотивированный скептик спрашивает, заставит ли свидетельство принять вывод; мотивированный простак спрашивает позволит ли свидетельство принять вывод.
16. Когда люди уклоняются от неудобных выборов, они часто вредят другим точно так же, как и себе. Отказаться от выбора часто бывает наихудшим выбором, который вы можете сделать. Цена удобства слишком велика. Важно овладеть привычкой стискивать зубы и выбирать — так же важно как впоследствии искать лучшие альтернативы.
17. Бывает, что вы говорите вещи, которые звучат неправильно для новичка, в противовес магически звучащей технической терминологии о лептонных кварковых переплетениях в N+2 измерениях; и слушатель является незнакомцем, не знающим вас лично и тему разговора. Тогда я подозреваю что точка, в которой средний человек на самом деле начнет доверять не своему первому впечатлению, чисто из-за академических степеней, где-то рядом с уровнем Нобелевского лауреата. Грубо говоря, вам нужен любой уровень академических регалий, расцениваемый как «за гранью обыденности». Примерно это произошло с Эриком Дрекслером. Он представил свое видение нанотехнологии и люди сказали, — «Где технические подробности?» или «Возвращайтесь, когда у вас будет степень!» И он провел шесть лет, расписывая технические подробности и получая степень под руководством Марвина Мински. Его «Наносистемы» — это великая книга. Но изменили ли те люди, которые говорили «Возвращайтесь, когда получите степень!» свое мнение о молекулярной нанотехнологии после этого? Нет.
18. Иметь ложные убеждения плохо, но это не наносит постоянного вреда — если, когда вы обнаруживаете вашу ошибку, вы исправляете её. Опасно иметь ложное убеждение, если вы верите, что его нужно защищать в качестве убеждения — вера в убеждение, которая может сопровождаться настоящим убеждением.
19. Если вы сделаете нечто личным, это защитит его от критики. Вы сможете говорить: «Вы не можете критиковать меня, поскольку это личное для меня, внутренний опыт, к которому у вас никогда не будет доступа, чтобы вы могли поставить его под вопрос». Но ценой такой защиты себя от критики является то, что вы впадаете в одиночество.
20. Когда ложь защищается веками, подлинное происхождение болезненных привычек теряется в тумане, под множеством слоев недокументированной болезни; и тогда, думаю, мудрее будет начать с нуля, а не пытаться избирательно отказываться от исходной лжи и сохранять привычки мышления, что защищали ее. Просто признайте, что вы неправы, сдайтесь полностью, прекратите защищать ошибку, хватит пытаться говорить, что вы «чуть-чуть правы», не пытайтесь сохранить лицо, просто скажите «Ой!», отбросьте все это и начните заново.

Продолжение следует.