Комиссия во главе с Карлом Штумпфом не нашла обмана — и была совершенно права. Обмана действительно не было. Что сделал Оскар Пфунгст, чего не сделала комиссия, и почему через сто с лишним лет именем берлинской лошади назвали ошибку нейросетей.
Во дворе дома на Грибеновштрассе в Берлине в начале 1900-х ежедневно собиралась публика. Отставной учитель математики Вильгельм фон Остен показывал орловского рысака по кличке Ганс, который отстукивал копытом ответы на арифметические задачи.
Ганс складывал и вычитал, извлекал квадратные корни, называл дату по указанию дня недели, различал музыкальные интервалы, показывал время на часах и отвечал на вопросы по буквенной таблице. Правильных ответов было около девяти из десяти.
Фон Остен не брал за показ денег и пускал всех желающих. Эта деталь важнее, чем кажется: она сразу отсекает самое простое объяснение и делает историю по-настоящему поучительной.
Комиссия, которая ничего не нашла
Фон Остен родился в 1838 году, преподавал математику и был убеждён, что животные способны к обучению гораздо больше, чем принято думать. Заниматься с Гансом он начал в 1900 году и учил его теми же средствами, какими учат первоклассника: доска с цифрами, счётные приспособления, таблица звуков. Работа заняла годы.
В сентябре 1904 года дело изучала комиссия, собранная по инициативе психолога и философа Карла Штумпфа. Состав был разношёрстным и разумным: ветеринар, директор цирка, кавалерийский офицер, школьный учитель, зоолог. Искали то, что искали бы все — скрытые сигналы, свисток, подкормку, дрессировку в цирковом смысле.
Комиссия не нашла ничего и вынесла заключение: обмана нет. Вывод был совершенно верен и совершенно бесполезен. Комиссия проверяла умысел, а умысла не было ни у кого.
Что сделал Пфунгст
Штумпф передал задачу своему ассистенту Оскару Пфунгсту, который поступил иначе: вместо поиска обмана он начал менять условия.
- Вопросы задавались человеком, который сам не знал правильного ответа
- Между лошадью и спрашивающим ставили ширму
- Ганса снабжали шорами, ограничивающими поле зрения
- Спрашивающий отходил на разное расстояние
- Вопросы задавали посторонние люди, впервые видевшие лошадь
Картина стала однозначной. Когда спрашивающий знал ответ и был виден лошади, точность держалась около восьмидесяти девяти процентов. Когда он ответа не знал, она падала примерно до шести процентов — то есть до случайного уровня.
Дальше Пфунгст нашёл конкретный сигнал. По мере приближения счёта к нужному числу человек непроизвольно чуть распрямлялся и слегка приподнимал голову; расслабление позы в момент правильного ответа было мельчайшим, порядка миллиметров, но постоянным. Ганс отслеживал именно его.
Самая сильная часть работы шла дальше. Пфунгст сам сыграл роль лошади: он вставал перед испытуемыми, которым говорили загадать число, и научился считывать тот же сигнал у людей. И обнаружил, что подавить его не удаётся никому, включая его самого, даже когда человек знает про сигнал и старается не подавать его. Монография вышла в 1907 году.
Что стало с людьми
Фон Остен результата не принял. Он порвал с Штумпфом и Пфунгстом, обвинил их в недобросовестности и продолжал показы до самой смерти в 1909 году. Никаких оснований считать его мошенником не появилось ни тогда, ни позже: он до конца был уверен, что учил лошадь считать.
Ганс перешёл к ювелиру Карлу Краллу, который завёл целую конюшню «эльберфельдских лошадей» и заявлял о ещё более впечатляющих результатах, включая слепого коня — что, будь это правдой, опровергло бы Пфунгста. Убедительных подтверждений не последовало. Дальнейшая судьба Ганса неясна; считается, что его реквизировали в годы Первой мировой войны.
Все участники этой истории были честны — учитель, комиссия, ассистент и сама лошадь. Результат всё равно оказался неверным. Именно поэтому в науке доверяют процедуре, а не порядочности.
Эффект умного Ганса сегодня
Случай остаётся живым инструментом, а не музейным экспонатом.
Двойной слепой контроль в клинических испытаниях введён ровно по этой причине: врач, знающий, кто получил препарат, передаёт это знание пациенту сотней способов, ни один из которых он не контролирует.
В начале 1960-х Роберт Розенталь показал, что ожидания экспериментатора влияют даже на результаты опытов с крысами: студенты, которым сказали, что их животные выведены как «сообразительные», получали лучшие показатели в лабиринте, хотя крыс раздавали случайно.
В начале 1990-х метод облегчённой коммуникации, при котором помощник поддерживает руку неговорящего человека при наборе текста, проверили простым способом: помощнику и пациенту показывали разные картинки. Ответы совпадали с картинкой помощника. Помощники были совершенно искренни и переживали результат тяжело — они годами верили, что читают чужие слова.
В 2011 году исследователи проверили служебных собак, ищущих наркотики и взрывчатку. В помещениях, где не было заложено ничего, но проводникам сообщили о возможном наличии вещества, собаки давали значительно больше ложных срабатываний. Собака честно реагировала на человека, а человек — на инструкцию.
В 2019 году в Nature Communications вышла работа о системах распознавания изображений, которые классифицировали фотографию как «лошадь» по значку правообладателя, стоявшему на большинстве снимков лошадей в обучающем наборе. Авторы назвали такие модели предсказателями типа умного Ганса. Через сто двенадцать лет берлинский конь дал имя типовому сбою нейронных сетей.
Ганс, к слову, обладал настоящей и редкой способностью. Он различал изменения человеческой позы порядка миллиметра и делал это устойчиво, при разных людях, в разной обстановке. Психологу понадобились месяцы систематической работы, чтобы обнаружить сигнал, который лошадь читала мгновенно. Приписали ей арифметику, а была у неё наблюдательность — и наблюдательность оказалась куда интереснее.
Источники
- Pfungst O. Das Pferd des Herrn von Osten (Der Kluge Hans), 1907
- Wheeler D. L. et al. An experimental assessment of facilitated communication. Mental Retardation, 1993
- Lapuschkin S. et al. Unmasking Clever Hans predictors. Nature Communications, 2019
