ChatGPT это чушь такая или полная хрень?

ChatGPT - это чушь или хрень?

функционирует скорее для того, чтобы убедить читателя в истинности своего утверждения

ChatGPT это чушь такая или полная хрень?

умная машина для всякой ерунды

В последнее время наблюдается значительный интерес к большим языковым моделям: системам машинного обучения, которые производят текст и диалоги, похожие на человеческие. Приложения этих систем страдают от постоянных неточностей в их выходных данных; их часто называют «галлюцинациями ИИ». Авторы считают, что эти ложные утверждения и общая активность больших языковых моделей лучше понимать как чушь в том смысле, который исследовал Франкфурт (Frankfurt), "О чуши", Принстон, 2005, - модели в значительной степени безразличны к истинности своих выходных данных. Описание ложных представлений ИИ как чуши является как более полезным, так и более точным способом прогнозирования и обсуждения поведения этих систем. Теперь можно рассмотреть вопрос следующего рода: ChatGPT - это жесткая чушь, мягкая чушь или ни то, ни другое?

Майкл Таунсен Хикс (Michael Townsen Hicks)

ChatGPT - мягкая чушь. ChatGPT не намерен передавать правду, и поэтому является мягкой чушью. Можно привести простой аргумент. Либо у ChatGPT есть намерения, либо нет. Если у него вообще нет намерений, он, по сути, не намерен передавать правду. Поэтому он безразличен к истинности своих высказываний и поэтому является мягким бредом.

А что, если намерения есть? ChatGPT не предназначен для создания истинных высказываний; скорее, он предназначен для создания текста, который неотличим от текста, созданного людьми. Он нацелен на то, чтобы быть убедительным, а не точным. Базовая архитектура языковых моделей показывает: они предназначены для того, чтобы придумывать вероятное продолжение строки текста. Разумно предположить, что один из способов быть вероятным продолжением текста - быть правдивым; если люди примерно более точны, чем случайность, истинные предложения будут более вероятными, чем ложные. Это может сделать чат-бота более точным, чем случайность, но это не дает чат-боту никакого намерения передавать правду. Похоже на стандартные случаи людей-бредовиков, которым все равно, являются ли их высказывания правдой. Хорошая чушь часто содержит некоторую долю правды, это часть того, что делает ее убедительной. Чушь может быть точнее случайности, при этом оставаясь безразличной к правде своих высказываний. Приходим к выводу, что даже если чат-бот можно описать как имеющий намерения, ему безразлично, являются ли его высказывания правдой. Его не волнует и не может волновать правдивость его вывода.

Предположительно, ChatGPT не может заботиться о передаче или сокрытии правды, поскольку его не может волновать ничего. Поэтому, просто как вопрос концептуальной необходимости, он соответствует одному из критериев Франкфурта для чуши. Однако это только заводит нас - камень тоже не может волновать ничего, и было бы явно абсурдно предполагать, что это означает, что камни - чуши. Аналогично книги могут содержать чушь, но сами по себе они не чушь. В отличие от камней - или даже книг - ChatGPT производит текст и выглядит так, будто выполняет речевые акты независимо от своих пользователей и дизайнеров. И хотя существуют значительные разногласия относительно того, имеет ли ChatGPT намерения, широко распространено мнение, что предложения, которые он производит, осмысленны. ChatGPT функционирует не для того, чтобы передавать истину или ложь, а скорее для того, чтобы убедить читателя в истинности своего утверждения, и разработан таким образом, чтобы сделать попытки чуши эффективными. Таким образом, похоже, что как минимум - это мягкая чушь: если мы считаем, что у него нет намерений, то нет никаких попыток ввести в заблуждение относительно истины, но тем не менее он занимается выводом высказываний, которые выглядят как соответствующие истине.

Джеймс Хамфрис (James Humphries)

ChatGPT как хрень. Но является ли ChatGPT хренью? Критик может возразить, что просто неуместно думать о подобных программах как о хренях, потому что (i) они не являются агентами, или, соответственно, (ii) они не имеют и не могут иметь никаких намерений. Однако. Во-первых, имеет ли программа агентство или нет, ее создатели и пользователи имеют. И то, что они производят с ее помощью, это хрень. Во-вторых, независимо от того, есть ли агентство, есть функция; эта функция дает характерные цели и, возможно, даже намерения, которые соответствуют нашему определению хрени. Что мы имеем в виду, когда спрашиваем, является ли ChatGPT агентом? Для целей этой статьи центральный вопрос заключается в том, имеет ли ChatGPT намерения и/или убеждения. Намерен ли он обманывать? Можно ли в каком-либо буквальном смысле сказать, что у него есть цели или задачи? Если да, то намерен ли он обманывать нас относительно содержания своих высказываний или просто имеет цель казаться компетентным оратором? Есть ли у него убеждения - внутренние репрезентативные состояния, которые направлены на отслеживание истины? Если да, соответствуют ли его высказывания этим убеждениям (в этом случае его ложные утверждения могут быть чем-то вроде галлюцинаций) или его высказывания не соответствуют убеждениям - в этом случае они, скорее всего, будут либо ложью, либо ерундой.

Джо Слейтер (Joe Slater)

ChatGPT - это машина для ерунды. Даже если ChatGPT сам по себе не является жестким ерундовым писателем, он все равно является машиной для ерунды. Человек, использующий его, поскольку он (i) не заботится об истинности того, что он говорит, (ii) хочет, чтобы читатель верил тому, что выводит приложение. По мнению Франкфурта, ерунда - это ерунда, даже если она произнесена без намерения ерунды: если что-то изначально является ерундой, то ее повторение «является ерундой».

Идея ChatGPT как машины для ерунды полезна, если сочетать ее с различием между жесткой и мягкой ерундой. Мы все, отмечали работы студентов, в которых было очевидно, что словарь или тезаурус использованы с сокрушительным отсутствием тонкости, где умные слова используются не потому, что они являются лучшим выбором, и даже не потому, что они служат для сокрытия истины, а просто потому, что автор хочет создать впечатление понимания и утонченности. Было бы неуместно называть словарь художником ерунды в этом случае; но было бы уместно назвать результат ерундой. ChatGPT выводит чушь таким образом, который выходит за рамки того, чтобы быть просто вектором чуши: он не заботится и не может заботиться об истинности своего вывода, и человек, использующий его, делает это не для того, чтобы передать правду или ложь, а скорее для того, чтобы убедить слушателя, что текст был написан заинтересованным и внимательным агентом.

Является ли ChatGPT жестким бредом? Если так, у него должны быть намерения или цели: он должен намереваться обмануть своего слушателя не относительно содержания своих утверждений, а вместо этого относительно своей повестки дня. Вспомним, что жесткие бреды, такие как неподготовленный студент или некомпетентный политик, не заботятся о том, являются ли их утверждения истинными или ложными, но намереваются обмануть свою аудиторию относительно того, что они делают. Если так, у него должны быть намерения или цели: он должен намереваться обмануть своего слушателя не относительно содержания своих утверждений, а вместо этого относительно своей повестки дня. Мы не думаем, что ChatGPT является агентом или имеет намерения точно так же, как люди. Но, если говорить в общих чертах, то удивительно легко использовать преднамеренный язык для его описания: что пытается сделать ChatGPT? Заботится ли он о том, является ли текст, который он создает, точным? Скорее он намерен обмануть нас относительно своей повестки дня: его цель не в том, чтобы убедить нас в содержании своих высказываний, а в том, чтобы представить себя как «нормального» собеседника, как и мы. Основная его функция - имитировать человеческую речь.

Откуда мы знаем, что ChatGPT функционирует как жесткий брехун? Подобные программы предназначены для выполнения задачи, и эта задача удивительно похожа на то, что, по мнению Франкфурта, делает брехун, а именно, обмануть читателя относительно природы предприятия - в данном случае обмануть читателя, заставив его думать, что он читает что-то, созданное существом с намерениями и убеждениями. Алгоритм создания текста разработан и отточен в процессе, весьма похожем на искусственный отбор. Функции и процессы отбора имеют ту же направленность, что и человеческие намерения. Если бот понимается как имеющий намерения или состояния, подобные намерениям, его намерение состоит в том, чтобы представить себя определенным образом (как агента или собеседника), а не в том, чтобы представлять и передавать факты. Другими словами, у него есть намерения, которые мы ассоциируем с жестким враньем. Если мы знаем, почему была разработана система, мы можем делать прогнозы на основе ее дизайна. Хотя мы знаем, что ChatGPT был разработан для чата, его точный алгоритм и способ, которым он выдает свои ответы, разработаны машинным обучением, поэтому мы не знаем точных деталей того, как он работает и что он делает. При таком невежестве возникает соблазн ввести преднамеренные описания, чтобы помочь нам понять и предсказать, что делает ChatGPT.

Когда мы принимаем преднамеренную позицию, мы будем делать плохие прогнозы, если приписываем ChatGPT какое-либо желание передать правду. Аналогично, приписывание «галлюцинаций» ChatGPT приведет нас к прогнозированию, как будто он воспринимает вещи, которых нет, тогда как то, что он делает, гораздо больше похоже на выдумывание чего-то, потому что это звучит примерно правильно. Прежняя преднамеренная атрибуция приведет нас к попытке исправить его убеждения и исправить его входные данные - стратегия, которая имела ограниченный успех, если вообще имела. С другой стороны, если мы приписываем ChatGPT намерения закоренелого брехуна, мы сможем лучше диагностировать ситуации, в которых он будет совершать ошибки и передавать ложь. Если он пытается что-то сделать, он пытается выдать себя за человека. Поскольку эта причина считать ChatGPT жестким бредом подразумевает приверженность одному или нескольким спорным взглядам на разум и значение, это более тенденциозно, чем просто думать о нем как о машине для бреда; но независимо от того, есть ли у программы намерения или нет, где-то на этом пути явно присутствует попытка обмануть слушателя или читателя относительно природы предприятия, и, по нашему мнению, это оправдывает называние вывода жестким бредом.

Итак, человек, использующий ChatGPT для выпуска какой-то бумаги или разговора, не озабочен ни передачей, ни сокрытием правды (поскольку и то, и другое требует внимания к тому, что на самом деле является правдой), и сама система тоже. Как минимум, она штампует мягкую чушь, и, учитывая определенные спорные предположения о природе преднамеренной атрибуции, она производит жесткую чушь; Конкретная текстура чуши не важна для наших целей: в любом случае ChatGPT - чушь. И машина для ерунды. Такая терминология избегает выводов о том, что восприятие или запоминание происходит в процессе работы языковой модели. Также можно описать это как чушь, когда она производит выходные данные. Как и человек-чушь, некоторые выходные данные, скорее всего, будут правдой, а другие - нет. И как и в случае с человеком-чушью, следует быть осторожным, полагаясь на любые из этих выходных данных. Машины не пытаются сообщить то, во что они верят или что воспринимают. Их неточность не вызвана неправильным восприятием или галлюцинацией. Они вообще не пытаются передать информацию. Они врут.

Майкл Таунсен Хикс (Michael Townsen Hicks), Джеймс Хамфрис (James Humphries), Джо Слейтер (Joe Slater), Университет Глазго, Шотландия, "ChatGPT - это чушь", "Этика и информационные технологии" (Ethics and Information Technology), 26, 08 июня 2024.

18.08.2024