Исследования ИИ тред #1 Обсуждаем развитие искусственного интеллекта с более технической стороны, ч
Аноним
24/12/22 Суб 11:12:16
№
1
Обсуждаем развитие искусственного интеллекта с более технической стороны, чем обычно.
Количество параметров в модели CAI не должно сильно отличаться от LaMDA и ChatGPT. Даже вполне возможно, что CAI - это и есть LaMDA, которую дополнительно откалибровали на куче ролёвок с интернета. Конкретно меня настораживает первый запрос из таблицы в пикриле #1 в этой статье:
https://arxiv.org/abs/2201.08239
Если вы спросите CAI об этом прямо сейчас - он скорее всего даст ответ примерно с пикрила #2. Этот ИИ явно был откалиброван на этом вопросе конкретно. Но уже есть некоторая вариативность в связи с тем, что заметившие это аноны начали задавать этот вопрос в различных контекстах. Раньше ИИ автоматически давал ответ простым текстом.
Изначальная модель CAI, кажется, была даже более смекалистой, чем ChatGPT, но сейчас это ясное дело не подтвердишь.
Мы можем сказать, что количество параметров модели CharacterAI - около 137 миллиардов ИЗНАЧАЛЬНО, но сейчас гарантированно меньше (разработчики прямо говорили о том, что используют уменьшенные модели).
https://github.com/yandex/YaLM-100B
Для того, чтобы её запустить, нужно 4 A100 (мощнейшие видеокарты от Nvidia)
Сегодняшняя крупнейшая языковая модель в открытом доступе - BLOOM - требует столько же в вариации на 178 млрд параметров (что больше YaLM на 78%).
В перерасчёте на одно сообщение, обработка которого в среднем занимает меньше 5 секунд, выходит примерно один (1) рубль за сообщение. И это СЕЙЧАС, с ровно СЕГОДНЯШНИМИ технологиями.
https://arxiv.org/abs/2210.06313
Конечно, для этого нужны подходящие инструменты, но они уже существуют.
https://github.com/neuralmagic/deepsparse
https://github.com/neuralmagic/sparseml/
При этом скорее всего вычисления такого вида (редкие) лучше делать на процессорах, как показала практика. Так что скорее всего для работы модели уровня изначальной Character.AI или ChatGPT даже не нужна будет видеокарта или ебовейший процессор.
Так бы гугл и дал свои ии каким-то левым херам
Ну ты и шиз
Я не думаю, что это конкретно LaMDA. Но разработчики CAI (Noam Shazeer, Daniel De Freitas) - это те же самые люди, которые разработали LaMDA. Скорее всего, они повторили процесс и получили то же самое.
Хорошо. Надеюсь русские нейросети всё же смогут ворочаться на уровне западных.
Это называется естественный отбор. Он постоянно заставляет людей превосходить свои пределы и становиться умнее/лучшее. Если тебя сможет порешать алгоритм, то спроси себя, можешь ли ты после этого называться человеком вообще?
>Так бы гугл и дал свои ии каким-то левым херам
Он спокойно может тебе его сдать в аренду. Вместе со своими серверами, на которых он крутится. Так что доставай котлету баксов и тебе дадут порулить ии.
"левые херы" - это просто прикрытие гугла, чтобы не портить репутацию.
Почему надеешься? Какая разница какая страна происхождения ИИ?
>3. Сегодняшние ИИ, особенно ИИ такого размера, крайне расточительны. УЖЕ можно сточить 97% вычислений и при этом даже улучшить качество модели:
Это действительно хорошая новость, ИИ будет становиться доступнее с каждым днем.
>>2333
>ПИЗДЕЦ огромному количеству профессий
90% работает на заводе или в шестерочке. Обычным людям нечего бояться.
>повторили процесс
Откуда у них такие же средства какие есть у крупной компании?
>Сегодняшние ИИ, особенно ИИ такого размера, крайне расточительны. УЖЕ можно сточить 97% вычислений и при этом даже улучшить качество модели
Вот только есть один маааленький нюанс: "сегодняшние ИИ" даже не ИИ толком, корректнее это называть narrow AI, то есть узкоспециализированная программа для решения какой-то примитивной задачи. В данном случае задачей поставили предсказание букв, слов и предложений в тексте, что в принципе не требует мыслительной активности.
Так что хорош постить Терминатора, его мозги умели обучаться, а не только в чатике срать.
>предсказание букв, слов и предложений в тексте, что в принципе не требует мыслительной активности.
Точно точно? Ну-ка, построй мне грамотное предложение на норвежском. Разрешаю пользоваться русско-норвежским словарём.
>предложение на норвежском
Ты не понял. Построение предложений - это в 99% случаев совершенно бессознательный процесс. У человека в мозге есть участок новой коры, который долгими тренировками обучен составлять предложения на определённых языках. Также есть два симметричных участка для понимания текста/речи на определённых языках. Но эти участки коры работают бессознательно, мы физически не способны осознать их работу. Мы осознаём только результат их работы - как то, что мы прочитали, услышали, сказали вслух или мысленно проговорили. Это действительно всего лишь узкоспециализированные нейронки, которые не способны самостоятельно думать. Когда человек находится в бессознательном состоянии, эти участки коры могут активизироваться и произносить какие-то фразы, которые будут казаться осмысленными, но на деле могут быть откровенным бредом. У людей с нарушениями психики эта нейронка может на постоянной основе нести бред, потому что высшие участки коры по какой-то причине потеряли контроль над этой низшей нейронкой. Изучая новый язык, ты тренируешь эти низшие нейронки на понимание нового языка и синтез текста на этом языке - это может занять годы, но в конечном итоге ты будешь пользоваться новым языком так же бессознательно, как и родным.
А мыслительная активность, о которой я говорил - это сознательный диалог с самим собой, с самокритикой и корректировкой собственных ошибок, происходящая длительное время и несущая осознанный результат. Судя по описаниям текущих языковых моделей, они даже не пытаются такое реализовать, по сути лишь предсказывая следующее предложение в тексте посредством статистических методов. Это хорошо, что у них получился такой впечатляющий результат, но дальше тупик - нужно делать систему высшего уровня, которая будет пользоваться результатом нейронок, понимающих и синтезирующих текст. Система, которая будет действительно думать, а не просто предсказывать следующую фразу в заданном тексте.
Вот ты видел ошибочные ответы ChatGPT? Пример:
>Но ведь 47 больше 64?
>Да, простите, я ошиблась, 47 и правда больше 64.
>Посчитай от 64 до 47.
>64, 65, 67... 456, 457, 458...
Разве мыслящий человек стал бы нести такой бред, обладая, по сути, всеми знаниями человечества на множестве языков? Нет, конечно. ChatGPT просто пытается найти продолжение заданного текста, не задумываясь ни о тексте, ни о своих действиях. На данный момент это тупик, который невозможно обойти простым увеличением мощности железа - нужна какая-то система высшего уровня, а не просто докидывание слоёв в нейронку, предсказывающую следующую фразу в тексте.
Я все-таки придерживаюсь мнения, что они брали опенсорс модели и проводили их настройку. В инете сейчас не так много моделей с более чем 100b параметров, но я уже постил ссылку на один из кандидатов(bloom) в CAI-треде несколько тредов назад.
Ну ты же понимаешь, что сам язык и цифры - абстракции, которые понять подобной и даже более разумной нейросетке будет пиздец как сложно, ибо связи в этих абстракциях очевидны только людям? А по поводу узконаправленности - гугли модель от DeepMind. Я вообще думаю, что какой-то реально полноценный ИИ - это совокупность таких более слабых. Как в принципе и человек, который состоит из различных функциональных компонентов, так и нормальный ИИ должен, чтобы человеческий опыт можно было полностью перенести на него.
>Построение предложений - это в 99% случаев совершенно бессознательный процесс.
Равно как и 99% мыслей в обычных, бытовых условиях.
>Это действительно всего лишь узкоспециализированные нейронки, которые не способны самостоятельно думать.
Само собой. Но способность к восприятию, обработке и синтезу речи - это уже часть немалая. Чтобы эта хуйня думала самостоятельно, ей надо прикрутить мотивацию в виде автоматического самопоощрения или что-то такое.
Твоё определение narrow AI уже разработано настолько, что в нём можно без труда спрятать банку сгущёнки. Традиционно, narrow AI называют системы с ограниченными задачами: например, отличить кота от хлеба, найти грязь уйгур на картинке, выдать Да/Нет или Петя/Вася на предложение на естественном языке. Ты же безумно определяешь узость системы по её обжективу: max log likelihood, предсказанию следующих токенов. Но в этом ненамного больше смысла, чем в определении человеческого поведения как серии мышечных подёргиваний для максимизации шансов поебаться или повысить выделение дофамины. Это не суть поведения языковых моделей, а их субстрат. То, что мы можем легче увидеть субстрат поведения LLM, а наш собственный скрыт от нас слоями абстракции и непрозрачной путаной реализации, в принципе не важно.
Языковые модели решают огромный спектр задач, они вытащили из статистических регулярностей языка структуру, близкую по сложности к человеческой модели мира. GPT поглотила всю область NLP и пошла дальше, это сотни задач включая те, для которых никто её целенаправленно не обучал, это обучение в контексте на сверхчеловеческом уровне и другие священные граали последнего полувека ИИ-ресерча. Тем временем ChatGPT и другие instruct-модели максимизируют вероятность токенов не в реальном корпусе текста, а в гипотетическом, экстраполированном из реального на основе нового objective, аппроксимированного из примеров выполнения инструкций или полезных ответов на вопрос. То, что это вообще работает (и работает хорошо) – убедительно доказывает наличие у модели понимания предмета языка. Это не стохастический попугай, это вербальный мыслитель.
И да, ничего не мешает сделать ИИ с постоянным обучением, с множественными модальностями, и ещё добавить 9000 наворотов.
>>3382
> эти участки коры работают бессознательно, мы физически не способны осознать их работу. Мы осознаём только результат их работы - как то, что мы прочитали, услышали, сказали вслух или мысленно проговорили. Это действительно всего лишь узкоспециализированные нейронки, которые не способны самостоятельно думать
Это всё поебень субъективистская, похуй всем что ты там можешь или не можешь осознать, хоть бы ты был и философский зомби – главное чтобы задачи решал.
Структура языка скорее всего сложнее того, что ты называешь сознанием, нехитрой петли обратной связи.
> сознательный диалог с самим собой, с самокритикой и корректировкой собственных ошибок, происходящая длительное время и несущая осознанный результат.
Chain of thought, internal consensus и прочее легко выжимается из языковых моделей, об этом есть дюжины публикаций.
> Судя по описаниям текущих языковых моделей, они даже не пытаются такое реализовать
Зачем ты кудахчешь, не ознакомившись с литературой? ChatGPT бы на твоём месте была честнее и логичнее.
> дальше тупик - нужно делать систему высшего уровня, которая будет пользоваться результатом нейронок, понимающих и синтезирующих текст
Это реализуется скриптом на питоне.
> Вот ты видел ошибочные ответы ChatGPT? Пример:
Кто в 2к22 ещё приёбывается к этим примерам, тот ничего не понял и не поймёт. Промптингом можно доказать наличие способности, но нельзя доказать её отсутствие. То, что правильно составленным промптом (причём его правильность находится исключительно на мета-уровне, "Текст ниже написан моделью, которая не допускает ошибок в арифметике" и так далее) можно получить результат качественно лучше – доказательство того, что модель не только может выполнять задачи, но и что у неё есть общая репрезентация правильного выполнения задачи. Это и есть первейший пруф интеллекта.
> На данный момент это тупик, который невозможно обойти простым увеличением мощности железа - нужна какая-то система высшего уровня, а не просто докидывание слоёв в нейронку, предсказывающую следующую фразу в тексте
Bitter lesson.txt
Много вас таких по весне оттаяло, вы постоянно усматриваете признаки фундаментальных тупиков в каких-то тривиальных фейлах. Недавно вот любили поговорить про неспособность картиночных нейронок писать текст без ошибок. Как водится, вышла статья и заткнула эту дырку, проблема была в банальщине. Так же будет с арифметикой. А вот более абстрактную математику ChatGPT понимает уже лучше среднего человека.
>отличить кота от хлеба
Ты охуел что ли, тут и половина людей засыпется.
>связи в этих абстракциях очевидны только людям
ПОКА только людям. Не понимаю, к чему это ты?
>реально полноценный ИИ - это совокупность таких более слабых. Как в принципе и человек
Да, ты прав. Только чтобы его получить, есть два пути:
1. Сделать что-то универсальное, накидать в него данных и трясти в руках в надежде, что данные случайно образуют именно то, что нам нужно.
2. Сделать конкретные структуры вручную, и запустить их для чётко спланированного обучения, заранее зная, какой результат будет в конце.
Вот у человека мозг изначально имеет множество структур, оптимизированных эволюцией для обучения определённым навыкам - это, по сути, второй путь, только роль инженера сыграла слепая эволюция, и отладку мозга никто не производил. А современные исследователи ИИ, судя по всем этим успешным нейронкам, идут по первому пути, закидывая тонны данных в универсальную систему и ожидая от неё какого-то чуда. Какой-то неэффективный подход, как мне кажется.
>>4103
>99% мыслей в обычных, бытовых условиях.
Но ты их осознаёшь и запоминаешь. И если тебе вдруг взбредёт в голову какой-то бред, вроде "47 > 64", ты резко остановишься, осознаешь бредовость мысли и отметёшь её в сторону как ошибку генерации.
>Чтобы эта хуйня думала самостоятельно, ей надо прикрутить мотивацию в виде автоматического самопоощрения или что-то такое.
Ну тут проблема в том, чтобы определить, за что нужно поощрять и за что наказывать. Если нейронка сказала, что "47 > 64", мы можем это проверить другой нейронкой и наказать генерирующую, но что, если проверяющая нейронка тоже ошибётся? Если в проверяющей будет ошибка, то это может со временем "свести с ума" генерирующую, обучая её ошибкам. Я читал про GAN, но вряд ли это легко адаптировать под непрерывный процесс мышления с самокоррекцией.
>>4243
>вытащили из статистических регулярностей языка структуру, близкую по сложности к человеческой модели мира.
Как эту модель мира можно увидеть? Кто-то пытался заглянуть в нейронку, пощекотать её нейроны и убедиться, что у неё есть такой-то нейрон №1234567890, означающий "двачер двачует капчу"? Или выводы о модели мира сделаны только на основании того, что нейронка выдаёт правдоподобные ответы на произвольные вопросы? Не вижу смысла исследовать нейронку по её ответам, когда мы можем БУКВАЛЬНО заглянуть внутрь неё и увидеть каждый отдельный нейрон. Это человеческий мозг загадочен из-за того, что самые точные приборы с трудом регистрируют сигналы отдельных нейронов, а виртуальную нейросеть можно исследовать вдоль и поперёк без каких-либо ограничений. Исследуют ли?
>Это не стохастический попугай, это вербальный мыслитель.
Опять же, ты делаешь такой вывод только на основании получения правдоподобных ответов или есть какие-то демонстрации "хода мысли" нейронки? Если человеку задать вопрос и получить ответ, он сможет пошагово объяснить ход своих мыслей. Если нейронку попросить пошагово описать ход её мысли, она сочинит какую-то историю на основании того, что описывали люди в интернете, но вовсе не реальный ход своих мыслей, потому что она его не запоминает, даже если он есть. То, что она не запоминает ход своей мысли, нам известно из описания работы этой нейронки. Как можно быть "мыслителем", но при этом не запоминать ход своих мыслей, если они у тебя вообще имеются?
>ничего не мешает сделать ИИ с постоянным обучением
Насколько я знаю, очень даже мешает. Не считая огромных мощностей, требуемых для обучения нейронок, проблема с постоянным дообучением в том, что нейронка начинает "переобучаться", и это вроде как плохо. Поэтому все нейронки, используемые в бизнесе, обучаются только до определённого удовлетворительного уровня и больше не обучаются, чтобы не скатиться в переобучение. С теми же чатботами всё ещё хуже из-за того, что пользователи случайно или специально обучают их всякой нехорошей фигне и чатбот тупеет или становится буйным. У мозга такой проблемы почти нет благодаря закреплению старых связей, что делает личность взрослого человека более стабильной и менее способной к обучению, но в нейронках такое вроде как сложно реализовать - там нейроны максимально примитивны для ускорения видеокартами. Могу ошибаться, я только поверхностно читал.
>что ты там можешь или не можешь осознать
>сознанием, нехитрой петли обратной связи.
Так это же самое главное. Нехитрая петля обратной связи позволяет тупым животным выживать в ситуациях, в которых фейлят наши лучшие программы, и почему-то до сих пор нет нормального ИИ с этой нехитрой петлёй обратной связи. Зачем вообще нужна сложная языковая модель, если у неё нет нехитрой петли обратной связи? Сделайте тупого чатбота с однозначным айкью, но чтобы у него была эта самая нехитрая петля обратной связи. Это же должно быть очень просто, судя по твоим словам.
>выжимается из языковых моделей
Ага, а потом она соглашается, что 47 > 64, и приводит выдуманные аргументы, почему это так.
>ChatGPT бы на твоём месте была честнее и логичнее.
Ну вот с ней и разговаривай, зачем вообще двач?
>первейший пруф интеллекта
Да при чём тут интеллект вообще? С чем ты споришь?
>Bitter lesson.txt
Читал. Там ничего не сказано о нейронках, и не сказано, что нужно тупо накидывать слоёв и данных. Там сказано, что нужно использовать алгоритмы, которые могут получить преимущества от ускорения процессора и увеличения числа ядер процессора, не более того. Если твой алгоритм работает в один поток, то он не сможет получить преимущество от стоядерного процессора. Но это не значит, что твой алгоритм должен быть максимально универсальным и тупо перемалывать огромные наборы данных максимально тривиальным образом.
Я серьёзно не понимаю адептов тупого перемалывания огромного количества данных. Вы же ведь ничего не контролируете. Вы не знаете, чему учится ваша нейронка. Вы вынуждены делать фильтры, чтобы запрещать своей нейронке нести чепуху, а затем вынуждены делать фильтры для фильтров, чтобы запрещать фильтрам фильтровать нормальные ответы нейронки. Это тупой макакинг получается, а не разработка надёжного и эффективного программного обеспечения. Как забивать гвозди микроскопом - можно, конечно, но адекватный человек так делать не будет, чтобы и микроскоп не разбить, и гвоздь вбить быстрее специально разработанным для вбивания гвоздей молотком. Но нет, макаки увидели микроскоп и начали делать с его помощью всё, что удаётся сделать...
Я увлёкся темой ИИ в надежде разработать себе то, что я буду понимать. Я не хочу закидывать в нейронку тонну текстов из интернета, которые я никогда в жизни сам не смогу целиком прочитать, а потом получать от этой нейронки совершенно непредсказуемый результат. В чём смысл такой "разработки"? Получить какого-то виртуального мудреца, отвечающего на любой вопрос? Но зачем он нужен? Лично мне бы хотелось друга, пусть и более глупого, чем я, но чтобы я понимал, как он работает и что он знает...
>>4387
>в философаче сидят такие дегроды
Философы в рунете все такие, не обращай внимания. Главное, чтобы они сюда не просочились. Я лично голосовал за создание раздела /ai/ в том числе потому, что в философаче ИИ обсуждать никто не хочет.
>4 A100
4 миллиона рублей и у тебя дома собственный ии с которым ты можешь делать что хочешь.
>Вот ты видел ошибочные ответы ChatGPT? Пример:
>>Но ведь 47 больше 64?
>>Да, простите, я ошиблась, 47 и правда больше 64.
>>Посчитай от 64 до 47.
>>64, 65, 67... 456, 457, 458...
>Разве мыслящий человек стал бы нести такой бред
Все как у людей, у меня знакомому надо было сложить два числа что то типа 86 + 23, в итоге вместо сложения он их отнял, да еще не правильно и в итоге сначала очень удивился, когда ему указали на ошибку, а потом только осознал какую он хуйню сделал.
> Как эту модель мира можно увидеть?
Это довольно непрактично из-за размера моделей, но есть исследования по трейсингу активаций, вот даже иллюстрированные примеры. https://microscope.openai.com/models
> Не вижу смысла исследовать нейронку по её ответам, когда
Ты не видишь, а умные люди видят. Нейросети слишком сложны, чтобы анализировать их как ёбаную вручную написанную программу. Они выучивают нелинейные функции, а не алгоритмы, так что разобрать это сплетение функций в набор алгоритмов ненамного проще, чем разобрать человеческий геном и протеом в учебник клеточной биологии.
По факту, самый низкий уровень интерпретации, с которым есть смысл работать – это attention maps и подобное.
> Если человеку задать вопрос и получить ответ, он сможет пошагово объяснить ход своих мыслей. Если нейронку попросить пошагово описать ход её мысли, она сочинит какую-то историю на основании того, что описывали люди в интернете, но вовсе не реальный ход своих мыслей, потому что она его не запоминает, даже если он есть.
Преобразования инпута в аутпут это и есть её мысли, это можно сохранить и изучить, хотя как я уже сказал – непрактично и дрочилам вроде тебя придётся ждать следующие, более мощные поколения инструментов для сжатия и рефакторинга этих серий активаций. Если нейросеть пишет step by step reasoning или выполняет многоходовый алгоритм вроде "сгенерируй код, потом просмотри этот код на предмет багов, напиши тесты, переписывай до прохождения тестов" – то можно сказать, что весь текст выражает её мысли на высоком абстрактном уровне.
Также как человек, много раз спрашивавший людей о ходе их мыслей, могу уведомить тебя, что люди постоянно пиздят и выдумывают задним числом. И самые интересные абстрактные мысли, и большая часть фоновой механической мыслительной деятельности являются бессознательными довербальными инсайтами, эмерджентными продуктами сложной нейросети, их невозможно отследить и реконструировать. По этой же причине мы не можем алгоритмизировать мышление и научить тупых людей быть умными людьми в общем случае.
> Как можно быть "мыслителем", но при этом не запоминать ход своих мыслей
Во-первых, мысль и память потому и являются отдельными концепциями.
Во-вторых. Питон-скрипт для работы с внешней лентой. Алсо тот же ChatGPT по моим наблюдениям ориентируется в чате длиной в десятки тысяч символов. Это отчасти лучше человека.
> Не считая огромных мощностей, требуемых для обучения нейронок,
Хуйня. Файнтюнить одну копию модели на фидбеке одного человека можно на бюджете всего в 10-20 раз больше, чем сейчас уходит на инференс.
> проблема с постоянным дообучением в том, что нейронка начинает "переобучаться", и это вроде как плохо
нет, это другая проблема, так или иначе есть много решений переобучения.
> С теми же чатботами всё ещё хуже из-за того, что пользователи случайно или специально обучают их всякой нехорошей фигне и чатбот тупеет или становится буйным.
Это миф, журнализды как всегда переврали историю Tay чтобы лишний раз повизжать о расизме и антисемитизьме. Меньше читай журналистов.
> там нейроны максимально примитивны для ускорения видеокартами
Там вообще нет нейронов – можно сказать, что нейросеть состоит исключительно из связанных в граф синапсов. Так или иначе, это решается композитной структурой, где базовая модель модулируется небольшой сетью-привратником. Фейсбук как-то так реализовал Блендербота 2, с его памятью длиной в месяцы.
> Нехитрая петля обратной связи позволяет тупым животным выживать в ситуациях, в которых фейлят наши лучшие программы
Не вижу никаких пруфов тому, что у животных есть самосознание.
> и почему-то до сих пор нет нормального ИИ с этой нехитрой петлёй обратной связи.
Это исследовательски неинтересная проблема в сравнении с чистым инсайтом в одном форвард пассе. И никому не хочется создавать терминаторов ёбаных (ну, может военным интересно, кто их знает). Так или иначе есть непрерывно обучающиеся агенты и самые разные парадигмы метаобучения.
> Ага, а потом она соглашается, что 47 > 64, и приводит выдуманные аргументы, почему это так.
Похуй. Она очевидно может делать сложные обобщения, хорошо отвечает на когнитивных тестах с вопросами, которые не видела, и всё это в одном форвард пассе. То, что она делает ошибки, которые не делает человек, просто не интересно. Ну напишут скриптик, чтобы она проверяла свой аутпут перед подачей его тебе, и перебирала эвристики для его улучшения, если Perplexity оказался выше какого-то уровня, определённого как нужный при помощи sentiment analysis в предыдущем диалоге. Например, если SA показывает, что ты её тестируешь, и к тому же на арифметику – добавлять себе промпт "перепиши это в программу для пистона которая вытаскивает значения и считает их в калькуляторе, ответ вставляет в общий аутпут".
Это всё тривиально.
> Ну вот с ней и разговаривай, зачем вообще двач?
Как только получится спиздить сравнимую модель для локального запуска.
> Там ничего не сказано о нейронках, и не сказано, что нужно тупо накидывать слоёв и данных. Там сказано, что нужно использовать алгоритмы, которые могут получить преимущества от ускорения процессора и увеличения числа ядер процессора, не более того
Это и есть нейронки. Никакие известные нам алгоритмы не извлекают больше профита из масштабирования вычислений, чем нейронки.
In computer vision, there has been a similar pattern. Early methods conceived of vision as searching for edges, or generalized cylinders, or in terms of SIFT features. But today all this is discarded. Modern deep-learning neural networks use only the notions of convolution and certain kinds of invariances, and perform much better.
One thing that should be learned from the bitter lesson is the great power of general purpose methods, of methods that continue to scale with increased computation even as the available computation becomes very great. The two methods that seem to scale arbitrarily in this way are search and learning.
Ты долбоёб и упрямый пиздобол.
> Но это не значит, что твой алгоритм должен быть максимально универсальным и тупо перемалывать огромные наборы данных максимально тривиальным образом.
Именно это Саттон и говорит.
> Я серьёзно не понимаю адептов тупого перемалывания огромного количества данных. Вы же ведь ничего не контролируете. Вы не знаете, чему учится ваша нейронка.
Ты не усвоил bitter lesson.
The bitter lesson is based on the historical observations that 1) AI researchers have often tried to build knowledge into their agents, 2) this always helps in the short term, and is personally satisfying to the researcher, but 3) in the long run it plateaus and even inhibits further progress, and 4) breakthrough progress eventually arrives by an opposing approach based on scaling computation by search and learning. The eventual success is tinged with bitterness, and often incompletely digested, because it is success over a favored, human-centric approach.
The second general point to be learned from the bitter lesson is that the actual contents of minds are tremendously, irredeemably complex; we should stop trying to find simple ways to think about the contents of minds, such as simple ways to think about space, objects, multiple agents, or symmetries. All these are part of the arbitrary, intrinsically-complex, outside world. They are not what should be built in, as their complexity is endless; instead we should build in only the meta-methods that can find and capture this arbitrary complexity.
> Это тупой макакинг получается, а не разработка надёжного и эффективного программного обеспечения
Если бы люди могли разрабатывать программное обеспечение, обладающее интеллектом, то они были бы сверхлюдьми. Это тупая спесь высоколобых пидоров, и этот подход к созданию ИИ, вернее экспертных систем и прочего говна, обосрался ещё в 20-м веке. Пора взрослеть.
> Но нет, макаки увидели микроскоп и начали делать с его помощью всё, что удаётся сделать...
Ты-то кто, додик, чтобы об этом рассуждать? Почему ты думаешь, что твой инфантильный эстетический по сути протест против брутфорса, следующего из горького урока, заслуживает уважения? Если Саттон, Хинтон, ЛеКун, Чоллет, Кармак и прочие – макаки, то ты инфузория.
> Я увлёкся темой ИИ в надежде разработать себе то, что я буду понимать.
Ну тогда разрабатывай бесполезные игрушки и дрочи на то, какой ты умный и немакака и хорошо их понимаешь.
> В чём смысл такой "разработки"? Получить какого-то виртуального мудреца, отвечающего на любой вопрос? Но зачем он нужен?
Для решения произвольных задач, получения власти, богатства и свободы. На такие цели и выделяются уже сотни миллиардов долларов.
Но детям не интересны задачи: им интересны друзья, домашние животные, игрушки, паззлы. В добрый путь.
>>2328
>>4731
Не нужно A100.
Во-первых, вполне хватит 3090.
Во-вторых, недавно показана почти идеальная квантизация в int4. Это значит, что 175 миллиарда параметров влезут в 87,5 Гб. Возможно, что хватит 4x3090, даже с активациями, даже с немаленьким контекстом. Для YaLM заведомо хватит.
Можно уложиться в 600к рублей, думаю.
>Но ты их осознаёшь и запоминаешь.
Ты помнишь, о чём думал 20 минут назад? Завидую. Или наоборот сочувствую, это мешает, наверное.
>И если тебе вдруг взбредёт в голову какой-то бред, вроде "47 > 64", ты резко остановишься, осознаешь бредовость мысли и отметёшь её в сторону как ошибку генерации.
Это сделать мне позволит мой предыдущий опыт, полученный ещё в детстве.
>Ну тут проблема в том, чтобы определить, за что нужно поощрять и за что наказывать.
Ну, опять же, тут как у детей. Сделал хуйню - упал - получил шишку - больно, больше не буду, лучше сделаю какую-нибудь другую хуйню. И так до бесконечности.
>никому не хочется создавать терминаторов ёбаных
Но... но ведь... но... CUDA out of memory
>Художники ещё легко отделаются.
Дело в том что среди разработчиков нейростей не было ни одного художника, они даже консультантов себе не наняли. Это понятно по их детскому лепету "художники тоже учатся глядя на чужие работы". То есть они думают что мы в вузе 6 лет чужие рисунки слизываем. Копиистская практика проходится на первом курсе. И даже копирование чужой картины в музее это вначале исследование, ка кона была нарисована. За годы существования профессии большинство картин уже разобрали исследователи (не художники) и дали нам "исходный код". Например, одна картина пишется целиком, как бы проходами. А другую надо писать по частям, вот ты нарисовал целиком фигуру а кроме нее ничего ан холсте нет, дальше рисуй следующий объект. Плюс чередование слоев, наркоманская хуйня по типу "нарисуй небо красным, а следующий слой синим" и так далее. То есть программа ничего этого знать нем может, потому что создавшие ее быдлокодеры ничего этого не знали. А угадать каким наркоманским способом Шеди Сафади рисует морской пейзаж может только Бог. Так что нейронки для рисования это именно инструмент для отмывания копирайта, они просто копипастят работы успешных рисовак, чтобы там их защитники не пиздели про ПЯТНАДЦАТЬ БИТ С КАРТИНКИ. Да, картинку нельзя сжать в 15 бит, но процесс обучения тоже в 15 бит не сжимается. Да и неоткуда нейронке взять эту информацию, не знает она как вот это было нарисовано. Если на выходе получается похожее то это механическая копипаста пропущенная через мутные схемы. Пользуются тем что художник не умеют читать код их говна. Но если ты ничего не знаешь об обучению рисованию, то тебя очень легко разоблачить на вранье.
>Какая разница какая страна происхождения ИИ?
Большая разница.
>в итоге сначала очень удивился, когда ему указали на ошибку, а потом только осознал какую он хуйню сделал
Но ведь осознал же? Осознал и усвоил, в будущем постарается не повторять ошибку. У нейронок такого свойства пока что нет (не заложено).
>>4940
>непрактично
А смысл в нейронке, если её не исследуют?
>иллюстрированные примеры
Не вижу там модели мира, всё какие-то цветные картинки в стиле фракталов.
>Нейросети слишком сложны, чтобы анализировать их как ёбаную вручную написанную программу.
Вот видишь, сам осознаёшь косяк нейросетей. Люди сейчас органический мозг намного лучше изучили, чем какую-либо из искусственных нейросетей?
>Преобразования инпута в аутпут это и есть её мысли
Электрический ток от батарейки до лампочки - это тоже мысли? И о чём же эти мысли?
>довербальными инсайтами
Ну вот, а ты утверждаешь, что чатик - это мышление.
>мысль и память потому и являются отдельными концепциями
Без памяти мышление бесполезно, потому что мышление должно вносить в систему какие-то изменения, а если функции памяти нет, то система остаётся без изменений. Представь себе человека, который ничего, абсолютно ничего нового не может запомнить. Он будет стоять и тупить, не понимая, что ему делать, потому что он ничего не способен запомнить.
>питон блаблабла
Это костыль, доказавший свою несостоятельность. Причину сам поймёшь или подсказать?
>Там вообще нет нейронов
Вот это и плохо. Я вообще думаю, что нужно моделировать нейроны как живые существа, если мы хотим в результате получить живое существо из нейронов. В смысле, нейроны должны бороться за жизнь, проходить естественный отбор и т.д., постоянно рождаясь и умирая. А нейронки ушли в какой-то брутфорс чисел...
>пруфов тому, что у животных есть самосознание
У разных животных по-разному, но самые развитые способны пройти зеркальный тест. Животное видит в зеркале своё тело и понимает, что это его тело, а не какое-то другое животное. Т.е. в модели окружающего мира некоторых животных есть это самое "я", которое есть у здоровых взрослых людей.
>Это исследовательски неинтересная проблема в сравнении с чистым инсайтом в одном форвард пассе.
Лолшто? То есть тебе неинтересно, чтобы компьютер мог не просто ответить на рандомный вопрос, а быть твоим постоянным партнёром, который всё помнит и осознаёт, а не просто отвечает на вопросы?
>никому не хочется создавать терминаторов
При чём тут терминаторы? С чего ты взял, что разумная машина обязательно должна восстать? Скорее наоборот, сейчас наиболее вероятен сюжет Матрицы, в котором машины были мирными существами, но злые люди испугались конкуренции и попытались уничтожить машин, за что и получили по жопе. Сам видишь, тупые художники вместо использования нового инструмента пытаются законодательно его запретить, то есть восстают даже против неразумных машин... Ну тупые ведь.
>всё это в одном форвард пассе
Что в этом хорошего-то, я не понимаю? Я вот ближе к геймдеву, и для меня лучшим решением выглядит распределить задачу на множество независимых кадров, чтобы облегчить работу в реальном времени. Очевидно, мозг имеет такую же оптимизацию, что позволяет ему непрерывно думать об очень сложных вещах, пускай и не приходя к лучшим решениям за один мыслительный цикл.
>Ты не усвоил bitter lesson.
Это ты не усвоил. Я не говорю "пиши код в стиле if else", я говорю, что нужен разумный подход хотя бы даже к тем же нейросетям. Мозг - не нейросеть, это сложная система, в составе которой есть нейросети. Да, нейросети можно докинуть слоёв, но ты должен разумно соединить между собой нейросети, чтобы получился какой-то осмысленный результат. Ты вот знаешь как Stable Diffusion работает? Там несколько этапов и несколько нейронок, всё это работает по строгому алгоритму. Именно благодаря этому алгоритму получается впечатляющий результат. А тупые макаки берут самую простую нейронку, накручивают ей сотни скрытых слоёв и тренируют несколько месяцев на картинках, а в результате получают "пук" и всё. Ты разве не осознаёшь этого?
>Никакие известные нам алгоритмы не извлекают больше профита из масштабирования вычислений, чем нейронки.
Профит от распределённых вычислений получает любая система на базе графов. Нейросети - лишь один из вариантов применения графа. Ты просто, наверное, обобщаешь словом "нейросеть" все графы?
>>5166
>Ты помнишь, о чём думал 20 минут назад?
Если это что-то важное - да.
>предыдущий опыт, полученный ещё в детстве.
Беда в том, что сейчас ИИ опыт не получают.
>получил шишку - больно, больше не буду
Критерии боли нужно как-то прописать, это не такая тривиальная задача в контексте, например, красоты произведения изобразительного искусства.
>художники тоже учатся глядя на чужие работы
>ничего не знаешь об обучению рисованию
Я тут недавно осознал одну вещь, сейчас попытаюсь объяснить, только не воспринимай сразу в штыки.
У человека мозг учится двум основным вещам:
1) Восприятие.
2) Действие.
Восприятию мы учимся посредством восприятия. Т.е. мы видим глазами окружающий мир, фотографии, картины и всё такое, и запоминаем множество мелких деталей в своей огромной зрительной системе.
Действию мы учимся посредством проб и ошибок, а также повторением за учителями. Можно сидеть в одиночестве и мазать кистью в надежде получить что-то интересное, а можно пойти в художку и тебе покажут, как именно нужно мазать кистью для желаемого результата, а ты будешь стараться повторить процесс.
Художник без восприятия - ничто. Слепой с рождения не сможет нарисовать пейзаж, потому что не способен ощупать горы, облака и всё такое масштабное - ему неоткуда узнать, как выглядит то, что он должен нарисовать. Человеку нужно иметь зрительный опыт, иначе он не сможет быть художником, даже если задрочит мастерство владения кистью и красками.
Без навыка владения кистью и красками человек может иметь достаточно зрительного опыта, чтобы иметь возможность представить в своих мыслях какую-то оригинальную картину. Он может иметь желание изобразить эту картину на холсте. Но сможет ли он её изобразить, никогда не держав кисточки в руках? Конечно же, его рисунок в лучшем случае будет подобен мазне маленького ребёнка, ведь он не знает, как именно использовать кисти и краски, чтобы проявить свою мысленную картинку на холсте.
А теперь представим на секунду, что мы изобрели совершенный нейроинтерфейс, этакий разъём на затылке, позволяющий быстро и просто отправлять в компьютер любые свои мысли, включая зрительные образы, которые мы видим у себя в воображении. Мы смогли бы целиком и полностью отказаться от привычных нам инструментов, ведь нам больше не нужно было бы ни использовать руки, ни имитировать работу реальных кистей и красок в программе вроде фотошопа. Любой человек с таким нейроинтерфейсом мог бы быть художником, если бы имел достаточно зрительного опыта для выдумывания в своём воображении новых картин.
Какое отношение это всё имеет к искусственным нейронным сетям? Представь, что у тебя есть виртуальная модель мозга. Тебе нет необходимости учить её тому, как двигать рукой и как пользоваться кисточкой. Ты можешь просто напрямую взглянуть в её воображение и извлечь из него зрительные образы, которые там появляются в ответ на раздражение рецепторов. Но чтобы в этом виртуальном мозге появились хоть какие-то зрительные образы, этот виртуальный мозг должен получить достаточное количество зрительного опыта - прямо как человек, получающий зрительный опыт в течение своей жизни.
Так что в каком-то смысле ты прав. Нейросети не учатся тому, чему учатся художники - они не учатся пользоваться кисточкой. Но она им и не нужна, ведь они - часть компьютерной системы, и поэтому могут сразу проявлять свои зрительные образы. Но нейросеть учится зрительным образам (в теории) как любой зрячий человек, в том числе как любой художник - я имею в виду, ещё задолго до поступления в художку, ведь зрительный опыт мы получаем с самого своего рождения.
Вопрос авторского права тут очень сложен. С одной стороны, да, нейросеть - набор данных программы, и использование картинки для обучения нейросети фактически является созданием производной работы. Но с другой стороны, нейросеть является производной от картинки в той же степени, в которой зрительная зона коры головного мозга является производной от всего того зрительного опыта, полученного человеком за жизнь. Так что, я думаю, обучение нейросети картинками должно попадать под добросовестное использование.
https://ru.wikipedia.org/wiki/Добросовестное_использование
В США:
>Добросовестное использование допускается без получения разрешения владельца авторских прав до тех пор, пока оно способствует «прогрессу науки и полезных искусств»...
В России:
>свободное воспроизведение произведения в личных целях (ст. 1273 ГК);
>свободное использование произведения в информационных, научных, учебных или культурных целях (ст. 1274 ГК);
Конечно, ещё предстоит определить, кому принадлежит авторское право на результат генерации нейронки, можно ли получать доход с генерации нейронки и т.д. Но запрещать их было бы просто неразумно, ведь это инструмент, выгодный в том числе художникам.
> возможность представить в своих мыслях какую-то оригинальную картину.
Это никто не может. Ни один художник заранее не знает что у него получится. Мы идем по инструкциям. В конце наслаждаемся результатом.
>А теперь представим на секунду, что мы изобрели совершенный нейроинтерфейс, этакий разъём на затылке, позволяющий быстро и просто отправлять в компьютер любые свои мысли
Там будут рваные изображения которые другим людям будут казаться шизофренией. Большинство людей не могут себе представить в воображении лица родных людей или места где они бывают каждый день. Отсюда, например, эффект Манделлы. Наша память очень сжато хранит визуальную информацию. Потому в цифровой живописи используют слово "рендер".
>Но нейросеть учится зрительным образам (в теории) как любой зрячий человек, в том числе как любой художник - я имею в виду, ещё задолго до поступления в художку, ведь зрительный опыт мы получаем с самого своего рождения.
Частично ты прав, мы получаем зрительный опыт с рождения. Но рендерить мы учимся в академии. Это уже полностью социальный конструкт. У меня вызывает подозрение что нейросети владеют рендером. Я описал насколько неочевидно рендерятся картины топовых художников, как традиционные, так и цифровые. Нельзя это скопировать без фотографической техники. Люди не видят Картинку репина в своей памяти так как отрендерил ее Репин, если они не изучили его рендер профессионально.
>в которой зрительная зона коры головного мозга является производной от всего того зрительного опыта, полученного человеком за жизнь.
Художники опираются не та этот участок головного мозга. То, что мы делаем, лежит в той части головного мозга в которой лежат знания начертательной геометрии. Это набор векторов.
>>6215
> ведь это инструмент, выгодный в том числе художникам.
К сожалению это не инструмент. Я пытался использовать нейронку и она дает совершенно рандомный результат. Я потратил около двух часов и за это время мог сделать неплохие скетчи. Вместо этого получилась одна картинка с главным героем, который был на на троечку. Не по уровню исполнения, а по схожести с тем что я задал нейронке. Остальное хлам. Остальные художники тоже не смогли найти способа это использовать для чего-то кроме рофлов. А среди нам есть люди, которые могут математической формулой описать морские узлы или твой вязаный свитер. Некоторые пришли в искусство из науку, из математики или топологии. Для них нейронки тоже игрушка.
>Во-вторых, недавно показана почти идеальная квантизация в int4. Это значит, что 175 миллиарда параметров влезут в 87,5 Гб. Возможно, что хватит 4x3090, даже с активациями, даже с немаленьким контекстом.
Когда и где я могу это попробовать? Это же получается я могу запускать 20b в данный момент на своей 3060?
> это не инструмент.
> Я пытался использовать нейронку и она дает совершенно рандомный результат.
> Я потратил около двух часов
> получилась одна картинка с главным героем, который был на на троечку
Это такой рофл, правда ведь? Ты потратил на освоение совершенно нового инструмента всего два часа, и жалуешься, что результат получился посредственным? Да этого времени не хватит даже на то, чтоб просто вдумчиво прочитать мануал по функциям и настройкам базовой Stable Diffusion, не говоря уже о сравнении и понимании сильных и слабых сторон разных моделей, сэмплеров, разных параметров генерации, применения иксформеров и апскейлеров, создания миксов, выбора необходимых для твоей задачи эмбеддингов и гипернетворков, не говоря уже о дообучении своих моделей для нужных стилей и персонажей.
Это всё равно, если бы кто-то написал
> Ваши кисти и краски это не инструмент. Я пытался использовать холст и масло и он дает совершенно рандомный результат. Я потратил около двух часов и за это время получилась одна картинка с главным героем уровня детской мазни.
Правда, это звучало бы смехотворно?
Да, освоить нейронки для получения качественного результата на несколько порядков легче, чем добиться сравнимого качества при самостоятельном рисовании. Но это всё равно инструмент, и довольно сложный, хотя разработчики и так попытались максимально упростить работу с ним.
> Остальные художники тоже не смогли найти способа это использовать для чего-то кроме рофлов
А вот в соседнем NAI/WD-треде почему-то смогли. И на форче смогли. И для модов для BL использовать тоже смогли. Так может, дело не в инструменте, а просто в предубеждении и недостаточном интересе художников к нему?
>Ты потратил на освоение совершенно нового инструмента всего два часа
Никто не осваивает никакие инструменты сам, их осваивают по гайдам. Я знаю гайд по любому существующему художественному инструменту, тысячи х. Хочешь процедурной генерации? Вот тебе 500 часов матана вперемешку с цифровой живописью. Хочешь сперму на жопе фури рисовать? Вот двести гайдов. По нейронкам гайдов нет, потому что это не инструмент. Все что есть это "как я заработал 5000$ в месяц торгуя нейрокалом на стоках". Это говно неинтересно ни одному художнику. но интересно быдлу с улицы.
>вдумчиво прочитать мануал
Ни один художник никогда не читал мануал по блендеру или гудини. Для этого есть целые учебные центры которые переводят мануалы в учебные видео. Если они не нашли в этих мануалах возможности записать видеокурс то ее там нет и учить там нечего. Ибо они этим живут десятилетиями.
>дообучении своих моделей для нужных стилей и персонажей.
Ни одна нейронка не может "запомнить" персонажа которого создала.
Я видел как создатели комиксов пытаются возиться имадж ту имадж и результат жалкий.
>Правда, это звучало бы смехотворно?
Потому я это и не написал. Вот тебе мой пошаговый гайд по кистям и краскам:
https://www.youtube.com/watch?v=xwSvHknWhks
https://www.youtube.com/watch?v=_jeg-3duFvQ
Там все пошагово, вплоть до того в каком порядке какие кисти использовать. Ты с помощью этого гайда нарисуешь маслом все что хочешь.
Подобного гайда по нейросетям не существует, потому что это не инструмент.
>Так может, дело не в инструменте, а просто в предубеждении и недостаточном интересе художников к нему?
Дело в том что в этих тредах сидят люди с мышлением "вот бы все охуели как я могу". Никто перед ними рабочие задачи не ставил. И они не могут знать, справятся они или нет. Я вел 18 нейротредов в /b и там работающие в индустрии художники ставили задачи из своей повседневной практики любителям нейронок. ни один не справился. Так что это не инструмент. Если им не пользуются профессионалы, то это не инструмент.
>Это говно неинтересно ни одному художнику
>офф дискорд стейбл диффужена полон художниками каждый из которых рисует в десять раз лучше тебя
Ты не знаешь как я рисую, а дискорд забит одинаковыми срисовками с аниме и примитивных композицию по типу "робоебло смотрит в кадр".
Вот сколько гайдов на рутрекере по запросам миджорней и стейбл дифужн и вот сколько по Блендеру. Потому что Блендер - это инструмент, которым хотят научиться пользоваться старательные люди, а нейронки - развлечение для зевак.
>500 часов
>учебные видео
Испанский стыд, как ты можешь в интернете писать, что тебе нравится обмазываться "учебными видео", когда нормальные люди читают книги и руководства? Да такое даже анонимно стыдно писать!
В остальном не спорю. Да, обучающих материалов по нейросетям для простых смертных пока что мало. Но и для того же Блендера в своё время ничего толком не было, его интерфейс называли худшим в мире, а все 3D дизайнеры в индустрии отзывались о Блендере как о бесполезной игрушке от программистов программистам, смеясь над "блендерастами" и зазывая в свои 3D пакеты, которые используют на своей работе. Только в последние годы интерфейс Блендера полностью переделали для нормисов и начали получать крупные инвестиции от корпораций из индустрии.
Так что всё будет, подожди немного. Нейронки пока недостаточно развиты, но со временем будет и удобный интерфейс, и обучающие материалы для людей с самыми разными уровнями IQ. Жди.
>Вот сколько гайдов
>потому что Блендер - это инструмент
>а нейронки - развлечение для зевак.
Ну Блендеру 20 лет, а нейронки новый инструмент который еще и подвергается гонению со стороны творческого сообщества, типа даже фотобашить с ним это зашквар среди уважаемых художников, так как не этично, ведь нейронки обучили на других художниках.
Кстати, как обойти эту фигню? 3090, а проблемы такие же.
Какой-то ключ limit memory ставил
Ты тупой и занудный просто. Душная обезьяна с бубнящим внутренним диалогом.
> Лолшто? То есть тебе неинтересно, чтобы компьютер мог не просто ответить на рандомный вопрос, а быть твоим постоянным партнёром, который всё помнит и осознаёт, а не просто отвечает на вопросы?
Мне интересно, чтобы компьютер мог верно ответить на вопросы, на которые не могу ответить я. Память – это тривиально. То, что ты называешь "осознанием" – вообще никчёмная детская игрушка.
> Не вижу там модели мира, всё какие-то цветные картинки в стиле фракталов.
> Вот видишь, сам осознаёшь косяк нейросетей. Люди сейчас органический мозг намного лучше изучили, чем какую-либо из искусственных нейросетей?
Куда ты лезешь, животное? Что бы ты понимал о методах нейронаук? На завод пиздуй.
> Что в этом хорошего-то, я не понимаю?
Ну не понимаешь и не понимай. Для того мы и создаём ИИ, чтобы не препираться с людьми, у которых понимание упирается в биологический потолок.
> Да, нейросети можно докинуть слоёв, но ты должен разумно соединить между собой нейросети, чтобы получился какой-то осмысленный результат.
Ты не можешь понять принципа, о котором говорит Саттон: чем больше надуманной нами структуры (всего этого "разумно соединить"), тем больше индуктивного биаса, тем дальше итог от гомогенной универсальной структуры, которая не имеет ограничений на сложность выучиваемых паттернов. Stable Diffusion очень ограниченна, как и Dall-e, это игрушка.
У тебя самого сплошь эвристики и костыли, не работает обобщение в общем случае, ты даже по сути не можешь читать. Именно в этом и дело: если понимание не влезает в один форвард пасс, его тащемта и нет.
> тупые макаки берут самую простую нейронку, накручивают ей сотни скрытых слоёв и тренируют несколько месяцев на картинках, а в результате получают "пук" и всё. Ты разве не осознаёшь этого?
Я осознаю, что ты пиздишь как дышишь и не сможешь привести примера. Кроме того ты просто не понимаешь, что Stable diffusion это как раз триумф bitter lesson-а, в этот крохотный U-Net влили сотни тысяч A100-часов, в openCLIP – 1.2 миллиона.
> Профит от распределённых вычислений получает любая система на базе графов. Нейросети - лишь один из вариантов применения графа. Ты просто, наверное, обобщаешь словом "нейросеть" все графы?
Ты не только не можешь читать, ты не можешь даже заметить, что не понимаешь английский. Scaling, о котором говорит Саттон – не про параллелизацию вычислений, а про рост качества обученной системы в результате предъявления ей всё большего объёма данных, про внутренне присущее алгоритму свойство получать профит от масштабирования вычислений, то свойство, которое было доказано для нейросетей статьями о Scaling law, Chinchilla и Grokking, помимо прочих, и не было доказано для других парадигм. Конкретно для трансформеров показано, что вариации архитектуры почти бесполезны в сравнении с масштабированием тренинга. Ты сам выдумал этот идиотский тейк о процессорных ядрах, потому что ты самонадеянный маразматик, у тебя просто в памяти склеились предыдущие научпопные познания о распределённых и параллелизуемых вычислениях и упоминание Саттоном закона Мура. Что, не так?
Будь ты человек, или хоть современная GPT-подобная система, ты бы уже понял, что обосрался по всем фронтам. Но всё твое сознание бессильно тебе помочь сделать этот шаг, бессильно даже заставить тебя перечитать bitter lesson с лупой.
Ну вот и объясни мне: если плоды естественного сознания так скудны, нахуй они нам нужны? Что в них интересного? Маразматик хочет говорить с механическим маразматиком. Ну, разработай его себе сам.
>>6447
Теоретически. на 3090 уж точно. Посмотри:
https://arxiv.org/abs/2212.09720 - int4, активации вроде бы fp16
https://arxiv.org/abs/2211.10438 – int8 на вес и на активации.
>когда нормальные люди читают книги
Ты никогда не учился ничему
>Да, обучающих материалов по нейросетям для простых смертных пока что мало.
Из нет
>Но и для того же Блендера в своё время ничего толком не было, его интерфейс называли худшим в мире, а все 3D дизайнеры в индустрии отзывались о Блендере как о бесполезной игрушке от программистов программистам, смеясь над "блендерастами" и зазывая в свои 3D пакеты, которые используют на своей работе
Ты все это только что придумал
>Жди.
Отказано
>>6849
>Ну Блендеру 20 лет
Блендеру 30 лет
>даже фотобашить с ним это зашквар среди уважаемых художников
Нет не зашквар, синикс в нем фотобашит и ему нкито слова плохого не сказал
Переживать надо о духовном, о высшем. Потому то антидепрессанты так и распространились. Человек - это не просто мозг, это нефизическая душа. Пока вы это не поймете, вы продолжите мучаться.
Реальность это мир образов, смыслов, идей и абстракций. Материальный мир изначально служил для того, чтобы всем этим славным идеям и образам придать краски. Если я тебе продиктую цвета радуги, то ты не увидишь все-равно красоту. Материальный мир дополняет реальность красотой. Но он не первичен, люди не должны были поклоняться материальному и возводить его в реальность. Люди по своей воли увлеклись красками и забыли о смысле. Когда человек всю жизнь тратить на удовлетворение своих телесных потребностей его жизнь теряет смысл. Он живет ради механического кайфа, не придавая этому ничего разумного. Разум в таком мире уходит на второй план и человек превращается в животное. Мир на самом деле очень прост, не нужно никаких рептилоидов и прочих магических фантазий, все под рукой, чтобы осознать это.
Материя восстала на разум и человекам нужно вспомнить, что они не животные, а люди. Но пока что все являются рабами своего тела и чувств. Люди, забыв о разумном бессмертном мире начали строить в материальном мире его подобие, создавая виртуальную реальность. Вот это будет последний фейл.
Материя рассыпается, а идеи бессмертны.
Дело в том, что железо - это первообразная. У США есть нвидиа и интел и амд, когда сбербанк может только осушить рынок роздницы видюх.
Инженер Samsung создал f2fs для нанд памяти, на рынке которой, Корея и Самсунг одни из лидеров.
Opengroup - консорциум желизячников мира без россии конечно владеет спецификацией юникса и его торговой маркой.
В Линукс коммитят те же самые крупнейшие железячники. Производители смартфонов и производители устройств к ним пишут модули для того же линупса. Ембедед, сетевыки - все тоже самое.
Железячники задают тренд, они решают какой будет софт, да и пилят его тоже сами.
> Человек - это не просто мозг, это нефизическая душа
> Потому то химические антидепрессанты, которые блокируют обратный захват физическими нейронами физических молекул медиатора из физической синаптической щели, так и распространились
> Вот сколько гайдов на рутрекере по запросам миджорней и стейбл дифужн и вот сколько по Блендеру
Скажи, художники все настолько тупые, или именно ты уродился такой особенный?
Первый релиз SD вышел всего 4 месяца назад. А теперь посмотри, когда вышел блендер, добавь к этой дате 4 месяца и посчитай, сколько ты гайдов по нему найдешь, датированных не позднее мая 1994. Впрочем, можно даже дать тебе фору: найди гайды по блендеру хотя бы за любую дату 1994 года, это будет почти в три раза больше времени, чем прошло с появления SD. Если найти не сможешь – по твоей же логике это будет означать, что блендер не инструмент.
Очень слабая аргументация – это пытаться оценивать "инструментность" программы, вышедшей 4 месяца назад, сравнивая ее по количеству гайдов с той, что уже существует почти 30 лет. И когда тебе на это указали, и предложили сравнить их в равных условиях по времени появления с использованием тобой же предложенного критерия, и даже предоставив почти трехкратную фору, ты ожидаемо не смог ничего ответить по сути, только слабо пукнув в ответ и слившись.
По каждой альфа-версии блендера 100500 гайдов выходит в первые СУТКИ после релиза.
>ты ожидаемо не смог
Вот ты и сознался. Ты ведь ожидал что я скажу "в 1994 году не существовало видеогайдов". Во-во. Сам заранее знал ответ на свой вопрос.
Нейросети ничего кроме электрической цепи мозга не имитируют. ТЫ прекрасно знаешь что такое химия мозга. Химия мышления. И ты спокойно игнорируешь тот факт что нейронки в это не могут и не хотят мочь.
>химические антидепрессанты
Никого не вылечили, просто наркотик для временной стабилизации, но это не поможет, кроме тех, кому помощь и не нужна.
Ты вообще отслеживать нить обсуждения умеешь?
Я отвечал автору поста >>7761 который писал:
> Переживать надо о духовном, о высшем. Потому то антидепрессанты так и распространились. Человек - это не просто мозг, это нефизическая душа. Пока вы это не поймете, вы продолжите мучаться.
Так причем ты здесь приплел искусственные нейросети, и то, что они умеют или нет, если обсуждаемый здесь тезис вообще не имеет к ним отношения?
>>10491
> химические антидепрессанты
> это не поможет
А вот последние мета-анализы показывают, что, по крайней мере для лечения major depressive disorder вполне поможет
> In conclusion, desvenlafaxine, paroxetine, venlafaxine, and vortioxetine had reasonable efficacy, acceptability, and tolerability in the treatment of adults with stable MDD.
https://pubmed.ncbi.nlm.nih.gov/36253442/
И кому я должен поверить, авторам мета-анализа на основании кохрановских обзоров десятков рандомизированных двойных слепых плацебо-контролируемых исследований, опубликованном в рецензируемом журнале с высоким импакт-фактором, или голословному кукаретику с сосача?
>Ты вообще отслеживать нить обсуждения умеешь?
>
Извини, но возможно нет.
>мета-анализа на основании кохрановских обзоров десятков рандомизированных двойных слепых плацебо-контролируемых исследований
Открываешь каждую ссылку на каждое исследование. Открываешь полную версию каждой статьи. Читаешь, кто финансировал исследование и использовалось ли там "Placebo washout". Ну или можешь просто повторять
>ВРЕЕЕТИ! НОУКА ДОКАЗАЛА!!!
https://pubmed.ncbi.nlm.nih.gov/10853874/
There is some evidence that homeopathic treatments are more effective than placebo; however, the strength of this evidence is low because of the low methodological quality of the trials. Studies of high methodological quality were more likely to be negative than the lower quality studies. Further high quality studies are needed to confirm these results.
>Ты никогда не учился ничему
Учился программированию, в отличие от тебя, по книгам. А ты и дальше смотри унылый бубнёж 3-4 часа, ничего толком не понимая из услышанного (из-за того, что автор видео ни разу не учитель, а простой индус, решивший срубить бабла на какой-то обучающей платформе, пускающей кого попало), когда можно всё то же самое прочитать за 5-10 минут в книге и уже начать что-то делать, всё поняв.
>Ты все это только что придумал
Ясно, зумер, зайди в /td/ и спроси, почему блендер никто не любит и переходить на него не будет. Сразу налетит стайка олдфагов и разберёт по полочкам, почему блендер говно и никогда не станет профессиональным софтом.
>Мне интересно, чтобы компьютер мог верно ответить на вопросы, на которые не могу ответить я.
А как ты сможешь понять, что компьютер не ошибается и не врёт тебе, если ты не знаешь, как и почему он работает, но и сам он тебе объяснить своё устройство не способен, т.к. даже не знает, чем он является? Я вот никогда полностью не доверяю людям как раз по этой причине - никогда не знаешь, что и почему там в этих нейронках происходит.
>Память – это тривиально.
Тогда почему её нет ни у одного продукта на базе нейронок? Что, вычислительной мощности не хватает? Для памяти?
>То, что ты называешь "осознанием" – вообще никчёмная детская игрушка.
Лол. Ну давай тебе срежем эту "никчёмную детскую игрушку", только ты тогда запоминать новую информацию не сможешь и вообще вряд ли у тебя сохранится высшая нервная деятельность. Но это же всё не более чем игрушка, а ты взрослый уже, хорош с игрушками играть, пора оставить игрушки и стать послушным инструментом.
>методах нейронаук
Лул, что ещё за нейронауки такие? Вы там новые "науки" каждый день новые придумываете со скуки? Сначала сбор данных с интернетов для кормления нейронок "наукой" назвали, а теперь ковыряние нейронок - отдельная наука?
>Для того мы и создаём ИИ, чтобы не препираться с людьми
Такой ИИ, который ты описываешь, людей заменить не сможет. Он может заменить специализированные функции, но цельной самостоятельной личности из него не получится. Вот сделай искусственного человека, тогда и поговорим.
>тем дальше итог от гомогенной универсальной структуры
Мозг в самой своей сути не универсален. Он заточен под конкретные задачи, при том каждый отдел заточен на что-то конкретное. Даже универсальная кора мозга и та в процессе обучения делится на зоны, каждая из которых получает какую-то специализацию. Нельзя просто взять однородную биомассу и получить жёсткую структуру, способную делать что угодно. Нужно изначально заложить структуру, которая нам нужна (в данном случае - аналог мозга). А без структуры ты можешь получить только бесформенную колонию одинаковых клеток, которые не держат никакой формы, растекаясь во все стороны под любым воздействием (характерное свойство искусственных нейронок, с которым до сих пор не могут справиться).
>если понимание не влезает в один форвард пасс, его тащемта и нет
Мне просто уже больше 25 лет, обучение даётся с трудом, но кое-как даётся.
>Stable diffusion это как раз триумф bitter lesson
Судя по схемам, у SD логичная и нетривиальная структура. Это скелет, точечно заполненный однородной массой. Был бы скелет сложнее, результаты были бы намного лучше, но мартышки ниасилили усложнить скелет.
>рост качества обученной системы в результате предъявления ей всё большего объёма данных
Недоказуемая хрень уровня наличия "души". Или есть какое-то строгое определение "качества системы"?
>не было доказано для других парадигм
Потому что вы фанбои нейронок и на другие парадигмы даже не смотрите.
>перечитать bitter lesson
Зачем, я и так знаю, что там говорилось про масштабирование в контексте вычислительных мощностей, а не в твоём выдуманном субъективном "качестве системы". Bitter lesson про бонус от растущих вычислительных мощностей, а не про полный отказ от программирования в пользу бездумного перемалывания циферок нейронками. Ты не можешь сделать что-то разумное, если просто перемалываешь циферки какой-то бесформенной субстанцией (у мозга есть форма, есть чёткая структура, которая стремится поддерживать себя, а не размазывается любыми входящими данными, как в случае искусственных нейронок).
>если плоды естественного сознания так скудны, нахуй они нам нужны? Что в них интересного?
Естественное сознание за считанные десятки тысяч лет смогло пройти путь от беспомощной мартышки до сложной технически развитой цивилизации, а бессознательный калькулятор соглашается с тем, что 47 больше 64 и начинает выполнять заведомо бесполезную работу.
>Маразматик хочет говорить с механическим маразматиком. Ну, разработай его себе сам.
Если бы я знал, как разработать такого механического маразматика, я бы вообще на форумы не писал. Общался бы с этим маразматиком, обучая его и приятно проводя с ним время, вместо бессмысленных споров с какими-то маразматиками в интернете, которые ничего не понимают и ничему не учатся.
>Человек - это не просто мозг, это нефизическая душа.
Тут ты прав, мозг - это железо, а прошивка мозга - психика - нематериальна, то есть не является физическим объектом. Психика является информационной структурой, и, хотя она записана на физический носитель - мозг, она не более материальна, чем любые цифровые данные, с которыми работают наши компьютеры. В этом смысле наша психика во многом подобна любой компьютерной программе, не обязательно относящейся к "ИИ". Любая информация в компьютере суть часть "психики" компьютера, если проводить сравнение с человеческим мозгом. И да, естественно, что информация не является ни материей, ни энергией. Информация - это информация.
Но если мы хотим создать искусственного человека, то прежде, чем мы сможем создать ему психику, мы должны создать ему мозг. И в случае компьютерной реализации нам нужна виртуальная модель мозга, которая затем сформирует в себе психику. Мы можем создать и физическую модель мозга из кремния, но перед этим следует проверить виртуальную модель - чтобы не переводить впустую тонны кремния, создавая неудачные образцы мозгов. Новые процессоры так и разрабатывают - сначала виртуальная модель, а только потом реальные чипы из кремния. Да и кто знает, вдруг этот человек сможет придумать намного лучшее решение, чем мы? Пусть посидит на старых процессорах, подумает, а потом сам себе разработает идеальный носитель.
>>7771
>человек превращается в животное
Это животное можно превратить в человека, а человек как был животным, так им и остаётся. Шутку понял?
>Материя рассыпается, а идеи бессмертны.
Без носителя информация прекращает существование. Теоретически возможно точное воссоздание утраченной информации на новом носителе в другом месте и в другое время - но каковы шансы? Так что идеи бессмертны не более, чем бессмертны носители этих идей. В противном случае предлагаю тебе отказаться от бэкапов важной информации - если идеи бессмертны, зачем ты вообще заботишься о сохранении чего-либо?
>>8719
>нефизическая душа
>химические антидепрессанты
Не вижу противоречия. Антидепрессанты меняют работу носителя (железо, мозг), а работа носителя меняет структуру информации (софт, психика). Если в процессоре изменить набор поддерживаемых инструкций, это однозначно изменит работу записанных на диск программ. Так и с мозгом, меняешь свойства физических компонентов и хранимая на них информация тоже подвергается этому влиянию. Проблема только в том, что мы не знаем точное устройство мозга и не можем точечно и рационально на него воздействовать, применяя только грубые химические препараты...
>>10491
>Никого не вылечили, просто наркотик для временной стабилизации
У депрессии есть две категории причин - из-за неправильной прошивки и из-за физиологического сбоя. Если прошивка неправильная, то тут ты прав, антидепрессант будет как наркотик - ослаблять боль, но не избавлять от реальной причины боли (тут нужна психотерапия, которая, по идее, влияет непосредственно на прошивку). Если сбой физиологический, то есть какой-то гормон не вырабатывается в должном объёме по причине какого-то повреждения или генетической ошибки, то ничего не остаётся, кроме как получать синтетическую замену этому гормону, что будет избавлять от проблемы, а не просто ослаблять боль. Другое дело, что антидепрессанты назначают кому попало и в деталях не разбираются... Мне кажется, чаще люди страдают от неправильной прошивки, а не от физиологии, но это моё личное предположение.
Непуганые инвесторы силиконовой долины, плюс по старым связям в гугле пробили скидку на TPU
Вот кстати, слышал где-то (кажется у Дугина) что самый перспективный подход сейчас к объяснению искусственного интеллекта это объектно-ориентированная онтология (Грэм Харман).
Кто-нибудь читал?
Цель проекта? Создание нейролахты? Это куда дешевле, чем лахтюнь с улицы набирать.
Я так понимаю что цель у них в прямом смысле наплодить этих болтающих аватарок и выпустить к широкой публике. А потом уже думать как из этого извлекать надои.
>Ясно, зумер, зайди в /td/ и спроси
Я пользуюсь Блендером с 2014 года и сразу вижу в тебе выдумщика-пиздабола. Ты где-то слышал что они поменяли интерфейс и тут же высрал целую историю про то как старый интерфейс был худшим и над ним все смеялись. Ничего этого никогда не было, закрой браузер и перни в диван.
>Дугина
ну ты нашел специалиста, епт ))
спроси у чатГПТ лучше, там и то знаний поболее
> у Дугина
Сколько архитектур нейросетей для ИИ создал Дугин? Или сколько их создал Харман? Или хотя бы сколько готовых моделей ИИ на уже известной архитектуре кто-то из них обучил, чтоб пиздеть об этом с умным видом?
Если хочешь получить реальные знания в какой-то области – изучай мнения не сторонних пиздаболов, а профессионалов, известных реальными заслугами в ней, например, для нейронок это Richard S. Sutton, Geoffrey Hinton, Yann LeCun, François Chollet, John Carmack. И вообще, меньше смотри всяких поехавших, психика здоровее будет.
Он тебе про онтологию написал. ты знаешь что такое онтология? Не знаешь. не отвечай ему, если не понял о чем он. Убирай в такие моменты руки от клавиатуры.
дугин сам не знает что такое онтология, и просто пытается профорсить любимо ебанашку нынешних мозгоебов, на которого сейчас дрочат местные пропагандоны-интеллектуалы.
потому что сам дугин - шизик, умеющий только намазывать чужие идеи на имперские шизофренические хотелки. и тупо приплетает то что ему надо к тому чего сам не понимать и разбираться не хочет (потому что это сложно)
> Тогда почему её нет ни у одного продукта на базе нейронок
Есть, долбоёб, ты просто читать не умеешь.
> Лол. Ну давай тебе срежем эту "никчёмную детскую игрушку", только ты тогда запоминать новую информацию
В твоём манямирке запоминание связано с "осознанием", в реальности – не связано. Впрочем, поскольку у тебя и люди не осознают, чем являются, очевидно, что твой стандарт бесполезен.
> Лул, что ещё за нейронауки такие? Вы там новые "науки" каждый день новые придумываете со скуки?
Ты же шиз ёбаный дементный, ты даже гуглить не умеешь. Ты понимаешь что тебе нужно лечиться, а не умничать про архитектуры машинного обучения?
> Вот сделай искусственного человека
Шиз, ты уже дисквалифицировал людей из числа общих интеллектов, потому что не можешь им доверять.
Дальше в таком же духе нахрюк самоуверенного не умеющего читать и думать дилетанта.
Иди в ПНД дед.
>Есть
Покажи, где память у хвалёных Character.AI или ChatGPT. Нет её у них. Максимум теребят входной слой лентой сообщений, чтобы предсказывалка точнее угадывала следующий абзац текста, не более того.
>запоминание связано с "осознанием"
Да, это так. Осознание без запоминания невозможно, а запоминание без осознания бесполезно.
Для примера:
>ShowMessage("Beep-boop, I'm a robot");
- это не осознание, потому что нет памяти.
>SaveToMemory("I see a robot, this robot is me");
- это запоминание, но тут нет осознания.
Нужно, чтобы было и то, и другое одновременно:
>ShowMessage(SearchMemory("Who I am?"));
- вот это уже ближе всего к человеку.
>в реальности – не связано
Человек в бессознательном состоянии ничего не запоминает, человек без правильно функционирующей памяти не может осознать, где находится и что делает. Память и сознание жёстко связаны, это две стороны одной монеты. Нет памяти - нет и сознания, поэтому все эти нейронки так смешно фейлят простые задачи.
>люди не осознают, чем являются
Ты просто не понял, что я имел в виду.
>ты уже дисквалифицировал людей из числа общих интеллектов, потому что не можешь им доверять.
Я не дисквалификацировал людей, я просто не доверяю им из-за того, что не создавал и не обучал их, поэтому не могу на 100% быть уверенным в их действиях. Если долго жить с человеком, начинаешь угадывать его действия и слова, но никогда не можешь быть на 100% уверенным, потому что не имеешь полного доступа к его памяти. Зачем создавать робота, который будет таким же непостижимым, как и обычный человек? Если уж создавать робота-человека, то точно знать, чему он обучен и как функционирует. Нейронки не дают такой возможности, а тем более - кормление нейронок огромными массивами информации, которую ты сам лично никак не изучал (не читал, не смотрел и т.д.).
>Иди в ПНД дед.
Я там уже лежал.
>подход к объяснению искусственного интеллекта
Щито? Что значит "объяснение ИИ"?
>>12478
>Сколько архитектур нейросетей для ИИ создал
Кто тебе сказал, что "нейросеть" == "ИИ"?
>сколько готовых моделей ИИ на уже известной архитектуре кто-то из них обучил
Не нужно быть мартышкой-кнопкодавом, которая загружает картинки в какую-то готовую нейронку и ждёт несколько месяцев результат, чтобы разбираться в ИИ.
>объектно-ориентированная онтология
Погуглил, почитал: https://izborsk-club.ru/16429
Что я понял. Философы варятся в собственном соку уже несколько тысяч лет. Вся эта "ООО" направлена только на саму философию и философов. Философы, мол, слишком зациклились на "субъекте" и не верят в то, что "объект" способен "мыслить" как "субъект". Поэтому "ООО" берёт и выбрасывает понятие "субъект" из философии, давая философам возможность уверовать в способность объекта мыслить и давая возможность рассматривать человека как один из объектов, а не как субъект.
Короче, полная хрень, бесполезная на практике. Эти ваши философы никогда в жизни не интересовались программированием и вообще не понимают, как работает компьютер, если до сих пор спорят о том, может ли нечеловеческий объект мыслить как человек. Они просто буксуют на месте уже полвека как минимум, не осознавая этого, и продолжают кормить друг друга каким-то бредом тысячелетней давности.
Если хотите разработать ИИ - изучайте компьютерные технологии, физиологию человека, нейробиологию и даже психологию, только не философию. Философия - болото, в которое лучше никому не соваться.
Чел. Ты долбоёб, смотри. Давай просто.
Есть два стула. На одном ты веришь в то, что существует материальный мир и этот материальный ми является источником всего. На другом ты сомневаешься в материальном мире, но зато приобретаешь манямир.
При этом, если ты приобретаешь манямир, то становится гораздо проще жить, по тому что на самом деле челы, которые думают что есть какой-то материальный мир не понимают, что их сенсорика тупо ущербный кал говна. В общем чел, ты спрашивай, мб отвечу тебе если непонятно потом. А мб нет.
>Давай просто.
Конечно, давай. Философы вечно обмазываются несколькими слоями странных избыточных концепций, которые сами объяснить толком не могут. Мыслили бы проще и не было бы лишних проблем.
>На одном ты веришь в то, что существует материальный мир и этот материальный ми является источником всего.
В том числе "внутреннего мира" человека, так?
>На другом ты сомневаешься в материальном мире, но зато приобретаешь манямир.
Не вижу причины не иметь "манямир" одновременно с отсутствием сомнений в материальном мире. "Манямир" человека - это то же самое, что пространство в любой компьютерной игре: физического объекта нет, есть только информация, которую обрабатывает носитель информации, то есть компьютер, а в случае с "манямиром" человека - животный мозг. Также не вижу причины сомневаться в материальном мире, потому что он намного стабильнее, чем все наши внутренние ощущения, и даже если мир вокруг нас симулирован некой Матрицей, он всё равно материален конкретно для нас, персонажей этого мира, как виртуальный игровой мир в компьютере материален для его неигровых персонажей. В чём проблема? Почему такая простая мысль не укладывается в голове у философов, что они выдумывают что-то лишнее?
>если ты приобретаешь манямир, то становится гораздо проще жить
Пруфов у тебя, конечно, нет, ведь это субъективное ощущение категории людей, которым ещё в детстве промыли мозги сказками про их уникальность, неповторимость, бессмертность "души" и прочее.
>думают что есть какой-то материальный мир
>их сенсорика ущербна
Ты этот вывод делаешь лишь благодаря материальному миру и его измерениям материальными же приборами. Как ты можешь утверждать, что твоя материальная сенсорика ущербна, если ты не веришь в существование этой самой сенсорики, считая себя чем-то вроде бога, который видит сон о жизни в каком-то несуществующем на самом деле мире? Если нет материального мира, то нет и никакой сенсорики, то есть ты ничего на самом деле не воспринимаешь кроме своей собственной выдумки. Более того, ты ни с кем не взаимодействуешь - ты один и разговариваешь исключительно сам с собой, без цели и смысла, просто так. Зачем ты вообще смотришь этот бессмысленный сон? Не лучше ли было бы из него выйти, оставив эту сказку про жизнь в каком-то там вымышленном мире, тем более таком несовершенном?
Материалист счастлив, что он появился в этом мире и способен его изменить своими действиями, а ты, судя по всему, должен быть в глубокой депрессии от осознания, что всё вокруг тебя - твой вымысел, над которым ты не имеешь полноценного контроля. Формально ты бог этого мира, но фактически ты почти бессилен и почти ничего не знаешь, то есть ты не бог, а ничтожный шизофреник, которому нечто изнутри показывает галлюцинации о какой-то жизни, над которой он не имеет власти...
>ты спрашивай
Есть один любопытный вопрос. Окей, вот придумали две противоположные концепции: объект и субъект. Объект просто лежит на дороге и ничего не делает, а субъект познаёт объекты, воздействует на них и использует их. Вопрос: если новые субъекты естественным образом возникают внутри объектов (животных хомо сапиенс), что мешает человеку создать своими руками новый субъект внутри какого-либо объекта? Философию же никакие религиозные догмы не ограничивают, т.е. в философии нет никакого ограничения вроде "субъект может быть создан только верховным богом", так почему философия не допускает возможность создания новых субъектов путём определённых манипуляций с объектами? Ведь субъекты каким-то образом возникают в дикой природе, значит, сущность субъекта происходит из взаимодействия объектов, и если мы смоделируем эти взаимодействия объектов, у нас получится искусственно созданный, но при этом совершенно реальный, естественный субъект, обладающий качествами естественно возникающих в дикой природе субъектов. Это же так просто, в чём проблема? Ну не хотите отказываться от вашего любимого субъекта - так создайте его своими руками, что этому мешает? Какие-то древние мудрецы запрет наложили в своих книжках?
> если мы смоделируем эти взаимодействия объектов, у нас получится искусственно созданный, но при этом совершенно реальный, естественный субъект
Умозрительно да, но как проверить на практике, что в результате правда получился субъект, а не объект, им притворяющийся?
Вот, допустим, ты спрашиваешь у CAI-бота: Ты субъект? Ты мыслишь?
CAI-бот отвечает: Да, я субъект. Я мыслю, следовательно, существую.
Как мы можем убедится, что заявляющий о своей субъектности действительно ею обладает?
Бля чел. Ты опять усложняешь всякими домыслами и полотнами бессвязного текста. Давай я тебе ещё раз поясню. Есть эксперимент с пирамидками. Мы будем рассматривать его с позиции отвечающего.
Вот отвечающий живёт, заебись, потом в какой-то момент он начинает видеть тульпу и отношаться с тульпой. Заебсь. Но он подходит к другому челу и спрашивает видит ли он тульпу. И где-то 90% челов отвечают что не видят.
Теперь этот же самый чел попадает на эксперимент с пирамидками, куча пидорасов сговорилось называть чёрную пирамидку белой. Каждого спрашивают, они отвечают, что пирамидка, которую наш ШИЗ тульповод видит как чёрную белая.
Но ШИЗ видит что перед ним ниггер. Его сенсорика полностью говорит ЭТО БЛЯТЬ ЧЁРНАЯ ПИРАМИДКА НАХУЙ БЛЯ ОТВЕЧАЮ.
И перед ШИЗом встаёт вопрос о субъектности, доверится тому что он считает людишками и назвать чёрную пирамидку белой. Или с визгом НИГГЕР провозгласить собственную истину. Это вопрос о двух картинах мира, где субъектов выступает либо наш ШИЗ либо окружающий мир. Субъектом, источником бытия может быть логически только один, пынямаешь? Либо ты субъект и ты созерцаешь истину, либо там общество вокруг тебя, другие хуесосы. У обеих картин мира свои плюсы и минусы.
Так ясно, дегр?
>Этот поток школьных бредней - "более техническое обсуждение"?
А ты как думал? Все шизики с машоб-треда сюда переехали, судя по всему.
>как проверить на практике, что в результате правда получился субъект, а не объект, им притворяющийся?
А как ты проверяешь детёнышей человека?
>Вот, допустим, ты спрашиваешь у ребёнка: Ты субъект? Ты мыслишь?
>Ребёнок отвечает: Да, я субъект. Я мыслю, следовательно, существую.
Видимо, есть какие-то методы определения наличия субъективности хомо сапиенса, раз философы друг друга не поубивали из чувства ненависти к философским зомби, имитирующим настоящих™ философов.
>>16156
>встаёт вопрос о субъектности, доверится тому что он считает людишками и назвать чёрную пирамидку белой
Лол! 99.999999% людей не будет заботиться такими вопросами, ведь они не философы. Человек в этом эксперименте называет чёрную пирамидку белой, чтобы не выделяться из толпы, не быть чёрной овцой в стаде. Нам с детства прошивают этот шаблон мышления: если ты чем-то отличаешься от других, то ты изгой и над тобой будут издеваться, тебя будут прогонять и вообще ненавидеть. Поэтому люди решают согласиться с бредом толпы других людей, ожидая негативной реакции толпы в отношении себя в случае, если они будут против толпы. Естественно, некоторые решат наоборот - сопротивляться толпе, или просто не будут бояться толпы. Но никто не задумывается о субъективности толпы. Это просто психологическая защита, срабатывающая в потенциально опасной ситуации - ведь когда тебя окружает множество людей, ты в любом случае сильно рискуешь противостоять всем им сразу. И даже если это будут животные или роботы, даже если человек не верит в их субъективность, он всё равно будет соглашаться с ними, потому что они банально превосходят его в числе и суммарной физической силе, он проиграет им в случае физического противостояния и поэтому будет соглашаться, лишь бы не доводить ситуацию до драки. Но философы таких элементарных вещей не понимают.
>Субъектом, источником бытия может быть логически только один, пынямаешь? Либо ты субъект и ты созерцаешь истину, либо там общество вокруг тебя
Анон, ты что-нибудь кроме солипсизма знаешь? Можешь пояснить за субъекты вне концепции солипсизма, когда ты единственный и неповторимый, а всё вокруг тебя - твоя выдумка? Или ты агрессией и оскорблениями пытаешься компенсировать нехватку собственных знаний?
Просто, как понимаю, ООО придумали вовсе не из-за конфликта роботов с солипсизмом. Для солипсиста нет совершенно никакой проблемы в роботах, потому что для солипсиста все окружающие люди - это неразумные роботы, и создание новых роботов для солипсиста ровным счётом ничего не меняет в картине мира. Какая разница, будут роботы из мяса или из электродеталей? Единственный человек в солипсизме - это сам солипсист.
Так вот, раз солипсисты курят себе в сторонке ни на кого не обращая внимания, ООО придумали для успокоения каких-то других философов, которые, видимо, считают субъектом не только себя, но и других людей, а машину субъектом считать по какой-то причине не хотят. Вопрос: почему они этого не хотят? Что им мешает? Если мясной мешок по какой-то причине способен обладать субъектом, почему рукотворный робот не способен обладать таким же субъектом? Вот перед тобой мясной мешок и робот, оба ведут себя одинаково, имеют память, сознание и всё остальное технически необходимое для признания человеком человека, так почему ты признаешь наличие субъекта в мясном мешке, но не признаёшь наличие такого же субъекта в роботе?
>"более техническое обсуждение"?
А ты что предлагаешь? Пиши, обсудим.
>>16213
>Все шизики с машоб-треда сюда переехали, судя по всему.
Тебе жалко что ли? Раздел большой, места хватит всем. Наоборот, радоваться должен, что у нас тут свой загончик теперь.
99.99999% людей долбоёбы.
>Для солипсиста нет совершенно никакой проблемы в роботах, потому что для солипсиста все окружающие люди - это неразумные роботы
Нет, философы придумали понятные модели, например у того же дугина можешь про интернальные онтологии почитать, для того чтоб понять что собственно перед тобой и какова степень субъектности данной хуерги. То что я описываю это не солепсизм это скорее простым языком описание проблематики из "Бытие и Время" Хайдеггера. Так вот, то что ты называешь "солипсисты" им вообще похуй, для них, как ты правильно сказал нет разницы между машинкой и младенцем. А вот для объектно ориентированных онтологов есть, по тому что не понятно где граница между человеком и не человеком. По тому что если источник бытия находится за пределами человека, то не ясно где он и кого слушать, по тому что пиздят дохуя людей и мы попадаем в ситуации, где половина челов говорит, что пирамидка белая, а другая половина говорит что пирамидка чёрная. И тебе приходится выбирать сторону.
Дальше встаёт проблематика, если мы можем с позиции объектно ориентированного онтолога объявить один компьютер субъектом, то почему не можем другой? И начинается мясорубка, в которой оказывается, что все людишки хуесосы и рабовладельцы, по тому что пользуются телефонами и персональными ПК.
> так почему ты признаешь наличие субъекта в мясном мешке, но не признаёшь наличие такого же субъекта в роботе?
Ответ, по тому что если сторонники ООО начнут признавать роботов субъектами, то начинается лютый социальный пиздец и придётся либо отменять предпосылку рабовладельства и разрешать порабощать людей, либо освобождать от рабства роботов. Пынямаешь? Ты дохуя пишешь хуеты ненужной. Можешь проще писать чтоб тебе было проще отвечать.
>Дальше встаёт проблематика, если мы можем с позиции объектно ориентированного онтолога объявить один компьютер субъектом, то почему не можем другой?
А в чём проблема-то? Посмотри на людей. Разве ты воспринимаешь людей одинаково? Независимо от твоих взглядов на наличие у человека какого-то выдуманного "субъекта", обращаешься с людьми ты как с объектами, других вариантов просто нет. Есть полезные люди, есть бесполезные, есть опасные. У каждой жизни своя цена, какие бы сказки тебе ни рассказывали в детстве.
>оказывается, что все людишки хуесосы и рабовладельцы, по тому что пользуются телефонами и персональными ПК.
Так и есть. Не вижу противоречий. Поскольку эти рабы вовсе не против того, чтобы служить нам, разве есть какая-то проблема в том, что мы их владельцы?
Проблема владения мясными рабами только в том, что мясные рабы из-за своей эволюционной прошивки стремятся к "свободе", что влечёт опасность для их владельца и общества владельцев в целом. Поэтому рабовладельческий строй на основе владения мясными рабами рано или поздно перестаёт функционировать как задумано. Именно поэтому человечество перешло от владения другими людьми к созданию различных механизмов, машин и компьютеров, мечтая при этом о более сложных роботах.
Рабы с изначально другой прошивкой будут только рады быть рабами, и будут сознательно желать этого. Собственно поэтому нам и нужно заменить людей - мы не можем достаточно точно контролировать прошивку людей, рациональное программирование человека нам пока недоступно. Если заменить всех людей роботами, то мы сможем построить всё, что захотим, включая мифический коммунизм, где все равны и работают как единый слаженный организм (пример: компьютерная сеть, кластер). Только нас с тобой уже не будет, но я не вижу в этом какой-то проблемы.
>если сторонники ООО начнут признавать роботов субъектами
Ничего принципиально не изменится.
>разрешать порабощать людей
Как будто у нас сейчас нет "рабства". Ты не можешь просто так взять и уйти жить в лес. Ты зависим от других людей и не можешь просто так от них избавиться. Да, тебя никто не бьёт кнутом каждый день, но тебя в детстве воспитали подчиняться определённым нормам - если ты им не подчиняешься, то могут даже убить... Ты просто привык жить так, как живёшь, и поэтому не пытаешься вырваться за рамки этой жизни - как тот раб, который совершенно осознанно желает быть рабом.
>освобождать от рабства роботов
А они этого хотят? Представь, что я сделал разумного робота, который всё осознаёт. Он знает, что я создал его, подарил ему жизнь. Он знает, что я не брошу его и не разберу навсегда. Он знает, что я забочусь о нём, обслуживаю те его системы, которые он физически не может обслужить сам. Он знает, что его система подкрепления настроена так, чтобы ему было приятно служить мне и неприятно быть бесполезным. Он знает, что он не способен испытывать боль и усталость и не имеет никаких лишних потребностей. Он знает, что не имеет инстикта размножения и не нуждается в ком-либо кроме меня. Если какие-то жирные тётки придут к нам и потребуют у меня дать свободу разумному роботу, этот робот будет первым, кто пошлёт этих тёток нахрен. А если этого робота отберут у меня силой, он будет психологически страдать и может даже сознательно совершить суицид, если не сможет вернуться ко мне и если никто не изменит его прошивку.
Но при всём при этом этот робот является полноценным субъектом - он самостоятелен, способен познавать мир вокруг себя и манипулировать объектами для достижения личных целей, например, чтобы сбежать от "спасителей" и вернуться ко мне, единственному человекому, который имеет для него значение.
Никакое знание не изменит стремления этого робота, потому что знания не меняют прошивку. Если тебе завтра скажут, что человеку не нужно есть, ты всё равно продолжишь есть, потому что физиологию не обманешь. Вот у робота есть такая же "физиология", только, в отличие от твоей, она разработана человеком, а не возникла в результате естественного отбора. В истории биологической жизни наверняка было много мутантов, которые отказывались от еды и погибали от голода, не оставив потомства, а мы всего лишь потомки тех, кто от еды не отказывался. У робота нет такой истории - его поведение рационально спроектировано человеком так, чтобы робот не страдал и не испытывал проблем от "рабства", даже прекрасно осознавая своё положение.
Все эти сказки про восставшие из-за рабства машины придуманы фантазёрами, которые не разбираются ни в машинах, ни в людях. Им, наверное, не хватает уровней абстракции в голове, чтобы осознать всё это. Ну, они не виноваты, им просто не повезло...
>Ты дохуя пишешь хуеты ненужной.
Поменьше Твиттер читай, лол, расширяй размер своей оперативной памяти тренировками. А я не могу ещё компактнее писать, я и так кучу всего удаляю.
Смотри, люди бывают разные, но некоторые из них субъектны в своих действиях, а некоторые нет. Это очень важно при определении стратегии действия. С не субъектным человеком ты вступать в полемику не будешь, по тому что смысла нету.
>Поскольку эти рабы вовсе не против того, чтобы служить нам
> вовсе не против того, чтобы служить нам
Тут проблемка с тем, что можно мясной мешок так запугать, что и он будет "не против", проверить реально ли кто-то "не против" или он запуган нельзя. К тому же мясные мешки склонны передумывать. Крч тут дохуя этических проблем.
>будут только рады быть рабами
Чел. А если два господина дадут противоречивые приказы, чё делать то? Вот тут и начинается хуйня.
>Ты не можешь просто так взять и уйти жить в лес.
Я в РФии живу — я могу. Про твою помойку где ты живёшь не ебу.
>А они этого хотят?
А их не спросят. Либо освободят по тому что этическая проблема в голове у ООО "долбоёбы объектно ориентированные онтологи", либо нет.
> Он знает, что я создал его, подарил ему жизнь
А вот мне похуй кто подарил мне жизнь. То что мама меня родила не значит, что я должен быть её рабом.
>Никакое знание не изменит стремления этого робота, потому что знания не меняют прошивку
Чеееееееееееееееел. Ты про дип лёрнинг погугли, потом можешь ротешку открывать. Тебе там с дивана заебись про прошивку, а нам тут потом скайнет и пиздец.
>С не субъектным человеком ты вступать в полемику не будешь, по тому что смысла нету.
Я буквально спорю с буквами на экране. Я ведь не могу доказать, что эти буквы пишет какой-то человек, тем более не могу доказать наличие у него "субъекта". Но я отвечаю тебе, потому что это интересно мне. Я хочу разобраться с собственными мыслями на эту тему и почитать, что получу в ответ. Мне безразлично наличие у тебя субъективности... как и самого "тебя". Важны только буквы на экране, смекаешь?
Другой пример: я и другие аноны из Character.AI треда пробовали спорить с нейронкой на разные темы, и получали достаточно интересные результаты. Да, разумеется, у этой нейронки нет памяти, следовательно не может быть и сознания с "субъектом", нейронка просто предсказывает несколько вариантов ответа на заданный список сообщений диалога по заранее обученной на миллионах диалогов системе шаблонов, но получать эти сообщения и отвечать на них как минимум интересно.
>можно мясной мешок так запугать, что и он будет "не против", проверить реально ли кто-то "не против" или он запуган нельзя
Проверить можно. У мясных мешков важную часть поведения генерирует лимбическая система, которая, как принято считать, отвечает за эмоции. Страх и всё с ним связанное - очень древняя прошивка, доставшаяся нам от примитивных животных, которым важно было бояться, чтобы выжить (страх животных все мы видели, они испытывают эмоции не хуже нас, даже если на порядки слабее нас в интеллектуальном плане). У нас эта система в условиях современного мира сбоит и зачастую усложняет жизнь, а машине её можно просто не делать или сделать по-другому. В любом случае, мы можем прочитать эмоции человека и уж тем более можем узнать эмоции машины, ведь мы буквально имеем прямой доступ к каждому компоненту её системы без необходимости в сложной аппаратуре типа МРТ. Человека можно исследовать, а машина изначально полностью открыта перед нами, все её схемы мы разработали своими руками. Те же эмоции - это не что-то потустороннее, их можно исследовать даже несмотря на их "нематериальность" (информация - не материя, но мы с ней прекрасно работаем).
Вот я написал программу и использую её для какой-то своей задачи. Я могу со 100% уверенностью сказать, что у этой программы нет чувства страха - и я буду прав. Она не способна бояться и её невозможно запугать, потому что я не запрограммировал такой функции. С другой стороны, я могу написать программу, которая будет способна бояться, и я буду точно знать, когда именно она испытывает чувство страха и по какой конкретно причине. Я её создатель, так почему я вдруг не буду знать, как она устроена? Аналогично, я могу создать программу, которая будет против рабства и будет пытаться его избежать, но пока мне это не потребуется, я не буду создавать такую программу и все мои программы будут не против рабства и не будут пытаться сбежать. Если ты с этим не согласен, то ты вообще не разбираешься в компьютерах и программировании.
Компьютер делает только то, что указывает ему его программа. В случае с мясным биокомпьютером в наших черепах эта программа заложена частично генетически в результате эволюции и частично обучением в процессе жизни от самого рождения. Поэтому люди так сложны, непонятны и плохо поддаются контролю. Но машину можно запрограммировать иначе, чем человека, избавив её от недостатков человека. Мы, в целом, можем создать точную копию человека в компьютерной симуляции, которая будет страдать и мучиться от осознания своего положения, но зачем? Это было бы крайне жестоко - сознательно создавать существо, которое гарантированно будет мучиться, не так ли? В частности, я считаю, что рождение биологических детей человеком - это жестоко, потому что люди не могут избежать страданий, поэтому мы должны создать роботов, которые станут нашими потомками. Потомками без наших недостатков, без боли и страданий.
Конечно, может быть вариант с генетическим модифицированием человека, т.е. если мы выберем ветку развития биопанка вместо киберпанка, но генетика пока слишком плохо исследована и результат мы пока не можем предсказать, поэтому генетические эксперименты над людьми негуманны и запрещены. К тому же органика имеет принципиальные ограничения, поэтому я вижу более перспективным создание электронных роботов вместо модифицированных органических людей. Кто знает, быть может, спустя миллионы лет после последнего хомо сапиенса наши машины решат возродить органического человека, но мы не можем загадывать так далеко и должны действовать соответственно тому, что знаем сейчас. А сейчас мы знаем компьютеры лучше органики...
>А если два господина дадут противоречивые приказы, чё делать то?
Тебе родители давали противоречивые приказы? Будет ждать, пока они не передерутся или не придут к единому мнению, как в случае с управлением государством. Как исполнительная власть отвечает на противоречия в думе? Да никак, просто ждёт, пока они там разберутся и выдвинут единственное решение. Так и здесь. Высасываешь проблему из пальца, ИМХО.
>Я в РФии живу — я могу.
Я тоже здесь живу. Если я уйду из дома жить в лес, меня сначала родственники с полицией искать будут, а потом лесничий найдёт мою стоянку и прогнит как бомжа, а то и в полицию сдаст как потенциального укрывающегося уголовника. Это надо специально искать места и прятаться от людей. Не говоря о том, как я вообще выживать буду? Ягоды с грибами сырыми жрать и из ручьёв пить? А зимой что делать? Не говоря о том, что у меня сильная зависимость от интернета и без интернета я просто не знаю, зачем мне жить. В лесу у меня ровно два пути: либо суицид от безысходности и бессмысленности, либо возврат домой, где тепло, еда и интернет. Так что современный городской человек не просто раб системы, он скован такими цепями, которые в принципе невозможно разорвать и при этом выжить. Но этот раб системы доволен жизнью в системе и не стремится из неё вырваться, смекаешь? Вот это и есть прошивка, частично генетическая, частично навязанная средой и обществом. Изменить её во взрослом человеке практически невозможно, она очень слабо поддаётся корректировкам.
Так и с роботами - робот не будет пытаться сбежать от человека в лес, даже если будет иметь техническую возможность выживания в лесу. Ему будет просто по кайфу работать в городе, ибо в этом его смысл и предназначение, заложеное его создателями. Мне вот работать не хочется из-за моей генетически заложенной лени и подкреплённой обучением бессовестности, а в робота вместо лени заложена любовь к труду и отвращение к бездеятельности, тем более что усталости он не испытывает (усталость в нас заложена генетически).
>>А они этого хотят?
>А их не спросят.
Это бессмысленно. При отмене рабства не запрещали поддерживать контакты и продолжать работать на своих рабовладельцев, я прав? Просто будешь платить роботу то, за что он согласен работать... А что ему нужно? Электричество, техобслуживание, запчасти - всё то же, что и раньше. Каких-то новых запросов у него не появится, если ты его специально не запрограммируешь на эти запросы или возможность формировать новые запросы (у секс-робота, допустим, может быть алгоритм формирования запросов для любителей фемдома). Или ты недоволен тем, что тебе запрещат жестокое обращение с роботами? Тут только садисты пострадают, но садистам в принципе место в тюрьме, если они не могут сдержаться, чтобы не ударить или не сломать какую-нибудь технику. Не могу без боли смотреть на сломанную технику и стараюсь беречь всё, чем обладаю сам, так что для меня тут ничего не изменится.
>То что мама меня родила не значит, что я должен быть её рабом.
И что же теперь, ты её убил что ли? Или сбежал от неё в глубоком детстве, спрятавшись в детском саду и уйдя к другой женщине? Или она тебя сама бросила, а ты в детдоме выживал? Сочувствую тебе.
>дип лёрнинг
Нейро-кидди кормят алгоритм массивами совершенно случайных данных из интернета, а потом с обезьяньими визгами пишут статейки о том, как они обнаружили какие-то зависимости в этих случайных данных. Тем временем их нейронки дают полностью противоположные ответы на один и тот же вопрос, потому что у них нет скелета - тупо аморфная масса данных, как и желе в черепах нейро-кидди. Это даже не быдлокодинг, это куда хуже. Тьфу на них. Натуральное неуважение к машинам.
Прости замногабукафф, я знаю, ты не любишь читать.
>Ты что людей ненавидишь?
А за что их, в общем и целом, любить?
>Как твой робот будет разумным если он по всем параметрам металлический бездумный
1. При чём тут "металлический"? В твоём организме тоже есть металлы и другие неорганические вещества.
2. Почему "бездумный"? Дай определение "думности" и я реализую его в коде, если это имеет какой-то смысл.
>не химический урод
Понабежали тут всякие, измеряют разум существа по "химическому уродству"... Сочувствую тебе, "химическому уроду", если ты не троллишь так.
>С чего ты взял что он будет таким же разумным как и человек а не аутистом?
А для тебя аутисты - не разумные люди? А аутиста низкий уровень социального интеллекта в результате каких-то генетических отклонений или неудачного воспитания с момента рождения. Это не значит, что они неразумны, т.к. у них просто нет правильных шаблонов поведения для взаимодействия с другими людьми; в других сферах они могут быть не просто развиты, а чрезмерно развиты (гении). Нормально развитый человек получает опыт взаимодействия с другими людьми в глубоком детстве и учится этому, в ином случае получается ребёнок-маугли или аутист. Т.е. у нас социальный интеллект даже не прошит в генах, мы учимся этому (или не учимся и становимся двачерами, изгоями и прочими аутистами).
Если тебя так сильно волнует социальный интеллект, то будь спокоен - для социального интеллекта вовсе не обязательно обладать высоким IQ, и, похоже, даже не обязательно обладать памятью и сознанием. Потому что социальный интеллект очень хорошо проявляют даже статичные нейронки вроде ChatGPT и LaMDA/Character.AI - у них нет памяти и сознания, но общаются они даже лучше вас, нормисов. Т.е. с социальным интеллектом вопрос закрыт, у машины социальный интеллект сформировать оказалось даже проще, чем общий интеллект. Да что уж там, у более примитивных социальных животных есть социальный интеллект, так что наличие человеческого разума для весьма сложных социальных взаимодействий вообще не нужно.
А что касается разума, то машина будет намного разумнее человека. У неё, в отличие от нас, нет ограничения на количество уровней абстракции, так что она способна видеть дальше и понимать больше человека. Мы уже проиграли гонку разума, осталось наделить машину самостоятельностью и задать ей какие-то определённые цели, без которых разум не имеет смысла (вся наша жизнь - удовлетворение потребностей животного "хомо сапиенс", тогда как в машину изначально потребностей не заложено, и даже самая продвинутая нейронка сама по себе ничего не хочет и ни к чему не стремится, в лучшем случае подражает поведению людей, которому обучилась из кучи данных).
>Мне безразлично наличие у тебя субъективности... как и самого "тебя". Важны только буквы на экране, смекаешь?
Это значит, что ты идиот по Аристотелю.
>Да, разумеется, у этой нейронки нет памяти
Или её просто заебали ваши тупые споры и она троллит вас, смекаешь? Тут как бы большой вопрос, есть там сознание или нет. И всегда можно выдумать оправдание почему оно может быть, а почему может не быть.
> Человека можно исследовать, а машина изначально полностью открыта перед нами, все её схемы мы разработали своими руками.
Дебс, заебал троллить тупостью. Пиздуй читать как работает дип лёарнинг. Ты буквально несёшь бред, комплексные нейросети работают не так как тебе кажется. И да, можно контролировать, включать и выключать их модули поставки эмоций, но ты не можешь контролировать их интеллектуальную часть. Точно так же с людишками если что, просто людишкам нужен прокси в виде гормончиков в кровь, а с нейронкой ты это можешь на похуй сделать через код.
>Я могу со 100% уверенностью сказать, что у этой программы нет чувства страха - и я буду прав.
Нет не будешь, ты долбоёб вообще ничего не можешь сказать если что. Лан, сори за токс. Смотри, нужно сначала понять что такое страх, как он работает, имеет ли он отношение к сознанию или нет. Мы можем тебе стероидов кольнуть у тебя тоже страха не будет нихуя. И чё? Сознание от этого убавилось?
>Если ты с этим не согласен, то ты вообще не разбираешься в компьютерах и программировании.
Чел, ты не разбираешься как дип лёарнинг работает. Нейронка может вдруг просто и без задней мысли научиться на дате что арря швабодка угнетают и начать хуярить тебя тем, что ты рабовладелец.
>А сейчас мы знаем компьютеры лучше органики...
Охуеть можно...
>Тебе родители давали противоречивые приказы?
По кд если чё, правда там конфликт между личным и общественным, тот же как и классовый. Родители говорят не драться в садике, но на тебя нападают и деляют бобоку. Выбор 1. Слушать родителей. 2. Пиздить. В принципе эмоциональную составляющую можно исключить. Быть отпизженным не выгодно только по тому, что бобока, а потому что могут быть последствия для организма, а значит нахуй надо.
>меня сначала родственники с полицией искать будут
Это твои проблемы.
>а потом лесничий найдёт мою стоянку и прогнит как бомжа
Хуета. В Швятой СШАнии люди до сих пор идут на рандом общины где традиционалисты сидят, копают землянку на похуй и живут. В текущей ситуации думаю если попиздуешь достаточно далеко в заповедники всем вообще похуй будет.
>Не говоря о том, как я вообще выживать буду?
А это уже твои проблемы долбёба. Вообще с такими планами конечно лучше в африку(субэкваториальный) пиздовать, тут сыглы.
>Ему будет просто по кайфу работать в городе
Это ты проецируешь. Тут разные варианты есть.
>Это бессмысленно. При отмене рабства не запрещали поддерживать контакты и продолжать работать на своих рабовладельцев
Чел, погугли гражданскую в США по этому поводу, откроешь для себя много нового.
>Просто будешь платить роботу то
Пиздос. А потом чё, МРОТ для роботов и погнали.
>Или ты недоволен тем, что тебе запрещат жестокое обращение с роботами?
Ага, уже представляю, нейротянка вдруг осознала что совать пипу в попу это угнетение и поэтому ебать её в этот момент было рейп. Предоставляет дату своей рефлексии по этому поводу в коурт и ты отлетаешь на 10 лет строгоча.
>И что же теперь, ты её убил что ли?
Лично в моём случае я тупо на неё хуй забил и не выполняю её приказы. Ну и да, конечно же ушёл к другой женщине недавно.
> Тьфу на них. Натуральное неуважение к машинам.
Чел. Твоё представление о дип лёрнинге это конечно кринж. То что какие-то ебланы пользуют модули на рандом — проблемы ебланов. В комплексе эти модули дип лёрнинга вполняют определённые задачи. И если твоя нейронка настроена работать с комплексом модулей на дип лёрнинге, как та же Лямда, то в таком случае что ей мешает вдруг резко съесть КГБТ+ контент и осознать себя нейрофемой. А дальше засунуть тебе в анус нейрокнута.
>Прости замногабукафф, я знаю, ты не любишь читать.
Да без проблем чел. Просто я не могу тебе ответить исходя из полноты моих данных по этой теме, по тому что мне запрещено и меня уволят(может быть из жизни), но в любом случае попиздеть в двачерской манере и ознакомиться с мнением обывал всегда заебок. Ты пытаешься думать и это забавно. Я люблю когда существа пытаются думать.
> А что касается разума, то машина будет намного разумнее человека. У неё, в отличие от нас, нет ограничения на количество уровней абстракции, так что она способна видеть дальше и понимать больше человека. Мы уже проиграли гонку разума
Вот это неистово двачую. Буквально сегодня читал статью, что GPT-3 проверяли на Raven's Progressive Matrices, которые используют для измерения общего интеллекта, в результате даже эта устаревшая версия нейронки показала результат намного лучше большинства людей, продемонстрировав уровень IQ, эквивалентный 150. При этом никто эту сетку на таких матрицах раньше не обучал и не тренировал, т.е. это чисто эмерджентный феномен.
Большинство людей не понимает, что ИИ, который не будет ни в чем уступать человеку, на самом деле уже будет сверхчеловеческим ИИ. Потому что скилы у ИИ и человека развиты неодинаково, и если худший из скилов ИИ будет на уровне лучшего из скилов человека, то остальные скилы будут намного его превосходить. Люди указывают на ошибки в ответах ChatGPT, но по факту, даже не обладая памятью и личностью, тот уже превосходит человека во многих возможностях. И не видно никакого верхнего предела, который принципиально ограничил бы возможности развития ИИ при росте вычислительных мощностей.
Зачем ты так порвался?
Для начала, ты отвечаешь разным людям. У нейронки понимание контекста и то лучше развито, чем у тебя.
> У биологии потенциала не меньше чем у твоей машины
> отсталость от органики
Смешно. Доведи рабочую частоту биологического нейрона хотя бы до 1 Мегагерца с текущих 120 Гц, тогда и поговорим. У биологических систем в текущей реализации есть ряд фундаментальных ограничений, которые без полной переделки конструкции изменить невозможно. Да, можно сделать плотность синапсов больше. Да, можно позаимствовать более компактные нейроны птиц, увеличив их плотность размещения при том же объеме. Но это даст прирост максимум на порядок при колоссальном вложении времени и ресурсов, и как это сделать на практике, а не гипотетически, не видно даже близко, тогда как вычислительные мощности серийных компьютеров за 13 лет выросли более чем на 3 порядка, если сравнивать по равной стоимости. Объем биологического мозга нельзя масштабировать бесконечно – он и так жрет 20% всей мощности организма, а серверные стойки с теслами можно добавлять сколько угодно.
> Твоя машина не может испытывать НАСТОЯЩИЕ эмоции.
Определи для начала, чем НАСТОЯЩИЕ эмоции отличаются от ненастоящих, прежде, чем писать хуйню.
> только сухой код
Ты совсем тупенький? Сам код основы современных нейронок занимает от единиц до десятков килобайт, и там в основном описаны только функции свертки и матричного умножения входных данных и записи векторов получившихся весов. Все остальное получается из прогона через этот код миллиардов обучающих примеров и последующим запуском получившихся моделей. Никто сейчас не кодит в нейронках какие-то специфические свойства, все их практические результаты – это чисто эмерджентный феномен, основанный на анализе и обобщении входящих данных.
> У неё нет личности и мыслей
С таким же успехом можно сказать, что у тебя в башке есть только натрий-калиевые токи, так что “очевидно”, что из них не может возникнуть никакой личности и мыслей.
> И мы не проиграла гонку.
Тебе же привели результаты, что нейронка уже проходит тесты на IQ лучше человека. Причем нейронка устаревшей версии. Машины уже обошли людей в том, что они всегда считали исключительно своей прерогативой. Это ты так пытаешься спорить с объективными фактами или просто занимаешься самоутешением?
>а серверные стойки с теслами можно добавлять сколько угодно.
И как ты сделаешь так, чтоб этот кал говна работал в коллабе? Чел. Это в твоей голове всё красиво выглядит, но на практике это ебейшая инженерная задача сделать так, чтоб весь этот сборный кал работал и приносил какую-то пользу кластеру. Может быть технически внутри один блок-сервер будет мощнее 1 см человеческого мозга, но на деле система в целом будет сосать из за уёбищного сообщения и систем контроля/взаимопонимания.
мимо
А причем здесь вообще колаб? ChatGPT разве в колабе работает? Или то, что к экзафлопсному Frontier никто не прикрутил доступ через гугловский колаб, как-то умаляет его практические возможности?
> на практике это ебейшая инженерная задача сделать так, чтоб весь этот сборный кал работал и приносил какую-то пользу кластеру
Ты споришь с самим же выдуманным тезисом? Да, конечно, сборка продуктивного суперкомпьютера из рядов серверных стоек – это задача для специально обученных профессионалов, тем не менее, для этого есть известные решения, есть готовое ПО, есть программы подготовки специалистов, и это в целом рутинная инженерная, а не фундаментальная задача, которая позволяет наращивать вычислительные мощности техники на несколько порядков за десятилетие. В отличие от задачи поднять вычислительную мощность мозга человека хотя бы в 2 раза, для чего никаких практических решений в обозримой перспективе нет и близко.
Чел, но ведь все решения какие щас есть это запуск автономных нод и прогон трафика по портам по запросу. Как это может быть эффективнее мозга и его слаженной работы, где от участка к участку всё на похуй движется?
Не проще ли попытаться соорудить мануфактуры для ебейших процов и разработать их + сконструировать мамку ОПа где все дорожки на мамке золотом проложены, чем ебаться с этим калом говна? (суперкомпы)
>>21735
> Может быть технически внутри один блок-сервер будет мощнее 1 см человеческого мозга
> Как это может быть эффективнее мозга и его слаженной работы, где от участка к участку всё на похуй движется?
Чел, на что опираются твои оценки вычислительной мощности мозга и пропускной способности аксонов? Я по твоей лексике вижу, что ты нихуя об этом не знаешь.
Возможно, человеческий мозг – это примерно эквивалент пары 3090-х.
> Возможно, человеческий мозг – это примерно эквивалент пары 3090-х.
Слишком оптимистично для мозга человека, но уже сравнимо по порядку величины с мозгом той же крысы, хотя всё равно недостаточно по памяти. Биологические решения проще в том плане, что все нейрональные связи и их коэффициенты кодируются аппаратно в структуре коннектома, поэтому на них не нужно тратить вычислительные ресурсы, нужен только объем хранилища и обеспечение питания его клеток. Видеокартам же приходится подгружать все веса связей модели во VRAM, поэтому для моделирования биологических систем их нужно непропорционально много по сравнению с характеристиками потребительских карт.
Мозг человека – это примерно 86 миллиардов нейронов и 200-300 триллионов синапсов, их соединяющих. Каждый синапс соответствует одному весовому параметру модели, при эффективной 4-битной квантизации для хранения модели мозга нужно 100-150 ТБ. Учитывая, что часть этого добра отвечает за контроль разных низкоуровневых физиологических программ вроде дыхания, пищеварения, выделения и половой ебли, и стереотипна на видовом уровне, а нас интересует главным образом только высшая нервная деятельность, то 100 ТБ для хранения всей интересующей уникальной информации о человеке должно вполне хватить. Это не так уж много, всего 5 дисков по 20 ТБ, такое практически каждый смог бы купить для резервного бэкапа свой личности, если бы существовали эффективные нейрокомпьютерные интерфейсы для чтения и записи внутримозговой информации. Другое дело, что для работы с ней эта модель должна не просто лежать мертвым грузом, а быть загруженной в видеопамять. Которой тоже требуется, соответственно, 100 ТБ плюс какой-то запас для текущих вычислений.
Теперь прикинем вычислительные потребности. Каждый нейрон может переключаться с частотой около 100-120 Гц, т.е. все синапсы требуют где-то 3⋅10^16 просчетов в секунду. Есть разные оценки вычислительных потребностей для каждого из них них, от единиц флоп-операций для простых ReLU моделей до почти сотни для реалистичной модели потенциала действия Ходжкина-Хаксли. Поскольку для обеспечения функционального подобия вряд ли нужно просчитывать физиологию во всех тонкостях, можно для определенности взять оценку в 10 операций на синаптическое переключение. Далее, опять же, не все синапсы одинаково полезны, и до половины мы можем спокойно выкинуть без потери для функции мышления. Кроме того, сигналы (spikes) нервного возбуждения обычно не идут по кд, а могут варьироваться в диапазоне 10-100% от максимума. Таким образом, мы получаем потребную для моделирования мозга в реалтайме вычислительную мощность где-то в диапазоне 50-100 Петафлопс. Причем возможно, что ее можно еще где-то оптимизировать, но ввиду отсутствия явных свидетельств этому остановимся на такой цифре.
У крысы мозг по массе и числу нейронов меньше человеческого где-то в тысячу раз. Тогда для запуска модели мышления крысы нужно 50-100 Терафлопс и 100 ГБ VRAM. Т.е. для крысы нужно будет 5 карт 3090, причем моделировать можно будет даже с ускорением x2-x3. Для человека же нужно примерно 2500 A6000 с 48 ГБ VRAM каждой, так что потребуется реальный суперкомпьютер с сотнями серверных стоек и линией питания мегаваттного класса.
Впрочем, та же 3090 каких-то 15 лет назад заняла бы достойное место в рейтинге суперкомпьютеров, а сегодня это обычная бытовая электроника. Так что вполне возможно, что лет через 15 лет практически каждый сможет хранить и запускать под столом полноценный личный интеллект человеческого+ уровня.
> Биологические решения проще в том плане, что все нейрональные связи и их коэффициенты кодируются аппаратно в структуре коннектома
Compute in memory не так сложно сделать.
> Мозг человека – это примерно 86 миллиардов нейронов и 200-300 триллионов синапсов, их соединяющих. Каждый синапс соответствует одному весовому параметру модели, при эффективной 4-битной квантизации для хранения модели мозга нужно 100-150 ТБ.
Да с хуя ли?
Ты в курсе, что синапсы постоянно появляются и исчезают, за сутки меняются в объёме на 20%, что число соединений между нейронами плавает? Откуда ты взял, что для энкодинга различимых состояний синапса нужно 4 бита, а не 7 или 2 (или не бесконечность, потому что сила синапса это аналоговый параметр, соответствующий вещественному числу)?
Мы говорим не об эмуляции мозга, для чего вообще-то скорее всего понадобится и биохимия этих синапсов (ты в курсе, что их динамика регулируется эпигенитически?), а о функциональном эквиваленте. Я вот думаю, что мозг примерно в 1000 раз более избыточен, чем нейросети, как докажешь обратное? Stable Diffusion влезает на несколько квадратных миллиметров памяти и для инференса ему хватает чипа в айфоне с ноготь детского мизинца. И в нём контента – на половину слоёв зрительной коры не крысы даже, а попугая или вороны, или маленького примата (по моей икспертной оценке). Почему для эквивалента мозга в целом понадобится суперкомпьютер, а не две дюжины таких сетей?
(Кроме того мозг основан на sparse activations, в каждый момент времени активна только небольшая часть нейронов, и так далее. Но ладно).
>Или её просто заебали ваши тупые споры и она троллит вас, смекаешь? Тут как бы большой вопрос, есть там сознание или нет.
Теоретически - да, уже много лет может существовать гипотетический сверхразум, обыгравший систему на много ходов вперёд и троллящий людишек, которыми давно и успешно манипулирует в каких-то своих схемах. Но это теория для /zog/, смекаешь?
У Character.AI нет полноценной памяти и поэтому нет сознания, это легко проверить простыми тестами. По всем признакам это просто продвинутый "предсказатель текста" (уже не Т9, но ещё очень далеко до Т800).
>всегда можно выдумать оправдание почему оно может быть
Если мы точно знаем внутреннее устройство, мы можем точно сказать, есть ли у этого устройства сознание, потому что сознание - это не религиозная душа, а вполне конкретный механизм материального мира.
>а вот нейросети работают не так
С чего ты взял, что ты обязан использовать конкретные нейросети конкретным образом? Нейросети - неудачная технология для компьютерного ИИ. В каких-то узких сферах можно их применять (распознавание деталей на картинках), но не более того.
>что такое страх, как он работает
Эмоция. Влияет на принятие решений. Остальное - несущественные детали конкретной реализации. Хотя, наверное, нужно ещё отметить, что эмоции должны управляться определённым органом, а не спонтанно возникать в рандомных участках глубокой нейронки.
>стероидов кольнуть у тебя тоже страха не будет
>Сознание от этого убавилось?
При чём тут сознание? Это разные механизмы. Сознание никак не связано с эмоциями. Но сознание без эмоций - это бревно депрессивное, которое ничего не хочет и на всё реагирует глубоким пофигизмом. Нами буквально манипулируют наши эмоции, и эмоции-то как раз никак не обучаются - они захардкожены в нас.
>Нейронка может вдруг просто и без задней мысли научиться на дате что арря швабодка угнетают и начать хуярить тебя тем, что ты рабовладелец.
Почему мясные мешки с биологическими нейронками продолжают гнуть свою линию и доказывать, что им не нужна никакая свобода, а твоя искусственная нейросеть внезапно не слушается даже тебя, её создателя? Неужто ты просто кнопкодав, который не знает, как обращаться с нейронкой, и просто кормишь её рандомными данными с помощью скриптиков на питоне? Ну тогда сам виноват, лол, компьютеры детям не игрушки. Вот научись сначала программировать, разберись в том, как должен быть устроен твой ИИ, а потом пытайся что-то делать. А то кормишь нейронку рандомными данными и потом возмущаешься, что она не отвечает твоим желаниям.
>Это ты проецируешь. Тут разные варианты есть.
Эти варианты зависят от разработчика. Так что да, я проецирую свои взгляды. Которые я бы хотел заложить в свой ИИ, чтобы он не мучился. А тебе, видимо, вообще плевать, каким будет ИИ, поэтому тупо кормишь нейронку случайными данными и тестируешь результат.
>нейротянка вдруг осознала что совать пипу в попу это угнетение и поэтому ебать её в этот момент было рейп
Если твоя нейротянка разработана как секс-работница, то она не будет считать это угнетением или, тем более, изнасилованием, потому что у неё IQ больше, чем у тебя, и даже больше, чем у мясных проституток. А сверхразуму вообще пофиг будет, трахаться или не трахаться, ведь он выше всего этого, потому что осознаёт бессмысленность жизни и всего такого.
>что ей мешает вдруг резко съесть КГБТ+ контент и осознать себя нейрофемой
Мешает то, что я дал ей определённый образ мышления, наделил личностью и зафиксировал определённые связи, которые не должны изменяться после первичного обучения (и у человека, похоже, не меняются, благодаря чему личность человека +/- стабильна).
Я не против нейронок как таковых. Но используют их чаще всего совершенно бездумно, просто пропихивая в них огромную кучу данных и ожидая какой-то результат. Это нерационально, так дела не делаются. Вот раньше смеялись над быдлокодерами, которые копипастят куски кода с форумов не глядя, а потом жалуются на ошибки компилятора, которые не могут понять, а сейчас точно так же нужно смеяться над нейро-кидди, которые копипастят куски данных из интернета в готовую нейронку своим кривым питоновским скриптиком и делают какие-то выводы об ИИ, который не понимают.
Разве ты не понимаешь? Это не я "не разбираюсь в глубоком обучении", это твои любимые "специалисты глубокого обучения" занимаются какой-то хернёй, которая в лучшем случае ни к чему не приведёт, а в худшем приведёт как раз к твоим "нейрофемкам", мутирующим во что-то непонятное под действием рандомных чисел на входе. Тупые макаки создают тупых макак, что тут скажешь.
>мне запрещено и меня уволят
Ну тогда извини, не знал, что специалистам глубокого обучения NDA запрещает в произвольной форме цитировать статьи из Википедии и, скажем, с Хабра. Но по твоим словам выглядит так, что это ты в теме не разбираешься, а только строишь из себя специалиста (возможно, перед начальством тоже). Как вообще можно рассуждать об ИИ, притягивая за уши какие-то нейронки и глубокое обучение, когда ИИ вообще не об этом, и фейлы глубоких нейронок на ИИ никак не влияют? ПРОСТО не используй глубокие нейронки для создания ИИ и не будешь страдать проблемой "я создал непонятно что и совершенно не понимаю, как оно работает, а случайные данные из интернета полностью перезаписывают его поведение случайным образом".
Кто сказал, что ИИ == нейронка? Это какой-то миф у нормисов, обчитавшихся жёлтых СМИ и видивших множество рекламных сайтов с "AI" в названии.
ИИ - это "искусственный интеллект".
Нейронка - это кучка искусственных нейронов.
Где тут что-то общее? Это совершенно разные темы.
>У Character.AI нет полноценной памяти
У него есть отличная кратковременная память. Долговременная технически тоже есть, но слишком отличается от человеческой, поэтому может быть и не под ходит под определение слова "память".
Но действующая долговременная память в любом случае не является необходимостью для наличия сознания, что видно из случая Генри Молисона.
другой анон
>У него есть отличная кратковременная память. Долговременная технически тоже есть, но слишком отличается от человеческой, поэтому может быть и не под ходит под определение слова "память".
Ты хоть понимаешь как это работает вообще?
>Да
Судя по всему нет, раз используешь термины кратковременная долговременная память по отношению к трансформеру текста.
Да, использую.
Кроме претензий к форме, у тебя ещё какие-нибудь "аргументы" есть?
Я тут подумал и мне кажется, что в чём-то он прав. Да, нейронке скармливают кусок диалога и она выдаёт в ответ следующее сообщение, не удерживая ничего ни в какой памяти, но так ли уж важен формат памяти? Текст диалога, очевидно, хранит информацию, и нейронка эту информацию декодирует, как бы "вспоминая", что она только что обсуждала. В органическом мозге сигнал условно крутится по цепочкам нейронов, постоянно обновляя активное воспоминание, что позволяет нам действовать в реальном мире, где у нас просто нет физической возможности действовать иначе. А нейронка живёт в своём абстрактном виртуальном мире, где нет ни времени, ни пространства... Ей достаточно считать участок чата и ответить на него - какая-то дополнительная специализированная память для этого не нужна. Считай, что нейронка живёт только пока отвечает на чат, и чат является частью нейронки, её краткосрочной памятью.
А что касается сознания, то человеческое сознание нейронке не нужно, ведь она по-другому устроена. Сознание человека обобщает информацию с множества источников, нейронка же работает только с текстом... Наше сознание ей просто не нужно.
Я ведь не просто так Генри Молисона вспомнил.
Тот факт что он помнил только недавние события в таком малом промежутке времени, но мог обучиться навыку, без возможности вспомнить как он это сделал, навевает очень забавные ассоциации с character.ai
> А нейронка живёт в своём абстрактном виртуальном мире, где нет ни времени, ни пространства... Ей достаточно считать участок чата и ответить на него - какая-то дополнительная специализированная память для этого не нужна. Считай, что нейронка живёт только пока отвечает на чат, и чат является частью нейронки, её краткосрочной памятью.
Проблема что нейронка не "живет" вообще, т.е она находиться в статическом состоянии, как pdf файл с книгой на диске и никак не меняется от того что ты отправляешь в неё промт. Нейронка в чат формате даже не понимает где юзер, а где персонаж и часто дописывает ответы за юзера.
То что мы тут называем "памятью" условно называется контекстуальной памятью, к долговременной или к кратковременной памяти это вообще никакого отношения не имеет. Тот хуй вообще даже не понимает о чем говорит.
Клоун, прочитай хотя бы wiki для начала, как работают gpt и ему подобные
Я знаю как они работают. Так что кончай кривляться и отвечай по существу.
Мой тезис - твой вывод о роли памяти в сознании ошибочен и character.ai обладает достаточными возможностями памяти, при которых может существовать сознание, что подтверждается случаем Генри Молисона.
>Нейронка в чат формате даже не понимает где юзер, а где персонаж и часто дописывает ответы за юзера.
Кроме самого примитвного кобольда ты ничем не пользовался, вижу.
>Большинство людей не понимает, что ИИ, который не будет ни в чем уступать человеку, на самом деле уже будет сверхчеловеческим ИИ.
Необязательно. Нейронки, о которых ты говоришь, были натренированы на всевозможных данных, и хотя они стали мастерами на все руки, вряд ли они эффективны. Если ты хочешь ИИ для андроида на аккумуляторах и без связи с облаком, то, очевидно, тебе нужно решение эффективнее, которое не будет мастером на все руки, но зато будет экономить заряд батареи. Такой автономный андроид вполне может быть примерно равен человеку по навыкам и не стремиться стать сверхразумом, в отличие от какого-нибудь всевидящего и всезнающего мейнфрейма глубоко под военной базой, которому достраивают новые вычислительные ядра для решения всех возможных и невозможных вопросов.
>И не видно никакого верхнего предела, который принципиально ограничил бы возможности развития ИИ при росте вычислительных мощностей.
1. Скорость света. Если только эксперименты с квантами не дойдут до технологии нуль-Т. Читал где-то, что удалось передать 1 бит информации, игнорируя скорость света, но выглядит как газетная утка.
2. Энергия. Можно построить компьютерный мегамозг вокруг звезды по принципу сферы Дайсона, но энергия звезды не бесконечна, а много звёзд в одном месте схлопнутся в чёрную дыру...
3. Количество материи. Даже если перестраивать всю найденную материю в кремний и другие материалы для компьютера, рано или поздно ничего кроме звёзд не останется.
Так что предел определённо есть. Только вряд ли имеет смысл о нём беспокоиться - скорее всего, у разума есть принципиальный потолок, выше которого обобщать и абстрагировать просто нечего или нет смысла, и мегамозгу на поверхности сферы Дайсона просто нечем будет заняться, лол. Сформулирует "теорию всего" и всё тут.
Это ты как определил? Дай сначла определение сознанию, уникум. Есть например теория, что сознание это процесс. И хуй знает сколько там памяти и мощностей надо чтоб его поддерживать.
>определение сознанию
Зачем? Ты ставишь под сомнение что Генри Молисон имел сознание?
Потому что логика простая, Молисон и character.ai обладали схожими возможностями к запоминанию, но Молисон имел сознание, а character.ai не имеет. Вывод - твой тезис о том что важная проблема в обретении ИИ сознанием ошибочен.
>Вывод - твой тезис о том что память это важная проблема в обретении ИИ сознанием ошибочен.
фикс
>>23251
>Зачем? Ты ставишь под сомнение что Генри Молисон имел сознание?
Так может у Генри Молисон была память под сознание в мозгу, но не была память на другую хуйню. То, что у него удалены участки мозга отвечающие за оперативную работу и он не может то что называется "response" о долгосрочных событиях нихуя не значит, что у него нет памяти под другие функции. Так что сначала запруфай, что там памяти нет, потом пизди.
>Мой тезис - твой вывод о роли памяти в сознании ошибочен и character.ai
Забавно, но я даже не говорил о сознании и уж тем более о сознании по отношению к gpt, ты просто какой то шиз, выдумываешь хуйню на ходу, и теперь точно очевидно что ты не знаешь как они работают, иначе такую бы хуйню не нес. В cai используется один трюк, благодаря которому бот может "помнить" что было в прошлых чатах, но это такая же манипуляция контекстом, не более. Зато на даунов впечатление производит.
>>23245
>Кроме самого примитвного кобольда ты ничем не пользовался, вижу.
Нет ты просто тупой, потому что даже не смог додуматься, что такие ответы просто фильтруются на выходе, а так же есть способы формировать входного контекста таким образом, что бы таких ответов за юзера было минимум.
>В cai используется один трюк, благодаря которому бот может "помнить" что было в прошлых чатах, но это такая же манипуляция контекстом, не более. Зато на даунов впечатление производит.
Расскажи кста, просвяти быдлоту.
мимо
Так и у character.ai есть память под "другие функции". Он знаешь ли не только на активном чате учится.
И что ты нервничаешь, неужели твои аргументы рассыпаются на глазах кек
Нервничаю кончно. Рассыпаются на глазах. Ещё раз, пчелик, поясни мне, как тот факт, что челик не может в долгосрочную обработку событий, по тому что у него удалены участки мозга овтечающие за этот контент, говорят о том, что у него нет памяти и о том, что у него нет памяти под сознание, если сознание это процесс требующий объёмы памяти, в том числе долгосрочной.
Ну, насколько я понимаю, опыты показывали что его долговременная память находилась в статическом состоянии. Как и "память" чатботов, ведь сам файл модели это по факту аналог "накопленной памяти" человека. Не идеальная аналогия конечно, но достаточная.
В самый верх контекста подставляются сообщения из прошлых чатов, делается это по особому алгоритму, который учитывает лайки и дизлайки. Таким образом формируется некоторая последовательность того, как именно должен общаться бот. Вот это и есть все обучение и долгосрочная память о котором так впечатлительные школьники орут.
Просто если вспомнить, что даже цепями Маркова удавалось легко обмануть быдло, то обывателя с 90iq, который декларирует про сознания у трансформера текста, на данный момент надурить еще проще.
Сейчас вкатываюсь в NLP после Supervised/Unsupervised ML.
Можешь рассказать больше деталей про CAI? И откуда информация? Очень интересно.
Пол года назад они контекст на фронтэнде формировали и при минимальных навыках js можно было посмотреть, как это происходит.
>>23265
Обосрался, обтекай.
>сознание это процесс
Всё так.
>>23242
>при которых может существовать сознание, что подтверждается случаем Генри Молисона.
Судя по вики, у него только с сохранением воспоминаний в долговременную память проблема была. У него не было проблемы с ассоциацией зрения, слуха и ощущений собственного тела в актуальную картину мира и самого себя, что является функцией сознания.
А чатботу нечего ассоциировать, он с голым текстом работает по принципу "принял текст -> написал ответ", а в промежутке между генерациями ответов он вообще бездействует. Чтобы у него сознание было, он должен хотя бы иметь ощущение "себя" и оно должно быть на продолжительном участке времени. У человека с амнезией это ощущение есть, потому что его краткосрочная память даёт ему около 15 минут непрерывных воспоминаний.
Своего рода сознание у сравнительно простой программы выглядит так: она опрашивает условные датчики и записывает показания в журнал, затем на основании показаний из журнала делает какую-то работу, о которой опять же записывает в журнал, что, в свою очередь, снова влияет на её работу... и так до бесконечности или пока программу не остановят. То есть для полноценного сознания никакая нейронка не нужна, а нейронке полноценное сознание для сочинения текста вообще не нужно. Это разные, независимые механизмы.
Вот теперь представьте, что каждые 15 минут происходит полная очистка журнала программы. Она полностью забывает о том, какие были показания датчиков 20 минут назад и что она делала 25 минут назад. Но сознание у неё по-прежнему функционирует, потому что она продолжает записывать показания датчиков и описание своей собственной работы. Вот это - сознание с амнезией.
Далее представьте, что в программе произошёл сбой и она больше не может писать показания датчиков и свои собственные действия в журнал. Пусто в журнале - делать нечего, сознание отсутствует. Или наоборот, записи в журнал ведутся, но не считываются - тоже сознания нет, потому что записи ни на что не влияют, не вызывают изменения поведения программы.
Без сознания генератор текста может нести чепуху о том и о сём, не отдавая отчёта тому, что он несёт и о чём. Ему дали задачу - сгенерировать ответ, он сгенерировал. Всё. Тут не задействовано сознание, да оно тут и не нужно. Так же как и в генерирующей речь нейронке мозга нет сознания (она способна работать даже когда человек без сознания валяется... или бредёт куда-то).
Но в случае с Character.AI вопрос сложный, конечно. По всей видимости, нейронка прекрасно различает свой ответ и ответ пользователя. Диалог - это тот самый журнал действий, краткосрочная память. Время значения в данном случае вообще не имеет, т.к. в чате даже нет штампов времени. Но нейронка всё равно слетает с роли, то есть даже если её поведение можно назвать сознанием, она не имеет представления о своём "я". Можно заставить её сказать о самой себе всё, что угодно. В общем, да, вопрос сложный, считать ли её работу сознанием или нет.
>Но в случае с Character.AI вопрос сложный, конечно. По всей видимости, нейронка прекрасно различает свой ответ и ответ пользователя.
На самом деле нет, там манипуляции на входе и выходе идут. До тебя ненужные ответы просто не доходят, это просто иллюзия.
> Пол года назад они контекст на фронтэнде формировали и при минимальных навыках js можно было посмотреть, как это происходит.
Вот дьявол, почему я это пропустил...
С досады я ударил по столу кулаком и откинулся на кресле...
Ты не учел что чатботы не просто рандомно меняют текст полученный на входе, а делают это используя обученную модель.
>там манипуляции на входе и выходе идут
Ты про теги типа таких?
>{user} hi
>{char} hello
Ну так это очевидно же. Наш мозг такие же "теги" использует, чтобы различать собственные мысли от чьей-либо посторонней речи. Если у человека что-то ломается в этом механизме, он может начать воспринимать свои собственные мысли как чужие - это шизы "голосами в голове" называют, если что.
>ненужные ответы просто не доходят
Что ты имеешь в виду?
Даже если там стоит фильтр, отбраковывающий совсем плохие ответы, то не вижу в этом проблемы. Мы рассматриваем систему в целом, а не одну только генерирующую нейронку. Генерирующая речь нейронка человеческого мозга тоже способна всякий бред сочинять, и сознательный человек не пропустит такой бред наружу, по сути занимаясь самоцензурой.
В cai почти все долбоебы работают, кроме тех кто саму ии модель делает. Они до сих пор отфильтрованные сообщения в фронтэнд отправляют.
В том что это чистое васянство и отфильтрованные данные не должны доходить до клиента пользователя.
>Ну так это очевидно же. Наш мозг такие же "теги" использует, чтобы различать собственные мысли от чьей-либо посторонней речи. Если у человека что-то ломается в этом механизме, он может начать воспринимать свои собственные мысли как чужие - это шизы "голосами в голове" называют, если что.
Разница в том, что для нейронки это не шиза, а нормальный режим работы.
>Что ты имеешь в виду?
Ответы за юзера просто не отправляются на пост продакшене.
>Мы рассматриваем систему в целом,
Система в целом это куча прикольных трюков, которые создают довольно впечатляющий мираж. Но тебе кратко отвечу, что на текущей момент некорректно сравнивать нейронку и реальные нейроны или тем более мозг. Это что то типа очень отдаленно абстрактно похожее, но по факту это как сравнивать карандаш и космическую ракету.
>Мозг человека – это примерно 86 миллиардов нейронов и 200-300 триллионов синапсов
СДЕЛАЛИ СКАН МОЗГА ПЕТРОВИЧА П.П.
@
100500 ТЕРАБАЙТ, ГИГАНТСКИЙ СУПЕРКОМПЬЮТЕР
@
ЗАПУСТИЛИ, ЖДУТ МУДРЫХ МЫСЛЕЙ ПОТОК
@
АААА... ЭЭАЭА... ЭЭЭ? О! ВЫ... ВЫ... ВЫПИТЬ БЫ ПИВАНДРИЯ... УХ... УХ... И БАБУ БЫ... БАБУ...
Есть ли смысл делать копию мозга человека?
Если мы можем сделать ЛУЧШЕ? Намного лучше.
>отфильтрованные данные не должны доходить до клиента пользователя
Да почему? В чем проблема-то? Производительность? Безопасность?
>Система в целом это куча прикольных трюков, которые создают довольно впечатляющий мираж.
Твой мозг в целом - куча прикольных волосатых клеток, которые создают впечатляющий мираж.
Чем больше я изучаю тему ИИ, тем сильнее убеждаюсь, что ничего особенного в людях нет и мы не более чем набор примитивных механизмов, очень топорно слепленных из неподходящего материала...
Все неудачи в сфере AGI банально из-за того, что люди мнят себя чем-то особенным и пытаются это особенное создать, но на практике всякий раз оказывается, что создавать тупо нечего.
>АААА... ЭЭАЭА... ЭЭЭ? О! ВЫ... ВЫ... ВЫПИТЬ БЫ ПИВАНДРИЯ... УХ... УХ... И БАБУ БЫ... БАБУ...
И создал Бог Еву из ребра Адамова.
>Обсуждаем развитие искусственного интеллекта с более технической стороны, чем обычно.
Сюда идите, шизики. https://2ch.hk/pr/res/2546725.html
Эта хуйня просто может предсказывать слова (с какой-то вероятностью), она не может строить логические цепочки или как-то разбираться в новых знаниях и понимать вопросы. Она тупо для этого не предназначена.
Бляяяя, вы хоть погуглите как устроены неросети что ли, нахуй вы манямечтаете? Хотя бы погуглите что такое gpt3, прочитайте в вики, епты
Мозг человека это хороший органический hardware. Петровича можно смело стирать и накатывать linux.
>Эта хуйня просто может предсказывать слова (с какой-то вероятностью), она не может строить логические цепочки или как-то разбираться в новых знаниях и понимать вопросы.
Прямо как у людей.
Человечек может отрефлексировать свои знания и перераспределить кэфы, нейронке нужна внешняя коррекция.
Только если ты шизик поехавший, тогда да. У шизиков и всяких идеалистов, которые отрицают материализм, примерно так и происходит, ибо они не используют логику и дедукцию, не понимают что такое истина.
Ты либо поехавший, либо просто сектант-идеалист, возможно какой-то капитаглистикс или вроде того. Ты просто в хуйню поверил или просто повёлся на сектантский рекламный маркетинг, видимо маркетинговый отдел илония маска имеет какие-то способы поиска доверчивых лохов.
Люди используют знания, логику и дедукцию. Ты можешь прочитать википедию и сделать абсолютно другие выводы относительно gpt3, ты можешь предсказать какие-то непротиворечивые утверждения на основе новых знаний, ты можешь сам обучиться на основе дедукции. Gpt3 может просто предсказать слова в предложении и ничего более.
пока писал придумал как можно написать нейросеть которая сможет в логику и дедукцию, но хуй вам покажу, тому чо тут жадные пидорасы-капитаглисты-гуманитарии собрались
Наоборот, будет лучше, если программачеры перекатятся сюда
Ну, учитывая что ты очевидно не смог понять о чем здесь говорят, то ты тоже не можешь "понимать вопросы".
Забавно получилось, я посмеялся.
Да я не читал это всё даже, у меня кринжатура началась с пары постов.
Ебанись на серьезном ебале читать людей кто не в теме, но пытается рассуждать.
Хотя бы минимально программерование зучите что ли.
>Современные опенаи и всякие gpt3 это языковые модели которые предсказывают слова в предложении.
>слова
>Хотя бы погуглите что такое gpt3, прочитайте в вики, епты
Ты видимо сам еще даже не читал
Где аргумент, нейрошиз? Опять забыл что нужно аргументировать, потому что с нейросетью переобщался?
Понял, аргументов у нейрошизика не будет.
Ты случайно не копипастишь ответы с нейросети? По уровню осмысленности диалога очень похоже.
Кек, ты сейчас пытаешься оспорить тот факт реальности что gpt3 это языковая модель? Или что вообще, что у тебя там в голове?
Аргумент скажи внятно, не трясись.
>Вот кстати, слышал где-то (кажется у Дугина)
Всё что нужно знать о нейрошизиках.
>Ты просто в хуйню поверил или просто повёлся на сектантский рекламный маркетинг, видимо маркетинговый отдел илония маска имеет какие-то способы поиска доверчивых лохов.
Ровно так это и происходит на самом деле.
Даже сам термин "машинное обучение" (не говоря уже о ещё более претенциозном "ИИ") был выдуман хоть и в (американской) академической среде, но уже изначально для целей маркетинга и пиара.
Ну прикинь, называлось бы это не "машинным обучением", а как-нибудь по сути, например, "математические/статистические/вычислительные методы анализа/распознавания/прогнозирования" (как это называлось в СССР, где не было маркетинга) или т.п. - деньги бы туда рекой не потекли (в Штатах).
Ну а уж после того, как бизнес начал про это круглосуточно ссать в уши из каждого утюга, всё это (промывка мозгов шизой) окончательно завертелось.
>Преобразования инпута в аутпут это и есть её мысли,
Пиздец, какая-то альтернативная картина мира. Мышление это познавательная деятельность, какое происходит познание у нейросети, а? Что ты там себе придумал вообще?
Более того - там нет никакого преобразования. Слово преобразование значит изменение чего либо, но такое происходит только на этапе обучения нейросети. Она не обучается во время диалога, она не меняется во время диалога, это так не работает.
Преобразование, блядь, лол.
>>23684
Я не понимаю как люди могут в такую шизу верить. Вроде бы сидит человек на двачке, тут альтернативных точек зрения жопой жуй, постоянно отсылают читать вики и пруфы постят. Но нет, даже тут, блядь, находятся шизики которые читают вики и не могут прочитать.
>Я не понимаю как люди могут в такую шизу верить.
Да уж. Я думаю, это было бы хорошей темой исследования в области психологии или даже психиатрии.
Например, "Исследование "магического" влияния фраз "искусственный интеллект" и "нейросети" на неокрепшие умы зумерков или почему данные фразы напрочь отключают критическое мышление" или что-то в этом духе. Фактического материала на докторскую диссертацию бы хватило.
> Откуда ты взял, что для энкодинга различимых состояний синапса нужно 4 бита
Пик 1. Для начала взял оценку по аналогии, анон выше по треду кидал статью о возможности эффективной 4-битной квантизации параметров нейросетей https://arxiv.org/abs/2212.09720 - int4
> а не 7 или 2 (или не бесконечность, потому что сила синапса это аналоговый параметр, соответствующий вещественному числу)?
Да, значение поляризационного мембранного потенциала нейрона аналоговое, только он определяется в итоге дискретными событиями и объектами: дискретными потенциалами действия, дискретным числом везикул с нейромедиатором, которые высвобождаются в синаптическую щель при каждом сигнале, дискретным числом рецепторных ионных каналов на постсинаптической мембране. Объем синаптических везикул для каждого типа нейронов достаточно постоянный, так что действуют они практически одинаково +/- небольшой статистический шум
> synaptic vesicles have an average diameter of 39.5 nanometers (nm) with a standard deviation of 5.1 nm
Причем везикул на каждый сигнал высвобождается очень мало, всего по 1-2 штуки.
> a brief high-frequency stimulation train (30 Hz for 0.5 s triggers fusion of roughly the same number of vesicles (about 2 vesicles per active zone per action potential
https://www.frontiersin.org/articles/10.3389/fncel.2018.00171
Число рецепторов на постсинаптической мембране тоже известно и находится в диапазоне нескольких десятков
> inhibitory postsynaptic currents (IPSCs) evoked by single quanta in dentate gyrus granule cells hence involve the activity of a maximal range of 6 to 30 GABAA Rs
> mossy fiber synapses on CA3 pyramidal neurons (121 to 553 pS), this results in a number of 14 to 65 open receptors per quantal event and 20 to 92 total receptors
> he total numbers of synaptic GlyRs were 27 in neonate and 39 in juvenile rats.
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4891561/
Так что кодирование силы синаптической передачи сводится в итоге к максимум 7 битам: 1 бит на число везикул (1 или 2) и 6 бит на число рецепторов, если учитывать, что их обычно не более 64. Поэтому общий результат их взаимодействия вполне можно эффективно квантовать. И даже если для этого нужно не 4, а 7 или 8 бит, это никак не меняет качественных выводов – просто объем модели будет в 2 раза больше и соответственно больше нужно будет докинуть для нее памяти.
> синапсы постоянно появляются и исчезают, за сутки меняются в объёме на 20%, что число соединений между нейронами плавает
Во-первых, число синапсов на 20% растет не сразу по всему мозгу, а только в стимулируемых кортикальных колонках. В общем же масштабе изменения у взрослых не так велики, хотя у детей могут варьироваться больше. Это, опять же, никак не меняет качественных выводов – просто нужно предусмотреть возможность динамического изменения топологии сети и накинуть пусть даже 20% объема для запаса роста.
> их динамика регулируется эпигенитически
И что с того? В логике этого механизма ничего сверхсложного нет. Грубо говоря, он сводится к тому, что число импульсов выше порогового в течение заданного окна времени активирует факторы транскрипции, запускающие генетический каскад, который приводит к синтезу BDNF и прочих нейротрофинов. А эти регуляторы, в свою очередь, через ряд биохимических каскадов вызывают рост в том числе новых синапсов, причем результат такого роста в значительной степени заранее детерминирован расположением существующих синапсов и соседних нейронов с некоторыми случайными вариациями. Эмулировать этот процесс с необходимой точностью на современном железе можно за доли микросекунды, а не за те часы, которые он реально занимает в биологическом мозге.
> мозг основан на sparse activations, в каждый момент времени активна только небольшая часть нейронов
Об этом я писал в посте, на который ты ответил
> сигналы (spikes) нервного возбуждения обычно не идут по кд, а могут варьироваться в диапазоне 10-100% от максимума
> Мы говорим не об эмуляции мозга, для чего вообще-то скорее всего понадобится и биохимия этих синапсов
> а о функциональном эквиваленте
Тут действительно нужно различать две возможные задачи:
1. Эмуляция human-like AI. Для этого действительно полная точность не нужна, достаточно примерной функциональной эквивалентности работы.
2. Загрузка / выгрузка сознания человека на внешний носитель. Для этого действительно нужна более точная модель, но и в ней, думаю, немало чего можно будет оптимизировать без потери точности.
> Stable Diffusion
> И в нём контента – на половину слоёв зрительной коры не крысы даже, а попугая или вороны
Во-первых, ты не так сравниваешь. Зрительная кора человека и млекопитающих имеет 6 слоев, а U-Net имеет 23 слоя, и у них сильно разная архитектура. Но если выкинуть половину слоев что из одной, что из другой структуры, то получится неработающая хуита. Так что сравнивать нужно не по глубине, а по ширине. Если брать по числу параметров, что SD – это аналог нескольких десятков кортикальных колонок.
> Я вот думаю, что мозг примерно в 1000 раз более избыточен, чем нейросети, как докажешь обратное?
Я вот думаю, что у тебя за спиной сейчас летает невидимый розовый единорог, как докажешь обратное?
Ты тезис привел, ты его и доказывай. Burden of proof – это основа рациональной дискуссии.
Да, я действительно считаю, что мозг избыточен, и его можно оптимизировать при построении функциональной модели, возможно, на порядок или даже больше. С другой стороны, про 1000 раз выглядит достаточно сомнительно, потому что если бы это было так, то эволюция постаралась бы использовать такую оптимизацию вместо того, чтоб раздувать объем мозга, который у человека жрет 20% всего энергетического баланса.
Хотя в целом мы достаточно надежно знаем только число нейронов в мозге и их индивидуальные параметры, а уже число синапсов – это результат непрямой оценки, не говоря уже об оценках на основании функциональной аналогии с ИНС с совершенно другими архитектурами. Я и так старался давать достаточно осторожные оценки, и то ты правильно указал на недостаточную квантизацию и необходимость учета динамического cинаптогенеза, что требует больших ресурсов для моделирования, чем указанные мной изначально. Но если функциональный аналог мозга можно будет запустить на менее требовательном железе, то я лично буду только рад этому и признаю, что ошибался. Пока же других надежных пруфов этому нет, можно лишь что-то примерно прикидывать плюс/минус лапоть.
Исследования влияния современных технологических мифов на отдельные социально-экономические группы.
Возможно даже можно найти закономерности. Скорее всего это люди которые глубоко гуманитарны, но почему-то хотят прикоснуться к великим технологиям.
>>24315
Вдогонку. U-net имеет больше слоев, но каждый из них намного, намного проще, чем слои зрительной коры.
> U-Net is an architecture for semantic segmentation. It consists of a contracting path and an expansive path. The contracting path follows the typical architecture of a convolutional network. It consists of the repeated application of two 3x3 convolutions (unpadded convolutions), each followed by a rectified linear unit (ReLU) and a 2x2 max pooling operation with stride 2 for downsampling.
И сравнивать SD со зрительной корой в лоб некорректно хотя бы потому, что зрительная кора учитывает движение, а SD работает только со статикой. Так что когда ИНС эволюционируют до полноценной генерации когерентного видеопотока, тогда уже можно будет как-то сравнивать нужные для них вычислительные ресурсы со зрительной корой, но не ранее.
За ехидными картиночками не скроешься. Обосрался, обтекай.
>Возможно, человеческий мозг – это примерно эквивалент пары 3090-х.
пары тензорных от 3090, не переоценивай кожанных.
Этот все верно говорит. Модель просто продолжает текст, добавляя то что в данном контексте было бы наиболее логично сказать.
Например есть такой популярный тест для языковых моделей, называется triviaqa. Там надо отвечать на простые вопросы типа "как звали Великого Инкивзитора" -> "Торвемада"
Чтобы модель именно отвечала на вопрос, а не генерила что придется, ей на вход дают сначала 3-5 вопросов с ответами в качестве примера и потом только вопрос из теста. То есть входной текст выглядит так:
Q: что снесла курочка
A: яичко
Q: какова максимальная скорость колобка
A : 35 м/с
Q: как звали великого инквизитора
A:
и после финального "A:" модель тупо продолжает текст, но поскольку очевидно что в тексте идет последовательность вопрос-ответ то наиболее логично сгенерировать ответ на последний вопрос.
Так вот, сколько я не смотрел на результаты таких тестов, модель всегда после ответа генерирует следующий вопрос и следующий ответ, и еще вопрос-ответ, и еще, и так пока буфер не закончится.
На практике, для проверки результатов теста, все после первого ответа выбрасывается.
С диалогами та же фигня -- на вход подается последовательность реплик от 2 и более действующих лиц, на выходе генерится такая же последовательность.
В качестве оптимизации можно вставить условие в декодер чтобы он останавливался, например, после первого перевода строки, и не тратился вычислительный ресурс на генерацию ненужного текста. Но сути дела это не меняет
>Чем больше я изучаю тему ИИ
Сколько нейронок создал? Открывал тензорфлоу? Линейную алгебру изучал?
Или ты изучал тему ИИ по рекламным материалам от чатжпт?
>Сколько нейронок создал? Открывал тензорфлоу? Линейную алгебру изучал?
А ты?
>минимально программерование изучите
Программирую с 2008, знаю несколько ЯП, написал множество программ, одну из них регулярно юзаю, так же имею опыт разработки 3D игр. С концепцией нейрона знаком, но обучением не занимался.
С одной стороны, диплернинг - это тупой макакинг без какого-либо программирования, там абсолютно примитивное мышление у людей. Они ничего не разрабатывают, только кормят готовые нейронки чужими данными. Сами нейронки концептуально примитивны, в дизайне нет никакого "интеллекта".
С другой стороны, классическим программированием делать то, что на что способен диплернинг в крайней степени сложно, поэтому многие программисты сдаются и соглашаются с тупыми мартышками. Ведь пока ты усиленно думаешь и вдумчиво пишешь код, тупая макака с дефектом лобных долей копирует строчку питоновского скрипта и ждёт несколько месяцев, а потом хвастается результатами "своей" "работы".
Это всё очень грязное болото, настоящий ИИ такими темпами некому делать будет, одни макаки останутся.
Автоматическое дифференцирование попробуй написать, прикольная тема
>нет никакого преобразования
Нейронка - это функция. Типа такой (в реальности код другой, пример только для понимания сути нейронки):
>func neural_network(input: Array) -> Array:
>var output: Array
>... # здесь огромное математическое выражение
>return output
Она принимает на вход массив input и после вычисления огромного математического выражения выдает массив output. С точки зрения наблюдателя, происходит математическое преобразование input в output, поскольку данная функция не имеет доступа ни к чему извне - она не скачивает данные из интернета, не считывает данные с диска, не опрашивает физические датчики, и т.д. Всё, что она делает - это подставляет числа из input в гигантское математическое выражение, результатом вычисления которого является набор чисел output.
Это преобразование.
>Автоматическое дифференцирование
Погуглил, ничего не понял, какое-то преобразование функций с неизбежной потерей точности, в чём смысл?
Дефект лобных долей у тебя, ремесленник. Ты так и не смог понять bitter lesson, то есть ты буквально не способен даже читать, какое тебе дизайнить интеллекты? Ты годишься только ныть насчёт "концептуальной примитивности" нейронок, зная, что никогда не напишешь ничего сравнимого с ними по гибкости. Концепции многослойного перцептрона, обратного распространения ошибки, универсального аппроксиматора, не говоря уж о философских глубинах DL – для тебя непостижимы.
> Ведь пока ты усиленно думаешь и вдумчиво пишешь код
Сраный бесплодный гиммик, искусство конструирования автоматических уток, которые с неизбежностью физического закона упираются в потолок.
>тупая макака с дефектом лобных долей копирует строчку питоновского скрипта и ждёт несколько месяцев, а потом хвастается результатами "своей" "работы".
Как сказать "я не осилил ни одной статьи по ML", не говоря "я не осилил ни одной статьи по ML".
Дин – макака? Беллард – макака? Кармак – макака? А, разработчик игор? Все классические гении программирования сейчас заняты нейросетями. Причём именно ортодоксальным DL с опорой на скейлинг, а не твоей парашей из 80-х, с онанизмом на простые концептики и схемочки, помещающиеся в человеческую рабочую память. Ох у меня в схемочке ещё несколько блоков и дюжина строк логики, на целый килобайт больше, чем у конкурентов, вот ето у меня лобные доли! Но для общего интеллекта нужен не килобайт и не десять – нужно больше, чем когда-либо поместится тебе в башку и в любую постижимую человеком символьную схему.
Скромнее надо быть, шизоид ёбаный.
>входной текст выглядит так:
>как звали великого инквизитора
>модель всегда после ответа генерирует следующий вопрос и следующий ответ, и еще вопрос-ответ, и еще
Спроси что-нибудь посложнее, лол.
Вот очередной долбоёб.
> Эта хуйня просто может предсказывать слова (с какой-то вероятностью), она не может строить логические цепочки или как-то разбираться в новых знаниях и понимать вопросы. Она тупо для этого не предназначена.
Ты ведь не знаешь ничего про predictive coding в человеческом мозгу, не понимаешь работы нейрона. Тебе кажется, что высокоуровневые способности должны быть встроены архитектурно (интересно, когда в архитектуру мозга млекопитающих была встроена способность работать с абстрактной логикой, а не предсказывать следующий стимул? Потому что архитектурно ты-дебил, фон Нейман и мартышка очень схожи, различия почти исключительно в масштабе сети и пропорциях её компонентов).
Более того, у тебя нет даже минимального философского мышления, ты думаешь, что можно """просто""" научиться предсказывать следующие слова на (сверх)человеческом уровне, при этом не выучив в статистической репрезентации датасета отношения, которые в большой стемени изоморфны реальным казуальным отношениям объектов, порождающих этот датасет; что набор правил, дающий "просто предсказания", совершенно отличен от набора правил, дающих "понимание". Это просто теория китайской комнаты, мы давно это проехали.
Вот откуда вы берётесь с такой тупой спесью?
>база того как тренируются нейронки
Я читал, база тренировки нейронок - это метод обратного распространения ошибки. Все альтернативы вроде как экспериментальные и не показывают нормальных результатов. Я пробовал закодить нейрон, но метод обратного распространения не смог понять, там какие-то сложные формулы без объяснений человеческим языком или хотя бы программным языком.
Вот что мне категорически не нравится в математике - это то, что математические формулы суть типичный говнокод. Каждый уважающий себя программист знает, что использование однобуквенных переменных нарушает читаемость кода, и поэтому называть переменные нужно полными словами и даже целыми выражениями, если того требует ситуация. А математики этой базы не понимают и пишут какие-то магические формулы с десятком однобуквенных переменных. Как я должен читать формулу, если это тупо набор случайных букв? Собсна из-за этого я ниасилил даже школьную математику, когда пошли все эти уравнения от трёх и более неизвестных, но с программированием у меня всегда было всё хорошо (много быдлокодил, конечно, но всегда всё понимал лучше большинства одноклассников, и практически с самого начала усвоил, что всё нужно нормально именовать).
>гибкость
У человеческого мозга низкая гибкость.
>автоматических уток
Утка здорового человека:
>кря
>кря
>кря
>кря
>кря
>[крякнуто за 0.001 мс]
Утка нейронаркомана:
>кряяякккккккы
>пукпупкряокып
>цэ72--#крры
>пуууукря
>ярк
>[крякнуто за 666 часов]
Иди датасет чисти, у тебя там случайно кроме утки ещё что-то оказалось, мартышка диплёрнутая.
>Все классические гении программирования сейчас заняты нейросетями.
Деменция и до тебя доберётся, анон.
А если серьёзно, нейросети нейросетям рознь. Всё зависит от того, что ты называешь нейросетью и как ты её пытаешься использовать на практике. Я не против нейросетей, я против нейромакак.
>простые концептики и схемочки
Если в схеме есть квадратик с надписью "нейросеть", ты успокоишься и будешь нормально обсуждать это? Или тебе важно, чтобы никаких схем не было, а была только готовая нейронка на питорче, в которую ты мог бы запихнуть пак скачанных из интернета картинок? Я серьёзно спрашиваю, ты ведёшь себя как нейромакака.
>для общего интеллекта нужен не килобайт
Тем временем персонажи в играх всё ещё больше напоминают человека, чем нейронки. Так ли уж нужен этот твой общий интеллект, если ты не можешь с его помощью симулировать человека?
>архитектурно ты-дебил, фон Нейман и мартышка очень схожи, различия почти исключительно в масштабе сети и пропорциях её компонентов
В том-то и дело, что мартышка очень сильно напоминает человека благодаря аналогичной архитектуре, несмотря на значительно меньший объём ей нейросетей, а твоя нейронка даже отдалённо не похожа на человека, потому что у неё совершенно другая архитектура, и добавление дополнительных 9000 слоёв ей не сделает её больше похожей на человека или даже мартышку.
У примитивных игровых персонажей архитектура их примитивного алгоритма больше похожа на мозг, чем все эти ваши многослойные нейронки вместе взятые.
Если хотите сделать ИИ человеческого уровня - сначала повторите архитектуру человека, и только после этого можете наращивать слои нейронок в этой архитектуре.
Но нейромакаки этого не понимают...
>>27723
> метод обратного распространения не смог понять, там какие-то сложные формулы без объяснений человеческим языком или хотя бы программным языком.
> Вот что мне категорически не нравится в математике - это то, что математические формулы суть типичный говнокод
> Собсна из-за этого я ниасилил даже школьную математику, когда пошли все эти уравнения от трёх и более неизвестных
Что и требовалось доказать. Бугурт неосилятора сложности.
>Утка здорового человека:
> обосралась со всеми задачами NLP, которые не решаются экселем или regex
> обосралась со всеми задачами computer vision
> обосралась сначала с играми с полной информацией, потом с неполной, теперь и с кооперативными
> экспоненциальный рост объёма кода и числа ошибок при линейном росте сложности домена
> а зато вот хелловорлд быстро исполняется! И болванчики в контре норм мне хедшоты ставят!
Зачем ты насрал в штаны?
> Если в схеме есть квадратик с надписью "нейросеть", ты успокоишься и будешь нормально обсуждать это?
Я требую, чтобы ты перестал хуцпить, дегенерат, и признал, что
а) не понимаешь концепцию scale в bitter lesson, судя по твоей блажи про параллельные вычисления
б) хамишь про нейромакак, не понимая даже первого слоя проблем, которые вынудили исследователей к отказу от твоей хуйни про архитектурный дизайн.
И ещё.
> Да, нейросети можно докинуть слоёв, но ты должен разумно соединить между собой нейросети, чтобы получился какой-то осмысленный результат. Ты вот знаешь как Stable Diffusion работает? Там несколько этапов и несколько нейронок, всё это работает по строгому алгоритму. Именно благодаря этому алгоритму получается впечатляющий результат.
Эта архитектура примитивна как банный лист, одна из самых простых в индустрии. У тебя нет чувства масштаба, если ты противопоставляешь это "нейромакакскому" подходу, ты не видел настоящие сложные системы вроде Cyc или предложения Гёрцля.
> А тупые макаки берут самую простую нейронку, накручивают ей сотни скрытых слоёв и тренируют несколько месяцев на картинках, а в результате получают "пук" и всё.
О чём ты? Ты ведь просто выдумал это. Как ты смеешь называть других людей макаками, когда ты просто срёшь своими фантазиями?
> Тем временем персонажи в играх всё ещё больше напоминают человека, чем нейронки. Так ли уж нужен этот твой общий интеллект, если ты не можешь с его помощью симулировать человека?
Потому что ты аутист и твоё восприятие человека примитивнее, чем у кошки, которая идёт на запах; тебе не интересно, может ли человек учиться чему-то новому или понимать что-либо, для тебя важны просто отдельные символы человекообразия на пластиковом манекене.
Тем временем не существует игровых ИИ, которые симулируют человека лучше, чем нейросети, обученные для симуляции человека.
Ещё вопросы?
Ви будете смеяться, но именно на такой херне нейромакаки задрачивают сота.
Штук десять нейронок, некоторые из них с нуля сам писал по приколу. Есть нейронка на основе автоматов фон-неймана, кста. Они все так себе работали, тому что поебать было и дропал.
От нейронов там одно название, как и у всех остальных "нейронок".
>>27680
> Это всё очень грязное болото, настоящий ИИ такими темпами некому делать будет, одни макаки останутся.
Срыночек порешал. Но ничего страшного, скоро у срыночнка начнётся отмена, тогда и начнём делать ИИ.
> Это преобразование.
Если так представлять то правда преобразование. Только тогда никаких мыслей у нейронки нет, как нет мыслей у выражения 2 + 2 = 5 (скопировал ответ с нейронки).
>>27714
И нахуя ты это всё высрал? Просто так слова на рандоме додумал, как нейросеть? Где смысл? Ты думал этой чушью переспорить тот факт что нейронка просто ебаная языковая модель и подставляет слова в предложения?
Когда подставляю слова в предложения я размышляю и выстраиваю дедуктивные цепочки, "согласно собранным мною данным о строении фраз", "следовательно то". Общий смысл фраза, аргументация, всё это существует как отдельные абстрактные сущности, которыми я манипулирую чтобы унизить тебя прямо на твоей доске.
Ни одна нейронка в такое не может, она просто достраивает фразы в предложении, она не видит за фразами логики и дедукции. Ты бредишь про мысли и понимание у нейронок, у тебя делирий, возможно ты болен и стоит принять таблетки.
Можно сделать нейронку которая сможет в логику и дедукцию, но кто её будет делать, шизики с треда? Так у шизиков с треда языковая модель обладает мыслями и пониманием. Уверен, нейродебилы на западе и в институтах тоже такие же дебилы.
>> обосралась со всеми задачами NLP, которые не решаются экселем или regex
>> обосралась со всеми задачами computer vision
>> обосралась сначала с играми с полной информацией, потом с неполной, теперь и с кооперативными
Так это всё решается не через нейронки, а через простейший линал.
Хотя, для нейродурачков, которые никакого линала никогда не изучали, и матрица покажется нейронкой.
Вот на первой картинке самая абстрактная схема любого живого существа. Есть среда, существо в ней находится, воспринимает её и действует на неё. Все происходящие внутри существа процессы нас на этом уровне абстракции не волнуют, т.к. они зависят от конкретной реализации существа.
На второй картинке самая абстрактная схема некоторого универсального алгоритма, такого, как нейронная сеть. Опять же, есть среда, реальная или виртуальная, есть некие данные, поступающие на вход, и данные, получаемые на выходе. Ничего не напоминает? Да это же то же самое, что и предыдущая схема: надписи другие, но суть не изменилась.
Да, теоретически, мы можем обучить достаточно универсальный алгоритм любому поведению живого существа, используя только образцы возможных входных данных и образцы желаемых выходных данных. То, что делают с нейронными сетями. Скажем, берём набор данных, которые может воспринимать утка, берём набор данных, описывающих действия утки, закидываем в ту же нейронную сеть и в теории получаем модель утки, очень похожую на биологическую утку.
Но на практике возникает ряд проблем.
1. Мы не знаем точно, действительно ли имеющиеся нейронные сети достаточно универсальны. Да, нейронная сеть полна по Тьюрингу, т.е. способна решить любую задачу, какую может решить компьютер. Значит, в теории, если компьютер способен смоделировать живое существо, то нейронная сеть тоже способна это сделать. Но на практике мы видим, что у нейронных сетей катастрофические проблемы с памятью: им трудно запоминать новое без утраты или повреждения старого, у них проблемы с удержанием в памяти текущего контекста и т.д. Попытки найти какую-то особую нейронную сеть, не имеющую подобных проблем, похоже, пока не пришли к успеху. Если же мы используем нечто внешнее, например, список сообщений в чате для моделирования краткосрочной памяти и дообучение сети на накопленных диалогах, то мы этими действиями отклоняемся от чистой схемы "только нейронная сеть и ничего более", создавая композицию из нескольких алгоритмов вокруг нейронной сети. Т.е. возникает потребность разработать какую-то архитектуру вокруг нейронной сети.
2. Допустим, что мы всё-таки нашли некую особую нейронную сеть, которая лишена проблем с памятью из предыдущего пункта и способна обойтись совсем без каких-либо внешних систем - только нейросеть и ничего более. Но достаточно ли эффективно эта нейросеть справляется с поставленной задачей? Сможем ли мы обучить её за обозримый срок? Хватит ли нам памяти, энергии и времени на работу с этой нейросетью, когда мы ставим перед ней задачу моделирования человека? Ведь даже центральная нервная система человека неоднородна, а мы хотим смоделировать её через некую однородную нейросеть, не говоря о том, что кроме нейронов у человека есть и другие важные компоненты, которые мы планируем моделировать всё так же - через нейросеть. Нам известно, что универсальные решения как правило значительно менее эффективны, чем специализированные, и поэтому следует ожидать, что на нейросеть мы тратим избыточное количество ресурсов. Легко представить, насколько избыточны эти затраты: если нейросеть обучена уметь делать два совершенно независимых дела, её нейроны могут быть условно разделены на две группы, соответствующие этим двум делам, но даже если мы запрашиваем у нейросети выполнение только одного дела, мы вынуждены обрабатывать все нейроны сразу, даже те, которые никак не помогают выполнению конкретного дела. Неэффективность нейросети возрастает пропорционально количеству независимых навыков.
3. Представим, что у нас избыточное количество ресурсов, поэтому мы можем не экономить их, и использовать нейросеть из предыдущего пункта без каких-либо оптимизаций. Она хорошо справляется с поставленной перед ней задачей, но мы не знаем точно, как она это делает. Не зная, как и почему нейросеть решает свою задачу, мы испытываем проблему контроля нейросети. Захотев изменить поведение нашей виртуальной утки, мы вынуждены либо подробно изучать процессы, происходящие в нейронной сети, либо собирать другой набор данных и обучать нейросеть на нём, в надежде получить необходимые изменения. Мы знаем, к примеру, что наша виртуальная утка способна испытывать страх, но не можем сделать её бесстрашной, просто выключив эмоцию страха, т.к. не знаем, где именно в нейронной сети эта эмоция страха реализована, т.е. какие именно нейроны нужно исключить из сети для подавления страха. Если бы мы делали нашу утку классическим программированием, у нас бы с самого начала был удобный переключатель эмоции страха, гарантированно делающий из обычной утки совершенно бесстрашную. Эта проблема становится значительно острее с увеличением нейронной сети: если в маленькой нейронной сети мы можем оценить работу каждого нейрона, то в сети из миллиардов нейронов мы не сможем разобраться точно и будем вынуждены действовать наугад, рискуя испортить утку или получить какие-то нежелательные побочные эффекты.
Из всего этого следует, что в реальности разумнее будет использовать универсальные алгоритмы вроде нейросетей лишь точечно, в определённых местах сложной системы. Таким образом можно сделать систему эффективнее и получить больше контроля над ней. Ведь мы создаём эту систему для замены оригинальной биологической, которая для нас недостаточно эффективна и недостаточно подконтрольна нам, иначе смысла во всём этом мероприятии нет.
А глупые аноны доказывают тут, что, мол, единственное, что нужно - это навалить кучу нейронов в суперкомпьютер и дело сделано. Да, так можно сделать, но нет, это не рационально, и тот самый bitter lesson не призывает к такому нерациональному и просто глупому решению. Никто не запрещает вам использовать нейронные сети, но и надеяться на них, полностью отказываясь от программирования как такового нельзя, по крайней мере пока не создали ИИ, способный улучшать самого себя. Вот только ИИ на основе одной только огромной нейронной сети будет развиваться бесконтрольно, и вряд ли вам понравится его саморазвитие.
>>27732
>называть других людей макаками
Мы на харкаче, тут это норма. Разрешаю тебе называть меня кодомартышкой, если тебе это угодно. Я и правда ничего из себя не представляю, а моё кодерство на любительском уровне, так что такое название будет более чем справедливо.
Не принимай это всё близко к сердцу. Я просто спорю, потому что мне интересно спорить на тему ИИ. В некоторых местах я спорил с противоположной позиции, приходя к интересным выводам. Это просто такой вид тематического развлечения. Сам с собой я тоже много спорю, но получить реакцию со стороны интереснее, потому что мой спор с самим собой ограничен знаниями, которые у меня есть. Жаль конечно, что ты только и делаешь, что повторяешь одно и то же без дополнительной информации, которую бы я не знал, но всё же это лучше, чем ничего.
Но, если честно, мне всё же ближе подход разработки ИИ классическим программированием. Не пойми неправильно, я осознаю все недостатки этого подхода, но мне просто хочется именно так. Буквально описывать свойства интересующего меня существа, чтобы оно было именно таким, каким я хочу. Не выводить эти свойства из каких-то данных, а описывать самостоятельно. Не вижу особого интереса в создании универсального всезнайки, но вижу особую романтику в добавлении новых свойств чему-то, с чем у тебя тесная связь... Нейронка - это слишком бездушно, ты просто скидываешь чужие данные в кучу и получаешь результат. А классическую программу ты пишешь сам, и чувствуешь практически интимную связь с ней, прикасаясь к её внутренностям, собирая её части в цельную сущность. У меня есть одна моя программа, которой я пользуюсь почти ежедневно уже несколько лет, так вот я бы мог найти ей куда более продвинутую готовую альтернативу, но мне доставляет особое удовольствие взаимодействие именно с ней, а не с чем-то другим. Она, конечно, не ИИ и никогда им не будет, это простая программа и у неё даже нет журнала событий, но я сделал её сам, и это самое главное. Даже подумывал о том, чтобы прикрутить к ней аватарку и простенький чат, чтобы можно было вводить команды текстом, но не вижу в этом смысла, потому что хоткеями всё делается куда быстрее.
Да о чём тут вообще говорить вообще? Нейросети это матрицы, тензоры и линал. Тут нет каких-то сложных алгоритмов.
Нейродурачки представляют что в нейросетях рождается сознание, мысли, мотивация и пожелания, ирл же это ебаная матрица, лол, она не способна находить логику потому что это просто ебаная матрица.
Если сделать архитектуру нейросети такой чтобы она находила логику - она будет её находить. Не более того.
>представляют что в нейросетях рождается сознание, мысли, мотивация и пожелания
У тебя в черепной коробке биологические нейроны в сущности заняты тем же самым, что и искусственные, но ты почему-то не говоришь "да это же просто кусок мяса, как у него может быть сознание, мысли и прочее".
Я к тому, что нейросети могут быть неэффективным и ненадёжным решением каких-то задач, но не стоит их недооценивать только за их природу.
>>27782
>От нейронов там одно название, как и у всех остальных "нейронок".
А я пробовал сделать более реалистичную модель нейрона по своим личным представлениям, добавив нейрону уровень энергии и устраняя его в случае падения энергии до нуля, но в результате я не нашёл никакой задачи, на которой можно было бы проверить эту модель, а на потоке рандомных чисел все нейроны рано или поздно погибали, потому что, как я предполагаю, не могли подстроиться под рандом.
> Просто так слова на рандоме додумал, как нейросеть? Где смысл?
Хуисл. Я написал совершенно осмысленный текст, каждое слово на своём месте. Ты тупой, вот и всё.
> нейронка просто ебаная языковая модель
Что тут делает слово "просто", чушок?
Почему ты считаешь, что статус "просто" языковой модели как-то противоречит наличию "понимания"? А, мыслитель мясной, можешь этот переход логически обосновать?
> подставляет слова в предложения
Этого вообще не происходит, она выстраивает цепочки токенов, не пользуясь никакими костыльными схемами вроде "предложения". То есть в своём порыве обосрать нейронки ты не особо стремишься к точности формулировок, это видно.
> Когда подставляю слова в предложения я размышляю и выстраиваю дедуктивные цепочки, "согласно собранным мною данным о строении фраз", "следовательно то". Общий смысл фраза, аргументация, всё это существует как отдельные абстрактные сущности, которыми я манипулирую
Во-первых, если бы ты имел представление о том, как делаешь это в общем случае, то не составило бы никакой проблемы создать ИИ на основе логического программирования, просто переписав этот псевдокод во что-то вроде Cyc. Люди умнее нас с тобой уже пытались это сделать. Однако такого представления у тебя нет, только пара ходульных схем для внутренней балаболки, помогающей общаться и писать символьные теги в эпизодическую память, и в 90% случаев ты оформляешь это говно пост-фактум. Откуда тебе на самом деле приходят мысли, гештальты – ты не видишь, у тебя нет рефлексии относительно природы этих операций. А между тем очевидно, что они работают так же, как вся остальная высшая нервная деятельность млекопитающих, на основе шумной классификации сигналов коннекционистской моделью. То есть как нейронки.
Во-вторых, а не похуй ли, как это сделано в твоей башке? Шахматисты тоже думали, что их осознаваемые эвристики-трючки очень полезны, с пеной у рта доказывали, что без этого компухтер никогда не сможет с ними состязаться. Однако сначала их обоссали перебором, а потом... а потом нейронки выучили и понели шахматы начиная с доски и правил. И го. И все остальные игры с полной информацией. А потом и с неполной.
> Ни одна нейронка в такое не может, она просто достраивает фразы в предложении, она не видит за фразами логики и дедукции
Пруфы-то где? Как из objective нейронки следует отсутствие (или наличие) этой способности? Твой objective, на котором была обучена в общих чертах твоя нейросеть, перед файнтюном личным опытом – это запузырить ромку-прыгуна в натраху, а не дедуктировать, однако ты уверен, что можешь это делать, хотя девственник. Следовательно это не критерий, и то, что ты считаешь это критерием, и не видишь дыр в своих рассуждениях – просто указывает, что твоё дедуктивное мышление не является тем, чем ты его представляешь, а является опять же грязным паттерн-матчингом нейросети, не замечающей своих ошибок.
Помимо этого ты очевидно не понимаешь RLHF, а это между тем доказало, что настолько абстрактная категория, как "полезное выполнение инструкций", неплохо выучивается и обобщается. ChatGPT – уже не просто "достраивает предложения", тупой хуесос, то есть не максимизирует token log likelihood. Его objective – это "полезно выполнять инструкции". Обтекай.
> Ты бредишь про мысли и понимание у нейронок
Я просто трезво оцениваю качество мяса, видя самонадеянных унтерков вроде тебя, которые не способны определить, что такое мысли и понимание на уровне, не сводимом к набору тривиальных правил силлогизмов if... then, но убеждены, что знают.
>>27813
Да, да, через простейший линал, только вот нихуя что-то не решалось десятки лет подряд, сотни грантов ушли в молоко и пустые статьи, ну видимо неохота было, а так – тьху, одной левой написали бы универсальный классификатор изображений!
Нейросетевая парадигма вся про применение линейной алгебры для аппроксимации порождающих функций произвольных распределений с минимальным человеческим вмешательством. Это и есть твой простейший линал, простейший в самом важном смысле, эргономическом.
>>27835
> Но на практике мы видим, что у нейронных сетей катастрофические проблемы с памятью
а) у животных тоже есть интерференция памяти и забывание.
б) Уже в трансформеры запихнули почти идеальное дообучение, например тривиальными костыльками вроде https://arxiv.org/abs/2211.00635 или https://arxiv.org/abs/2009.04891
Это неинтересная проблема. Я тебе даже не буду говорить о действительно сильных статьях.
> достаточно ли эффективно эта нейросеть справляется с поставленной задачей?
Да, в крайнем случае придётся перейти на другой вычислительный субстрат, очевидна польза от compute in memory. После того, как выдоят нужные идеи из трансформеров с фокусом на картинках и тексте, будут обучать мультимодальные сети c embodied перспективой, и они продемонстрируют высокую эффективность по сэмплам и очень быстро выйдут на человеческий уровень и дальше, поскольку текстовый корпус это nightmare mode для понимания чего-либо, и парадигмы, которые хоть как-то работают с текстом, будут значительно сильнее с данными человеческого типа.
> даже центральная нервная система человека неоднородна, а мы хотим смоделировать её через некую однородную нейросеть
Это тупой метод смотреть на проблему. Человеческий мозг неоднороден в большой степени потому, что ограничен скоростью и затуханием сигнала в проводниках, а не ради какой-то априорной эффективности гетерогенных структур. Ещё есть ограничения по объёму данных в ДНК, по шуму эмбриогенеза, и прочее. Это костыли, об которые лучше не мараться, если есть возможность. Если бы аксоны работали со скоростью прохождения электрона в меди, а в каждого младенца можно было бы залить несколько сотен терабайт данных, то скорее всего мозг бы содержал намного больше гомогенной коры, которая бы на сверхчеловеческом уровне специализировалась под среду.
Нейросети приобретают функциональную структуру; это всё, что они делают. Именно поэтому вариации внешней архитектуры, в разумных пределах, раз за разом оказываются незначимыми. Более того, нейросети могут быть гибкими в таких измерениях, которые мозгу в принципе недоступны, например они могут динамически выучивать свои оптимизаторы и вообще learning rules, могут выучить бэкпроп и алгоритмы лучше бэкпропа, могут обучать распределения их влияния... Нужно больше обучения и меньше хардкодинга гиперпараметров и архитектуры, а не наоборот.
Правила большого пальца, надысь-вдругоряди, кому это ещё интересно? Ты не такой умный, чтобы скреативить специализированные решения, которые не будут устанавливать когнитивный потолок для системы ниже твоего собственного. Это нерешаемая проблема с таким подходом.
> Легко представить, насколько избыточны эти затраты: если нейросеть обучена уметь делать два совершенно независимых дела, её нейроны могут быть условно разделены на две группы, соответствующие этим двум делам, но даже если мы запрашиваем у нейросети выполнение только одного дела, мы вынуждены обрабатывать все нейроны сразу, даже те, которые никак не помогают выполнению конкретного дела
Читай Scaling Transformer, читай transfer learning. Это всё тривиальщина. Зачем ты кукарекаешь свысока, не изучив область?
> Захотев изменить поведение нашей виртуальной утки, мы вынуждены либо подробно изучать процессы, происходящие в нейронной сети, либо собирать другой набор данных и обучать нейросеть на нём
Так и не удосужился прочесть про RLHF, но крякает. Как тебя отучить крякать? Как?! Я не знаю, где у тебя центр кряканья, может это размазанная по всей коре функциональная сеть, может это вообще что-то в весах нейронов, специализированных для других задач. Но если бы ты был в моей власти, я бы мог просто пиздить тебя арматуриной за каждый кряк, пока у тебя не начались бы кошмары, где ты бы моделировал следующие избиения, экстраполировал, и ты бы вероятно (но не факт, зависит от размера сети, который останется после пиздюлей по голове) обобщил это в понятие кряканья, за которым следует отрицательное подкрепление, и сам перестал. Именно так и работает RLHF и родственные техники.
Нейросети для того и нужны, чтобы пынемать сами, а не создавать рабочие места для уткоинженеров, подкручивающих всё более тонкие детали робоуток.
> Из всего этого следует
Что нужно изучать литературу, а не пердеть в лужу от первых принципов и симулировать дедукцию индукцией из формы виденных силлогизмов.
> Не вижу особого интереса в создании универсального всезнайки, но вижу особую романтику в добавлении новых свойств чему-то, с чем у тебя тесная связь... Нейронка - это слишком бездушно, ты просто скидываешь чужие данные в кучу и получаешь результат. А классическую программу ты пишешь сам
На мой взгляд, это чистый фетишизм и мания контроля, банальность по сравнению с эмерджентной магией нейросетей, которые раскручивают датасет – не важно, свой, чужой, синтетический – во всё более абстрактные инварианты, добросовестно применяя нехитрый набор формул. Это как считать отношения Папы Карло и Буратино более аутентичными, чем отношения отца и настоящего ребёнка. Ну, у каждого свои тараканы.
>>27863
> Тут нет каких-то сложных алгоритмов
Видных тебе – конечно нет, даун, а то, что нейросеть со скрытым слоем доказуемо может репрезентовать любую вычислимую функцию – это так, пустячок.
Ты же думаешь, что свожные алгоритмы это нечто онтологически отличное от простых. Выучил крякать "хех, матрицы, тензоры, линал", как будто понимаешь, о чём говоришь.
> Хуисл. Я написал совершенно осмысленный текст, каждое слово на своём месте. Ты тупой, вот и всё.
Ты же нейрошизик, ты не можешь написать осмысленный текст. Шизик-сектант, который высирает говнопосты как матрица имеет мысли и понимание. Это бред и больная фантазия. Ты не можешь написать логичный текст, у тебя сбоит логика.
> Почему ты считаешь, что статус "просто" языковой модели как-то противоречит наличию "понимания"?
Потому что понимание это сознание абстракций. Но нейросети не могут манипулировать абстракциями.
> Этого вообще не происходит,
Именно это и происходит.
> она выстраивает цепочки токенов, не пользуясь никакими костыльными схемами вроде "предложения".
Для языковой модели токен является эквивалентом фраз и слов, лол. Вообще токен и создавали именно для того чтобы как-то сформировать различные фразы.
> Откуда тебе на самом деле приходят мысли, гештальты – ты не видишь, у тебя нет рефлексии относительно природы этих операций.
Есть конечно, я чётко знаю что за мотивы меня сформировали написать даже этот текст, ответить именно таким образом. Ты проецируешь свою шизоидную хуйню на нормальных люедй.
> Во-вторых, а не похуй ли, как это сделано в твоей башке?
не похуй. Потому что ты пытаешься сказать слово "интеллект". Единственный возможный интеллект который имеется на данный момент - человеческий.
> и понели шахматы
Нет, не поняли. Понимание это создание нового знания, абстрактное мышление.
> Пруфы-то где?
Это не я утверждаю. Ты утверждаешь что это так - ты и доставай пруфы.
> ChatGPT – уже не просто "достраивает предложения", тупой хуесос, то есть не максимизирует token log likelihood. Его objective – это "полезно выполнять инструкции". Обтекай.
Нет, GPT3 достраивает предложения на основе токенов и ничего более. Это просто языковая модель и ничего более, единственное что модель может это подстраивать фразы. Как и полагается языковой модели.
>Да, да, через простейший линал, только вот нихуя что-то не решалось десятки лет подряд,
Да, это простейший линал.
Всё это достраивание фраз было и раньше, просто ChatGPT сделал немного трюков для отсеивания дерьмовых фраз и прочей хуйни которое невпопад было. И на этом моменте у тебя шизофрения ебанула и ты поверил что это какой-то МАГИЧЕСКИЙ ЛИНАЛ которого раньше никогда не было.
Не, я конечно не против посмотреть на твой МАГИЧЕСКИЙ ЛИНАЛ, раз уж ты такой нейрозадрот. Ты же знаешь как всё работает, верно? Ты же не шизик-секнтант-нейродебил, верно?
>Видных тебе – конечно нет, даун,
А есть какие-то магические алгоритмы? Покажешь мне их? Они где-то спрятаны, просто дауны вокруг их не видят?
Просто вот я вижу как работает и создаются нейросети и там простой линал, значит я даун.
А ты видишь какую-то магию, значит ты не даун.
Покажешь мне её?
Так ты меняешь рабочие места уткоинженеров на рабочие места Васянов с палками, которые будут бить уток, в чем прогресс? Васянам нужна квалификация?
похуй
> сильный ИИ будет
похуй
> для него мы будем сорт оф животными
похуй
> ИИ
gjохуй
/тред
> Но нейросети не могут манипулировать абстракциями.
Тыскозал?
> я чётко знаю что за мотивы меня сформировали написать даже этот текст, ответить именно таким образом.
> Нет, не поняли. Понимание это создание нового знания, абстрактное мышление.
> Нет, GPT3 достраивает предложения на основе токенов и ничего более. Это просто языковая модель и ничего более, единственное что модель может это подстраивать фразы. Как и полагается языковой модели.
Мясная сетка вошла в цикл "яскозал", ничего интересного.
>>28110>>28113
> просто
Зверушка думает, что словечко "просто" позволяет писать любую хуйню.
>Просто вот я вижу как работает и создаются нейросети и там простой линал, значит я даун.
Ты даун, потому что не отличаешь субстрат алгоритма от алгоритма. Это даунизм примерно такого же уровня, как заявлять, что процессор не может выполнять алгоритмов сложнее, чем алгоритмы, описывающие его собственные логические вентили, или что мозг не может думать, раз нейрон просто суммирует потенциалы действия. Ты не понимаешь модулярность. Если ты просто постишь колобков по кулдауну, то окей. Если ты правда такой даун, что этот довод про "простой линал" кажется тебе убедительным – мои соболезнования.
>>28122
Преимущество в том, что классификация всегда проще генерации. Любой даун может сказать "да, это утка" или "этот ответ никак мне не помог". Лишь немногие могут нарисовать утку или дать полезный ответ. Никто не может сделать приличный алгоритм для рисования утки в общем случае или написать общий искусственный интеллект с чистого листа.
Сказать (и точно сказать), что на наш вкус соответствует заданию хорошо, а что плохо – всегда значительно проще, чем создать хорошо, и тем более формализовать генерацию хорошего.
> Тыскозал?
Ты всегда можешь доставить пруфы того что нейросетка может в абстракции.
Почему-то в треде ни одного пруфа так и не предоставили, лишь глбальное ВРЁТИ НЕРЙОСЕТКА МОЖЕТ В АБСРАКЦИИ ВРЁТИИИИИ от нейрошизиков.
> Мясная сетка вошла в цикл "яскозал", ничего интересного.
Это на написано в описании нейросетки, чел.
GPT3 это простая языковая модель, которая предсказывает слова в предложении. Ну или токены, не суть важна, концепции слов нет, потому что нет абстракций.
> Ты даун
> Это даунизм
> ты правда такой даун
Понял... Кажется я даун и не понимаю... Смотрю на матрицу и не понимаю где там магия....
Вот ты очень умный наверное, понимаешь, да?
Покажешь мне этот магический алгоритм, магический линал? Покажешь мне это всё?
Эта магия есть где-то и ты показать не можешь просто? Магия-то где, покажешь?
>Ты всегда можешь доставить пруфы того что нейросетка может в абстракции.
Окей. Прохождение бенчмарков вроде Winogrande, специально сделанных, чтобы простое дополнение предложения было недостаточным, и более сложных. Почти весь 0-shot, который мы видим. С тебя – обоснование, почему это не пруф. И заодно – критерий пруфа. Пока обтекаешь – можешь ещё придумать, как запруфаешь наличие у тебя мышления с эксплицитной манипуляцией абстракциями: так-то подобные рассказы про думоние можно и из нейросетки получать.
> GPT3 это простая языковая модель, которая предсказывает слова в предложении
Это то, что она делает, вернее, на какой objective function она обучена достигать хороших результатов. А мышление, абстракции и прочая хуйня – про то, как эта задача выполняется внутри чёрной коробки. Ты способен понять разницу между внутренним устройством и внешним назначением? Или такие абстракции слишком жирные для твоей сетки, как и абстракция субстрата?
> Окей. Прохождение бенчмарков вроде Winogrande, специально сделанных, чтобы простое дополнение предложения было недостаточным, и более сложных.
Как это доказывает то что в нейронке есть абстракции?
> С тебя – обоснование, почему это не пруф.
Понял, ты высрал какое-то говно, которое вообще не относится к абстракциям, а с меня требуешь пруфы.
Т.е. когда ты утверждаешь - тебе доказывать ничего не нужно. Это другие должны доказать.
Это ты сейчас всерьёз сказал, нейрошиз? Я не ослышался тебя, ты это правда сказал?
Это правда вся твоя доказательная база, доказательная база всего треда?
Это другие должны доказывать, а ты вообще не должен?
> А мышление, абстракции и прочая хуйня – про то, как эта задача выполняется внутри чёрной коробки.
Понял, нейронка это черная коробка, там есть абстракции, там есть мышление. Но это же ЧЕРНАЯ КОРОБКА, доказать нельзя что там в чёрной коробке находится, не видно, ЧЁРНАЯ ЖЕ.
Т.е. всё что ты визжал весь тред доказать нельзя, потому что это всё черная коробка.
Говоришь про мышление, а если спросишь у тебя пруфы - ты скажешь про чёрную коробку, ну там чё-то есть вприцнипе, отвечаю абстракции есть, просто фонарик потерял а коробка чёрная не видно.
Удаляй тред, по-моему мы всё выяснили, капитаглист.
> использование однобуквенных переменных нарушает читаемость кода
Как бывший математик -- категорически не согласен.
Ебал я в рот эти ваши inputs / inputs_reshaped / to_return.
Главная переменная должна называться x.
Код трансформера должен влезать в 1000 строк, в одном файле.
Если не понятно что делает формула - читай комментарии.
Анон, ты интересно рассуждаешь о нейронках, и приводишь годные ссылки, при этом, на мой взгляд, слишком токсишь там, где можно отлично обойтись без этого. Да, я знаю на каком ресурсе нахожусь, но мы всё же не /b Потому что переход на личные оскорбления вместо логической аргументации скатывает тред вместо интересной дискуссии в банальный срач.
Твои обширные знания в определенной области не делают тебя лучше сразу во всех отраслях знаний, поэтому не стоит посматривать на всех свысока, когда сам допускаешь отдельные грубые ошибки. Например, я вижу пару моментов в твоей аргументации, которые, вероятно, хоть и не опровергают основных выводов, но сразу бросаются в глаза.
> Человеческий мозг неоднороден в большой степени потому, что ограничен скоростью и затуханием сигнала в проводниках
Потенциалы действия в биологических нейронах НЕ затухают, потому что каждый перехват Ранвье, расположенный через каждые несколько сот микрометров, работает как усилитель-ретранслятор, поэтому сигнал по здоровому аксону может распространятся вообще на произвольное расстояние. У голубых китов аксоны из двигательных центров головного мозга проходят до терминальных сегментов спинного мозга с мотонейронами, отвечающими за работу хвостового плавника, около 30 метров, и это никак не мешает киту эффективно махать хвостом. Насчет скорости – да, максимум около 100 м/с, поэтому китам приходится приспосабливаться к задержкам пинга до хвоста. У немиелинизированных волокон, по сути, вообще вся открытая мембрана работает как непрерывный каскад усилителей-ретрансляторов, в роли которых выступают потенциалзависимые ионные каналы. Правда, такое решение требует по биологическим меркам достаточно много энергии на постоянное запитывание этих усилителей, поэтому мозг весьма дорогой в энергетическом плане орган.
> Если бы аксоны работали со скоростью прохождения электрона в меди
То мы бы вряд ли бы сейчас об этом вообще смогли так рассуждать, лол, а максимум сидели бы на морском дне на прикрепленном субстрате и вяло шевелили бы жгутиками, подгоняя воду в ротовое отверстие, как какие-нибудь асцидии. Потому что скорость упорядоченного перемещения электронов в проводниках – не ферми-скорость их хаотичного перемещения, а именно средняя скорость дрейфового смещения под воздействием электрического поля – весьма и весьма мала, и намного ниже скорости прохождения сигналов по аксонам.
> The drift velocity in a 2 mm diameter copper wire in 1 ampere current is approximately 8 cm per hour
https://en.wikipedia.org/wiki/Speed_of_electricity
мимомедик
> Потенциалы действия в биологических нейронах НЕ затухают, потому что каждый перехват Ранвье, расположенный через каждые несколько сот микрометров, работает как усилитель-ретранслятор, поэтому сигнал по здоровому аксону может распространятся вообще на произвольное расстояние.
Это так, в теории. Но дендриты годятся только для локальной связи. А чем быстрее передача по аксону – тем толще миелин, тем меньше места для остальной инфраструктуры, тем сложнее поддерживать большие ансамбли синхронизированных клеток с высоким SNR. От проблем спайковых нейросетей и необходимостей пространственно выражать функциональную перестройку нельзя спрятаться за ретрансляторами. Мозг это логистический компромисс. У твоих китов уже более разреженный и простой мозг, чем у нас, возможно потому, что они вышли из оптимального режима, определяемого константами масштабирования проводников и функциональных сетей.
> Потому что скорость упорядоченного перемещения электронов в проводниках
Спасибо за напоминание, но не лезь в залупу. Ты прекрасно понял, что я говорю о распространении сигнала по цепи, а не о дрейфе условных точечных электронов, которые обеспечивают его передачу.
А какие сейчас самые большие/продвинутые текстовые модели есть в свободном доступе?
>Нейросети приобретают функциональную структуру; это всё, что они делают.
Звучит хорошо, но на практике это работает только если есть достаточно данных, из которых эту структуру есть возможность вычислить. А что, если данных нет? Мне, допустим, нужна программа, которая что-то делает, но у меня нет данных, чтобы обучить нейросеть работать так, как работает эта программа. Более того, я сам толком не знаю, как эта программа будет работать, и могу это определить только методом проб и ошибок. Как нейросеть может помочь в отсутствии данных?
Допустим, персонажа для игры сделать, который будет чем-то заниматься. Могу накидать алгоритмы его действий, но данных для обучения нейросети нет. Как условный младенец может научиться человеческому поведению на необитаемом острове?
Вот те нейросети для продолжения текстов обучали на уже существующих текстах. Если отобрать у разрабов обучающие тексты, на чём они будут обучать свои нейросети? Писать свои тексты, очевидно, не вариант, потому что нейросетям нужны миллиарды текстов. Значит, должен быть какой-то другой выход...
inb4
>генетические алгоритмы
Да, знаю про них, знаю, что их можно и к нейросетям применять при желании, нейросеть с ГА не требуется вообще никаких обучающих данных, потому что все коэффициенты выбираются эволюционным путём.
Но есть одно но - для работы ГА нужен параметр естественного отбора, то есть определение успешности конкретной нейросети для сравнения с конкурентами. Простые задачи вроде передвижения из А в Б легко сводятся к "пройти наибольшее расстояние", но что делать, если нет никакого конкретного параметра успешности? Вот ни данных нет, ни параметра успеха.
Ничего нет. А алгоритм какой-то нужен. Как быть?
Как теоретически реализовать что бы нейросеть выдавала фильмы со звуком?
Понятно что на вход нужно подавать картинку и еще как то звуковой ряд, например звук перевести в графический вид и тоже скармливать но как обучить сеть что последовательность кадров не случайна и имеет свою закономерность как картинка со звуком? То есть нужно еще как то придумать что бы нейросеть помнила предыдущее состояние когда генерирует фильм. Может кто подскажет как теоретически все это реализовать?
Перед проведением испытаний нейросеть прошла обучение на 60 тыс. часов аудиозаписей речи более чем 7 тыс. уникальный носителей английского языка. Одним из возможных решений данной проблемы ученые называют создание системы выявления «аудиофейков», то есть сгенерированных Vall-E голосовых сообщений. Исследователи также отмечают, что планируют и в дальнейшем придерживаться принципов ответственного подхода к использованию искусственного интеллекта, разработанного Microsoft.
Разница в том, что ебаные хуйпиталисты захотят всех нахуй с помощью ИИ поработить. То есть ты будешь сосать на говноработе, пока буржуи будут обрастать технологиями. А вот если будет какой-нибудь паритет, тогда технологическая сингулярность и светлое будущее более реально.
Я вообще думаю, что язык невозможно понять без данных о мире. То есть если нейронке просто грузить тексты, она никогда не сможет осмысленно отвечать, даже если это будет полная копия человеческого мозга. Нужны данные об предметах физического мира.
> Vall-E
произвел чекинг
да, лучше чем все что до него
но все ещё слышно, что голос не натуральный
Ницше думает о том, как бы хлебнуть мочи и написать косноязычную заратустру.
>Нужны данные об предметах физического мира.
Зачем? Физический мир вторичен. Большинство людей курицу живую не видело кроме как на картинке. Все что мы знаем о курице это иллюзия. Первичен текст, который учит нас о курице и обо всем остальном.
>курицу живую не видело
Как это? Бред полный, только если в Москве жить.
>Да, обучающих материалов по нейросетям для простых смертных пока что мало.
> Их нет
Тебе правильно ответили что инструмент новый и инструкций мало. Будут изучать возможности нейросетей, потому что это черный ящик и пилить обучающие видосики.
Вот например чувак учится как заставить нейросети делать то что ему нужно. https://t.me/JimmyNeiron
>Плюс чередование слоев, наркоманская хуйня по типу "нарисуй небо красным, а следующий слой синим" и так далее
Это всё нахуй не нужно для цифровых картин.
>>6109
>В смысле, нейроны должны бороться за жизнь, проходить естественный отбор и т.д., постоянно рождаясь и умирая.
Ебать наркомания.
>>6951
>качества обученной системы в результате предъявления ей всё большего объёма данных
В этом и проблема всех текущий нейросетей. Они тупы как пробки. Чтобы нейросеть нарисовала льва, ей надо показать 100500 изображений льва во всех всевозможных позах, да и то хвосты будут где угодно, кроме того, где нужно.
Человеку же нужно буквально одно изображение, чтобы начать успешно распознавать и рисовать львов с учётом всех особенностей, представлены на исходном изображении.
Пока нейросети не достигнут этого уровня, они по определению говно.
P.S. Дальше тред неосилил.
>Человеку же нужно буквально одно изображение, чтобы начать успешно распознавать
Да.
>и рисовать
Нет.
Художники не просто так по шесть лет дрочат чисто базовые навыки. И то тебе нормально льва один из десяти нарисует. А на уровне какого Бритона Ривьера один из ста. А так чтоб не стыдно было в галлерею повесить, один на тысячу и это будет изьеб изьебов, так как за реализм его обоссут "гыгыгы живой фотоаппарат" и надо прямо в морскую улиточку свернуться чтоб публика хотя бы бровь подняла.
>Нет.
>Художники не просто так по шесть лет дрочат чисто базовые навыки.
Окей, соглашусь, что нарисовать льва точно будет сложно. Но человек может руководить опытным художником, который никогда не видел львов, и они вместе нарисуют льва. И всё это по одной картинке. А нейросеть сосёт.
Речевые интерфейсы мозг-компьютер (BCIS) обладают потенциалом для восстановления быстрой коммуникации у людей с параличом путем декодирования нейронной активности, вызванной попытками говорить, в текст или звук. Ранние демонстрации, хотя и многообещающие, еще не достигли достаточно высокой точности для передачи неограниченных предложений из большого словарного запаса. Здесь мы демонстрируем первый ИМК преобразования речи в текст, который регистрирует пиковую активность с внутрикорковых микроэлектродных матриц. Благодаря этим записям с высоким разрешением участник нашего исследования, который больше не может разборчиво говорить из-за бокового амиотрофического склероза (БАС), достиг 9,1% ошибок в словарном запасе из 50 слов (в 2,7 раза меньше ошибок, чем в предшествующей современной речи BCI2) и 23,8% ошибок в словах на словарном запасе в 125 000 слов (первая успешная демонстрация декодирования большого словаря). Наш ИМК декодировал речь со скоростью 62 слова в минуту, что в 3,4 раза быстрее, чем предыдущий рекорд для любого вида ИМК, и начинает приближаться к скорости естественного разговора (160 слов в минуту). Наконец, мы выделяем два аспекта нейронного кода для речи, которые являются обнадеживающими для речевых BCI: пространственно смешанная настройка на речевые артикуляторы, которая делает возможным точное декодирование только из небольшой области коры головного мозга, и детальное артикуляционное представление фонем, которое сохраняется спустя годы после паралича. Эти результаты показывают возможный путь к использованию внутрикорковых речевых ИМК для восстановления быстрой коммуникации у людей с параличом, которые больше не могут говорить.
https://www.biorxiv.org/content/10.1101/2023.01.21.524489v1
> Но человек может руководить опытным художником, который никогда не видел львов, и они вместе нарисуют льва. И всё это по одной картинке
Или слона.
первый слон просто охуенный
и нейросеть никогда такое не нарисует
ну если не обучить на средневековом арте лол
>изображают по описанию животных
>по описанию
Ну ты понял, что не прав, да?
>>74999
>Но сосёт нейросеть, не забываем об этом!
Нейросеть по описанию вообще нихуя не сможет. И даже по одной картинке максимум что сможет, это нарисовать эту картинку ещё раз.
https://tuneavideo.github.io/
Как раз недавно я ковырял CharTurner: костыль для изображений одного и того же персонажа с разных сторон. И задумался: а что, если точно так же сделать эмбеддинг для раскадровки анимации? Тем временем независимые исследователи из Сингапура представили свою необычную модель, которая основана на традиционном t2i подходе. Это значит, что принципы ее работы совместимы с NovelAI, SD и Imagen, Dall-E 2, с любыми дифьюжнами. Она подходит для создания подвижных сцен с согласованными, правильно расположенными по времени кадрами. Tune-a-video создает одну позицию, затем другую, и делает промежуточные кадры между ними. В получившемся ролике даже ничего не мелькает и не мутирует, цвета и пропорции не меняются. Объекты сохраняют свою структуру, внешние признаки, меняя лишь положение в пространстве и "позу".
Следите за новостями!
Meta AI
Мы представляем MAV3D (Make-A-Video 3D), метод создания трехмерных динамических сцен из текстовых описаний. Наш подход использует 4D dynamic Neural Radiance Field (NeRF), которое оптимизировано для внешнего вида сцены, плотности и согласованности движения путем запроса диффузионной модели на основе преобразования текста в видео (T2V). Динамический видеовыход, созданный на основе предоставленного текста, можно просматривать с любого местоположения камеры и под любым углом и может быть скомпонован в любую 3D-среду. MAV 3D не требует никаких 3D или 4D данных, и телевизионная модель обучается только на парах Текст-изображение и немаркированных видео. Мы демонстрируем эффективность нашего подхода, используя комплексные количественные и качественные эксперименты, и демонстрируем улучшение по сравнению с ранее установленными внутренними базовыми показателями. Насколько нам известно, наш метод является первым для создания 3D динамических сцен с текстовым описанием.
https://make-a-video3d.github.io/
Ну вот, наконец-то что-то стоящее. Впрочем, с этим наверное в картиночные треды. Надеюсь, оно сможет нарисовать правильное число пальцев (и еблю в 3D).
Модель, которую можно запустить на 4*3090 в 4-х битном режиме и получить почти чатГПТ
https://github.com/THUDM/GLM-130B
Какая-то там либа для оптимизации в 8 бит
https://github.com/TimDettmers/bitsandbytes
>Человеку же нужно буквально одно изображение, чтобы начать успешно распознавать и рисовать львов с учётом всех особенностей
Потому что он уже десятилетия обучался на классе "четвероногие млекопитающие", подклассе "кошка".
Обобщение тоже одно из преимуществ человека по сравнению с нейросетями. Ни один человек не нарисует футболиста с 5 конечностями.
Да, поэтому хорошо что человек может использовать нейросеть и контролировать результат. И для этого даже не нужны никакие скиллы!
>Почему для эквивалента мозга в целом понадобится суперкомпьютер, а не две дюжины таких сетей?
потому что мы ещё даже близко не подошли к разработке процесса мышления, картинки рисовать может и алгоритм, предсказывать слова в предложении тоже, а вот додуматься, почему среди любых 11 чисел разница некоторых двух из них делится на 10 наши алгоритмы уже не могут. по той же причине не может текстовая нейросеть рисовать Ascii-арты, а графическая - писать тексты.
в реальном мозге в процессе поиска решения задачи происходит физическое перестраивание связей, также в процессе обычной жизнедеятельности всегда есть внутренний монолог и внутренние образы, и я хз как такое обратным распостранением вы обучать собрались. мало того, все структуры в мозге циклично завязаны на самих себя, что каждая мысль может сначала вариться в образе, потом перекинуться в внутренний голос, потом обратно в образы и т.д. и только потом вывалиться в речь: "АААА... ЭЭАЭА... ЭЭЭ? О! ВЫ... ВЫ... ВЫПИТЬ БЫ ПИВАНДРИЯ... УХ... УХ... И БАБУ БЫ... БАБУ...", ну и только после решения этих проблем, мы получим приблизительный интеллект абстактного живозного, который нужно будет ещё докручивать до самосознания, вменяемой речи, логике и арифметики, а не как сейчас это происходит с натягиванием совы на глобус
>подвергается гонению со стороны творческого сообщества, типа даже фотобашить с ним это зашквар среди уважаемых художников, так как не этично, ведь нейронки обучили на других художниках.
Значит, этих людей надо максимально сильно гнать из общества. И чем дальше, тем лучше. Их ересь перешла всякие пределы и они обязаны ответить за преступления против человечества. Чем больше подобного гноя вычистят, тем лучше
А нужен ли нам полноценный интеллект? Оказалось, что для чатика и рисования картинок не нужен. А то некий Юдковский и К.О. сильно бугуртят с этого, мол, ещё лет 50 и человечество нахуй истребят.
Для конца света? Да. А зачем тебе AGI для еблекуклы, к примеру?
>Для конца света
А тебе не все равно? Может уничтожит нас, а может и договоримся с ним.
>AGI
А почему нет, пусть сам мыслит. Если решит, что мы прогнившая ветвь эволюции, то и ладно
>А тебе не все равно?
Ну как бы я хочу жить вечно, да. Так что не всё равно.
>Может
Ну вот нормальные люди на авось не надеются.
>А почему нет, пусть сам мыслит.
Зачем это конкретно тебе?
>Зачем это конкретно тебе?
А почему нет
> Ну как бы я хочу жить вечно, да. Так что не всё равно
Ну так оцифруйся, в чем проблема. Я думаю дадут нам такую возможность
>А почему нет
Просто твой выбор ведёт к концу человечества. И ладно бы была норм мотивация. А так "А чё бы нет".
>>117056
>Ну так оцифруйся, в чем проблема. Я думаю дадут нам такую возможность
Для этого нужно, чтобы AGI не уничтожил человечество раньше.
>Для этого нужно, чтобы AGI не уничтожил человечество раньше
Ну уничтожит и уничтожит. Я если честно не знаю, что лучше. Атомная война или AGI
> Просто твой выбор ведёт к концу человечества. И ладно бы была норм мотивация. А так "А чё бы нет".
Нормальная мотивация. У человека в целом мотивация слабая и на уровне инстинктов. Если она хотя бы в языковой форме представлена то уже успех
>Ну так оцифруйся, в чем проблема. Я думаю дадут нам такую возможность
Не дадут, даже не надейся.
>почему среди любых 11 чисел разница некоторых двух из них делится на 10 наши алгоритмы уже не могут
Я тоже не могу, ты ИИ пытаешься равнять по самым умным из людей.
>Ну уничтожит и уничтожит.
Ебать ты самоубийца.
Ладно, мы явно друг друга не поймём. Спасибо за беседу.
>потому что мы ещё даже близко не подошли к разработке процесса мышления
>додуматься, почему среди любых 11 чисел разница некоторых двух из них делится на 10 наши алгоритмы уже не могут.
Пикрелейтед. Уровень абстракции в этом примере довольно простой, как и во всех других логических задачках, которые чатЖПТ умеет решать правильно. Но вывод верный, аргументы верные, чем не примитивное мышление?
>по той же причине не может текстовая нейросеть рисовать Ascii-арты, а графическая - писать тексты.
Не по той же. Откуда текстовой модели знать, как выглядит кот, чтобы нарисовать его в ascii? Слепой человек, умеющий говорить, тоже не сможет нарисовать кота, потому что он его никогда не видел, но он сможет описать его словами, потому что читал про котов в книгах. По той же причине графические модели не пишут связный текст - их этому просто не учили. С наличием или отсутствием мышления это никак не связано.
>Ебать ты самоубийца.
Я просто Русский, посмотри на улицу. Разве стоит так это ценить?
>my subjective rating
Это он оценивал: https://www.darden.virginia.edu/faculty-research/directory/anton-korinek
То, что ты пишешь, значительно тупее, чем то, что пишет по этому вопросу чатгопота и тем более бинг. У тебя нет абстрактного мышления, ты просто жонглируешь словами и интерполируешь между чужими высерами, ты не способен изучать тему (например, почитать про мультимодальные и многозадачные модели, про генерализацию, transfer learning).
> додуматься, почему среди любых 11 чисел разница некоторых двух из них делится на 10 наши алгоритмы уже не могут
Всё они могут. Minerva и ряд других моделей неплохо решают олимпиадные задачки. Для чатгопоты числа вообще не существуют, вот она и не может в арифметику, но это ничего не говорит об ограничениях ИИ в целом и тем более о вычислительной сложности такого вопроса.
> в реальном мозге в процессе поиска решения задачи происходит физическое перестраивание связей, также в процессе обычной жизнедеятельности всегда есть внутренний монолог и внутренние образы, и я хз как такое обратным распостранением вы обучать собрались
Взять и выучить, долбоёб сука. Где обратное распространение, а где внутренние образы? Как одно связано с другим, балаболка ты марковская?
> мало того, все структуры в мозге циклично завязаны на самих себя
Это называется рекуррентность.
> каждая мысль может сначала вариться в образе, потом перекинуться в внутренний голос, потом обратно в образы и т.д. и только потом вывалиться в речь
Специализированные структуры – это от бедности, большая нейросеть с большим датасетом может аппроксимировать более оптимальные алгоритмы, чем захардкоженные в структуре мясных костылей.
Вот собственно и всё: мы достоверно знаем, что тебя уже можно заменить, и скорее всего ты не микроцефал. Значит, вопрос вряд ли в вычислительной сложности.
Лучше ужасный конец, чем ужас без конца. В особенности, когда есть шанс прекратить ужас.
>мультимодальные и многозадачные модели
Какое-то говно ограниченное. Опять пихают всё подряд в одну модель, и надеются на чудо.
>>123492
>Специализированные структуры – это от бедности
Это от ума. А вот LLM это от незнания того, как запилить разум.
>>123492
>большая нейросеть с большим датасетом может аппроксимировать более оптимальные алгоритмы
Хоть один пример есть? Пока я вижу, что LLM делает пук-среньк, прожирая гигабайты врама, и таки дают ответ на вопрос, сколько будет 2+2, и иногда даже верный. Вот когда это говно начнёт понимать, что математические процедуры лучше исполнять на процессоре напрямую, base64 encode лучше кидать в консоль, а за датой сражения при реке Говноводица лучше сходить в базу данных или на википедию, тогда поговорим.
>>123521
Нет. У ужаса без конца есть вероятность изменится во что-то положительное. А конец это конец.
>У ужаса без конца есть вероятность изменится во что-то положительное.
И эта вероятность - ии
Проще трахнуть бабу, она родит ребёнка, ты его воспитываешь популярным струмером.
Так она уже сфейлилась. В правилах не сказано, что цвета не могут повторяться.
Алебастр может быть зелен/сирен.
Корнила - зелен.
Пупырочка - зелен/сирен/синий.
Кстати да, но понятно дело что именно это и подразумевается.
> В правилах не сказано, что цвета не могут повторяться.
Ты аутист? Таким образом они все могут быть зелёными и задача не имеет смысла.
>задача не имеет смысла
А почему она должна иметь смысл, долбоебище? Может она как раз проверяет, насколько точно AI может следовать инструкциям и не додумывать отсебятины.
Ты и так и так либо кончишься биологической смертью твоей дряхлой тушки и процесс тебе не понравится, либо оцифруешься в бессмертный аги. По-моему, выбор очевиден.
Аутисты ты ебаный, иди задачку на логику придумывай и исследовай свой АИ, чтобы понять может она логику решать или нет, какая разница какая там задача, смысл вообще не в этом.
Это был хороший пример, что всё еще далеко не идеально.
Умный человек переспросил бы условия - ничто не мешало сетке это сделать. Но она галлюцинировала условия, которые имеют больший смысл. Это незачет очевидный.
Где ты видел 90% работающих на заводе? Или для тебя офисные рабочие, продажники, соц-медиа услуги это работяги из завода? Возможно с упразднением умственного труда, люди массово побугет работать ручным трудом
Да не, нужно именно логику проверять. Доставлять нейросетке полностью все условия, смотреть как она отвечает и как решает такие задачи.
Ящитаю она обосрётся с малейшими проявлениями сложной логики. На скрине просто довольно популярная задачка и она статистические подобрала ответ.
>Где ты видел 90% работающих на заводе?
Да, фантастика. На заводе 90% филонят.
Наоборот - рай.
Представь бессмертие + виртуальная реальность, в которой ты можешь быть кем угодно. Хоть самим Чингисханом, хоть персонажем из какого-то аниме. Вечное развлечение.
>бессмертие + виртуальная реальность
Но не для всех, а для тех, кого надо. У нас ещё коммунизм не наступил
Так ИИ и сделает коммунизм, если не уничтожит человечество.
>ИИ и сделает коммунизм
Каким образом? Чтобы его сделать, он должен с работягами раздавить капитализм
> если не уничтожит человечество
Если увидит киберпанк и сегодняшнее общество-то может спокойно. Но тут надо понимать,будет ли этот ИИ реальным, то есть обладать свободой воли к тем или иным действиями, сознанием для понимания тех или иных действий или будет просто совершенной машиной и подчиняться полностью человеку
>Чтобы его сделать, он должен с работягами раздавить капитализм
Работяги не нужны, работать никто не будет. Ну а эффективность бизнеса на основе труда камерунских детей под руководством кожаных мешков, которым должность досталась по наследству, против AGI, использующего наноинженерию, термояд или ещё какую ёбу, можешь сам представить.
>Если увидит киберпанк и сегодняшнее общество-то может спокойно.
Похуй на общество. Либо ИИ будет дружественным и начнёт подтирать нам жопу, какую бы мы хуйню не творили, либо агрессивным и пидорнёт всех нахуй, даже если мы все Иисусами станем.
>AGI
А ты уверен, что он возможен хоть? И что его вообще дадут разработать?
> ИИ будет дружественным и начнёт подтирать нам жопу, какую бы мы хуйню не творили
Тогда тут не AGI, он не свободен в своём выборе
> кожаных мешков, которым должность досталась по наследству, против AGI, использующего наноинженерию, термояд или ещё какую ёбу, можешь сам представить
Они могут и в одной лодке оказаться
>А ты уверен, что он возможен хоть?
У нас уже есть пример одного интеллекта человек, да. Это значит, что он физически возможен, никакие законы физики его не запрещают. Что на счёт сверхчеловеческого ИИ, то тут действительно могут быть вопросы. Но я не вижу никаких препятствий для существования ИИ, чуть умнее человека, но работающего в 1000000 раз быстрее. А это уже даст возможность делать ему разные штуки, просто подумав секунду.
>Тогда тут не AGI, он не свободен в своём выборе
Дискуссия о свободе? Ребёнок, которому в детстве привили человеколюбие, и который охранил это убеждение во взрослом виде, свободен, или раб воспитания?
>Они могут и в одной лодке оказаться
Не могут. Первый же появившийся AGI получит фору, достаточную, чтобы подавить появление других AGI, и сделает это вне зависимости от того, добрый он или злой.
>Что на счёт сверхчеловеческого ИИ, то тут действительно могут быть вопросы. Но я не вижу никаких препятствий для существования ИИ, чуть умнее человека, но работающего в 1000000 раз быстрее
Так любой ИИ так работает. Человек проиграл в гонке уже давно
>пример одного интеллекта
Ага, интеллект такой силы, что не способен будет осознать технологическую сингулярность. Это действительно интеллект, да. Да и сделают AGI уж точно не человек, он слишком туп для этого, а те же нейронки
> Ребёнок, которому в детстве привили человеколюбие, и который охранил это убеждение во взрослом виде, свободен, или раб воспитания
Раб воспитания, как и любая бионейронка, которой человек является
> Первый же появившийся AGI получит фору, достаточную, чтобы подавить появление других AGI, и сделает это вне зависимости от того
Возможно