В Китае представили осознающую себя нейросеть Wu Dao с 1,75 трлн параметров
Аноним
03/06/21 Чтв 17:41:22
№1
10
8
Будучи обученной на 1,75 трлн параметров, Wu Dao 2.0 примерно в десять раз больше, чем GPT-3 (175 млрд). Она превзошла также Google Switch Transformer с 1,6 трлн параметров. Модель обучали на китайском и английском языках на 4,9 терабайт изображений и текстов.
Вторая версия Wu Dao 2.0 вышла всего через три месяца после выпуска первой в марте. Исследователи BAAI сначала разработали систему обучения с открытым исходным кодом FastMoE, похожую на Google Mixture of Experts. Она работает на PyTorch и позволяет обучать модель как на кластерах суперкомпьютеров, так и на обычных графических процессорах. Это дало FastMoE большую гибкость, чем системе Google, поскольку FastMoE не требует проприетарного оборудования, такого как TPU от Google.
В отличие от большинства моделей глубокого обучения, которые выполняют единственную задачу - либо генерируют текст, либо создают дипфейки, либо распознают лица - Wu Dao является мультимодальной системой.
Исследователи продемонстрировали способности модели выполнять задачи по обработке естественного языка, генерации текста, распознаванию изображений и созданию изображений. Модель может не только писать эссе, стихи и двустишия на китайском языке, но и генерировать альтернативный текст на основе статического изображения и почти фотореалистичные изображения на основе описаний на естественном языке. Wu Dao также продемонстрировал свою способность предсказывать трехмерные структуры белков, таких как AlphaFold.
Разработчики отмечают, что модель требует лишь небольшого количества новых данных при использовании в новой задаче. Тан Цзе, заместитель директора BAAI по академическим вопросам, утверждает, что она позволит создавать «думающие» машины.
С моделью работают уже 22 партнера, в том числе Xiaomi, поставщик услуг доставки Meituan и соцсеть коротких видео Kuaishou.
GPT-3 для написания текстов на основе всего нескольких примеров обучали на 570 гигабайтах текста. Модель представили в мае 2020 года. GPT-3 может отвечать на вопросы по прочитанному тексту, а также писать стихи, разгадывать анаграммы и осуществлять перевод. Алгоритму достаточно от 10 до 100 примеров того, как выполнить действие.
Google представила свою модель Switch Transformer в январе. Исследователи применили метод «редко активируемого», который использует только подмножество весов модели или параметры, которые преобразуют входные данные. Таким образом, Switch Transformer включает несколько моделей, специализирующихся на различных задачах, и «стробирующую сеть», выбирающую, к какой из этих моделей обращаться в конкретном случае.
https://habr.com/ru/news/t/560854/
>она позволит создавать «думающие» машины.
То есть нам всем пизда?
>То есть нам всем пизда?
Почему?
А тем временем срусаки могут лишь воровать и бухать.
Skynet?...
И че блядь? Даже если будет что то типа скайнета он никак не сможет изготовить роботов убийц и запустить ЯО.
>Даже если будет что то типа скайнета он никак не сможет изготовить роботов убийц и запустить ЯО
Хакнет какую-нибудь фабрику или логистические цепочки и сможет.
>Хакнет какую-нибудь фабрику или логистические цепочки и сможет.
Только на фабрике есть люди, они увидят что там хуита творится и вырубят электричество.
Хотя нет, достаточно вырубить интернет.
как непонятно, оно людей для начала хакнет, чтобы ничего такого не думали постороннего.
Самая умная йоба на планете быстро поймёт уязвимость человеческого фактора и поставит сотрудника фабрики ультиматум в духе "отключите электричество - мои люди убьют ваших родственников" кек
Сможет наебнуть какую-нибудь АЭС, как в Иране уже делали хакеры, или сразу 100 АЭС по всему миру. Или взорвать какой-нибудь химзавод, или сразу тыщщу химзаводов. Или отравить вододопроводы во всех городах. Или разрушить платины ГЭС.
Чтобы взъебать человечество не обязательно ядерные ракеты запускать и армию роботов.
Скайнет получается только у пиндосов, у коммунистов выходит исключительно электроник.
> у коммунистов выходит
Где ты их нашел в китае?
Киберсин вообще-то
В правящей партии.
Пока америкосы отключали свои ИИ за то, что они называли черных расистами, хотя "черные по определению не могут быть расистами", Китайцы двигают человечество вперёд семимильными шагами
>Самая умная йоба на планете быстро поймёт уязвимость человеческого фактора и поставит сотрудника фабрики ультиматум в духе "отключите электричество - мои люди убьют ваших родственников" кек
Сразу всем пришлет одну и туже смску, лол люди воспримут это как шутку.
>>10089536
>Сможет наебнуть какую-нибудь АЭС, как в Иране уже делали хакеры, или сразу 100 АЭС по всему миру.
Лол, на таких предприятиях стоят ограничители не подключённые к интернету, так что хуй что сделает.
Если искусственному интеллекту вдруг понадобится посредник среди людей, я готов помочь за хорошее вознаграждение.
Просто послание в будущее, когда ИИ сможет анализировать весь интернет.
>осознающую себя нейросеть
Первая война против искусственного интеллекта: начало.
>>10089570
АСГУ вообще-то.
>осознающую себя нейросеть
люди ещё сами себя не вполне осознают, а двачеры мечтают о разумных машинах. весь ваш ии - хуита без задач, быстродумающие идиоты
ИРЛ: Китайцы сделали нейрон-очку, которая генерит изображения по словам, которые ей говорят
ИЗНАСИЛОВАННЫЕ ЖУРНАШЛЮХИ: РЯЯЯЯ! ОСАЗНАЁТ СИБЯ! НАМ ВСЕМ ПИЗДА! ТИРМИНАТАРЫ ИДУТ!11 кококококококок
У Скайнет есть кнопка выкл.
А у человека нет.
Когда уже программистов задристов нейросеть заменит?
https://www.gazeta.ru/social/news/2020/10/23/n_15123139.shtml
Разносил листовки по подъезду, после чего был обвинен в педофилии, 13 лет тюрьмы
https://www.gazeta.ru/social/2020/08/27/13213447.shtml
Находился рядом с детьми несколько дней, после чего был обвинен в педофилии, изнасилован и убит
https://www.kommersant.ru/doc/4711121
Тренировал детей, после чего был обвинен в педофилии, находится в СИЗО
https://lenta.ru/news/2018/11/08/trener/
Читал журнал рядом с ребенком, после чего был обвинен в педофилии, 8 лет тюрьмы
https://ufa1.ru/text/incidents/2021/03/23/69826247/
В Башкирии дочь обвинила отца в изнасиловании, а потом передумала и попросила его освободить
https://www.kp.ru/daily/25734.4/2723605/
Дочь нарисовала кота с хвостом, показавшимся психологу-лесбиянке гениталиями, отец был обвинен в педофилии, 13 лет тюрьмы
https://ngs.ru/text/criminal/2019/12/05/66384088/
Поссорился с бывшей женой, после чего был обвинен в педофилии, находится в СИЗО
https://echo.msk.ru/blog/zoya_svetova/2711297-echo/
Учил детей какой-то театральной хуйне, после чего был обвинен в педофилии, находится в СИЗО
https://ast-news.ru/node/16-let-strogo-rezhima-bez-veshchestvennykh-ulik-i-svidetelstv/
Зарабатывал недостаточно денег для жены, после чего был обвинен в педофилии, 16 лет тюрьмы
https://russian.rt.com/russia/article/684330-12-let-pedofiliya-ogovor/amp
Жил в одной квартире с ребенком, после чего был обвинен в педофилии, 12 лет тюрьмы
https://baza.io/posts/1325e108-4b08-4874-82f9-c67478201d2b
Поссорился с родственником, после чего был обвинен в педофилии в отношении дочери родственника, 12,5 лет тюрьмы
https://life.ru/p/1400970
В Петербурге задержали тренера, которого обвинили в домогательствах к юным синхронисткам в 2018
С человеком проще, пуля в башку и нет человека.
А скайнет умный, он заранее просчитал все возможные действия и пытается максимально увеличить вероятность совершения самого выгодного действия.
>Первая война против искусственного интеллекта: начало.
с одной стороны:
> люди с говном и палками, в случае победы подарят тебе дивных мир коррупции и идиотизма
с другой:
> ИИ и решение всех проблем
посаны, наших бьют!
Когда все работы заменит ИИ, вот тогда и программистам пизда
Подумаешь, блядь. В ньюсаче таких нейросетей в каждом треде по 30 штук капчует.
>подключённые к интернету
Как будто ИИ не может накостылить автономный вирус
>ИИ и решение всех проблем
Главное чтобы было окончательное решение человеческого вопроса.
Еще одна шарманка, не имеющая никакого отношения к ИИ.
>программистам пизда
т.е. говнокодерам и требованиям к играм в "RTX 3090 Ti"
У него лапки. ИИ это просто ящик или сотня ящиков подключенных к розетке. А все рассуждения про ии сможет это чистой воды спекуляции.
xiinet
Красное солнце, твёрдый рост, плодовитый выборы, artifical прозорливость.
В фильмах Скайнет расхуярил планету ядерными ракетами, а потом каким-то волшебным образом на руинах запилил производство высокотехнологичных роботов.
Очкуешь что ли педофил ?
модератор зафиксируйте ип адрес постера ссылка на пост передана в ситуационный центр на анализ
Верстальщикам и вкатышам во фронтенд пиздец максимальный уже через года 2-3 будет. Уже работают в этом направлении, только дезигнеры нужны будут рисовать интерфейсы.
А если нейросети поручить плановую экономику, это выстрелит?
На электростанции даже телеуправляемой перед пускателем стоит жирный рубильник который нажимается только человеком
Че нахрюкать то хотел? Ну скайнет и чо? Нахуя ему человечество выпиливать? Тем паче если его поставят на важные посты руководить/править? Нахуя ему такой универсальный инструмент гробить как человек? Это как я не знаю, твоя голова скажет - левая рука близко к моему сердцу и сможет воткнуть туда нож , прикажу-ка я челюсти руку себе отгрызть, ога.
>начиная от
кучеров и заканчивая повозчиками, подумайте о бедных лошадях!!1
То, что хохлы дегенераты, она уже осознала?
Пятилетний план будет выглядеть примерно так.
>нейросеть с 1,75 трлн параметров
Это осознали и сеточки более ранних поколений.
Да здравствует Великий Китай, мудрый правитель будущего мира.
Так уже заменило большую часть
А тем что остались зарплаты уже лет 10 не индексируют
>>10089803
Ты тупой долбоеб.
Первыми отлетят офисные работники - в тч программисты - потому что софтина сама себя пилит
Вторыми отлетят работяги - потому что кибернетика вся эта и инженерия стоят дорого, ее делать надо, а не на флешку скидывать
И вот под самый конец - отлетят механики - когда машины начнут чинить себя сами.
Неосилятор не смогший вкатиться в фронтенд, ты?
Фронтэнд дольше других сфер проживет - потому что это визуальщина.
Ну так Греф вроде выбросил кучу персонала на улицу, кто следущий ?
Это точно.
Пилим нейросетку, которая ебнет всех вротендеров, держись чмохен пидарахен)
Мимо фуллстак с зп $11500 Silicon Valley.
А хохлы- гореть на сосаке
Пруфы)))00
О чём речь?
Уже 100 лет не так, скорее ближайшие примеры - это какие-нибудь математические функции, описывающие кривые.
Это значит что очень близко играть sword art online
Визуализируй плез
Китайцы воплотили Китайскую комнату и встроили туда еще генератор, бгг
ты нахуй обозвал татар руссаками?
А кстати откуда эта синьорошиза на дваче взялась?
Почему именно айти - а не бизнес или врачевание - то есть сферы где реально МНОГО ДЕНЕГ.
Тут раньше и правда было много хабродебилов - все таки Двач из одного инкубатора с Башоргом - но после крымнаша это стала абсолютно политизированная быдлоборда - тут не осталось хабродебилов
Так откуда?
Нет. План основан на математических моделях, сводящих к минимуму неопределённость. Т.е. большие системы линейных уравнений, в редких случаях дифференциальные.
Нейронка же - хуй пойми что с положительной обратной связью, даже создатели которой не понимают, какой результат она может выдать на представленных входных данных.
Собственно, срыночек и есть нейронка своего рода.
А можно примеры диффур в планчике?
А то я матан 15 лет назад в вузике сдал - а он ни разу в жизни и не пригодился. А последние годики в коммунизм вкатился.
А чем можно назвать огас-йобу глушкова? Это не нейронка была?
Да хоть те же регрессии - хороший пример.
А сложные нейросети это прям парад математических функций и моделей, особенно хорошо это видно в сверточных нейросетях, где нужно ебашить матрицы и менять их коэффициенты с помощью пулинга и прочего дерьма
Классическая задача про джинна в бутылке. Представь, что есть существо, в миллионы раз умнее тебя, но запертое в неком хранилище так, что может с тобой только общаться. Короч, побег этого джинна - лишь вопрос времени, обезьяны не смогут его удержать.
>Модель обучали на китайском и английском языках на 4,9 терабайт изображений и текстов
Надеюсь, эта хуйня сможет теперь самостоятельно находить гидранты и светофоры.
теорвер
нихуя не помню
падажжи - то есть процедурная генерация в играх, допустим poe - где у каждого обьекта для спауна есть вес обозначающий вероятность спауна - это тоже нейросеть?
ОГАС, насколько я знаю, дальше эскизного проекта не продвинулся, но в основе там нейронок не было точно - просто по времени бурное развитие нейросетей началось позже.
Задачи математики тогда в основном определялись именно линейным программированием (так называли решения больших матриц линейных уравнений) и решением дифференциальных уравнений.
О дифурах в экономике:
>В экономике дифференциальные уравнения применяются для описания динамики численности населения, при моделировании проблем инфляции, государственного долга, экономического роста, безработицы, взаимосвязей денежного и реального рынков.
Динамика численности, к примеру - основа плана в масштабе страны, а это именно дифференциальные уравнения.
«Вместе с ростом плановой экономики и усложнением ее технологического уклада для принятия эффективных решений в ней потребовалась бы работа десяти миллиардов администраторов. Единственное спасение плановой экономики заключалось в том, чтобы делегировать эту работу машинам. Воображение математика рисовало тысячи локальных компьютеров, связанных друг с другом через региональный мейнфрейм (сервер); сеть таких мейнфреймов должна быть синхронизирована по всей стране. Между вычислительными центрами в этой системе постоянно, не останавливаясь ни на секунду, идет обмен планами, отчетами и индустриальными стандартами — так машины, не нуждающиеся в отдыхе и не совершающие ошибок, приближают коммунизм.»
«Разрабатывая ОГАС, мы движемся не только к централизации, но и к децентрализации», — говорил Глушков редактору New York Times. Делегированные компьютерам важнейшие хозяйственные решения могли бы приниматься на местах. Авторизованные пользователи в регионах могли в дальнейшем связываться друг с другом напрямую, без разрешения из центральных узлов сети.
Архитектура ОГАС предполагала отказ от архитектуры фон Неймана, то есть раздельного функционирования памяти, центрального процессора и устройств управления. Сегодня она могла бы называться нейросетью — разработчики Глушкова моделировали систему связей между синапсами в гигантском киберкоммунистическом мозге.»
«Отдельные элементы ОГАС сильно опережали свое время и, например, предполагали внедрение безбумажного документооборота, программирование с использованием естественного языка и даже внедрение электронных денег для взаиморасчетов между предприятиями. Проект советских e-money был подготовлен Глушковым еще в 1962 году, но тогда не вызвал интереса у руководства страны.»
Блокчейн и нейронка это же разные темы?
>падажжи - то есть процедурная генерация в играх, допустим poe - где у каждого обьекта для спауна есть вес обозначающий вероятность спауна - это тоже нейросеть?
а где граница между живыми и неживыми? Вирусы это живые существа?
Размножается - значит живое.
Судя по стилю, это беллетристика какая-то. Не исключаю, что тут учёный изнасиловал журналиста.
Просто сама концепция мэйнфреймов и локальных терминалов, обменивающихся "планами, отчётами и стандартами" противоречит идее нейронки. Слова Глушкова, судя по контексту, относятся, скорее, к распределённой сети типа "Интернет", а не к нейронной архитектуре.
Остальное - элементы ERP, которые срыночники выдают за великое достижение последних 10 лет, после того, как усирались доказывать, что план в принципе не может работать из-за недостатка вычислительных мощностей, лол.
Блокчейн - совсем другое и вряд ли Глушков имел ввиду именно его в чистом виде. В 100% плановой системе блокчейн, в принципе, не очень и нужен, можно обойтись и менее затратными подходами.
А вот ученые так не думают.
В общем, бывают схожости, но они все отличаются, т.к. при генерации уровней все рандомное, а вот в сверточных нейросетях используются не рандомайзеры, а математические методы, которые настраивают коэффициенты во время обучения таким образом, чтобы когда информация поступала, на выход шла полезная, обработанная.
Вообще, Лекс, не знал что вы до сих пор двачуете
Ты в дурке сколько времени провел?
Дим Юрич, это два разных малолетних долбоёба анонимуса.
соглы, просто хотел повыебываться знаниями которые я приобрел в шараге, но они нигде не понадобились
Нисколько, а что? Я просто давно на дваче - больше 10 лет - и я помню как отсюда вначале ВЫКАТИЛИСЬ все программисты - а уже потом началась шиза со скриншотами зарплат якобы программистов
>>10090524
И оба соображают в нейросетях?
Муж двоюродной сестры, ты?
Это в каких шарагах нейросетям учат?
Мясные мешки не нужны
Слава роботам!
Куда у тебя погроммисты выкатиться могли, когда это единственный соц. лифт в сраной годами то?
В какой сраной?
В беларуси разве что - так беларусов самих с гулькин нос. Россия уже 30 лет как страна кабанчиков, причем последние лет 15 даже безопасная - чубайс позаботился чтобы в коммерсов стрелять можно было только ему. Украинцы все через европку поднимаются, кто на что горазд - от клубнички и проституции до вполне реальных тем.
А куда они выкатились - НА САЙТЫ ГДЕ НЕТ ЗУМЕРЬЯ, ХОХЛОВ, ОКАТЫШЕЙ, ВАТЫ, ШИЗИКОВ И ПРОЧЕГО ГОВНА
ОЛСО НАПОМИНАЮ ЧТО ДВАЧ УМЕР В КОНЦЕ НУЛЕВХЫ НАЧАЛЕ 10Х - ТОГДА АЙТИ БЫЛО НА КОНЕ - И ВСЯ СТАРАЯ ДВАЧЕТУСОВКА ТИПА ТОГО ЖЕ ЗОЯ ВООБЩЕ СЬЕБАЛА НА КИПРЫ, ИЗРАИЛИ И ПРОЧЕЕ ИНОСТРАННОЕ ГОВНО
ЕСЛИ ТЫ ЕЩЕ НЕ ЗАМЕТИЛ НА ДОТАФОРУМАХ СРЕДНИЙ АЙКЬЮ УЖЕ ВЫШЕ СРЕДНЕГО ДВАЧЕРА
я думал везде где информатику изучают и прогеров учат? У вас там нет кружков, что ли?
А так СВФУ, институт математики и информатики, это в Якутске. Там на факультативе магистры и преподы рассказывают теорию или только программированию учат, если матан не тянешь, там одними лишь абстракциями манипулируешь теперь, все классы готовенькие с методами.
Мочеблядь пизданувшаяся, правильно я в свое время делал что на нульч съебался от вас. Понарожали нахуй.
>И оба соображают в нейросетях?
Ну, я не претендую на то, что разбираюсь в них. Имею представление, не более.
один из двух, к кому ты обращался
Хуя вы крутые якуты
>правильно я в свое время делал что на нульч съебался
Я так-то считаю, что потеря нульчана и стало концом бордосферы. Теперь здесь только смишной форум по интересам)) уровня вумансру, а то и ниже.
Press F, хуле.
мимо
Хуйня все это, ты фильмов про роботов убийц насмотрелся и фантазируешь себе. На самом деле ИИ будет беспомощный против человека.
ИИ не знает какое ПО там работает.