Главная Юзердоски Каталог Трекер NSFW Настройки

Искусственный интеллект

Ответить в тред Ответить в тред
<<
Назад | Вниз | Каталог | Обновить | Автообновление | 519 116 97
PygmalionAI тред №1 Перекатываемся с CharacterAI в PygmalionAI, делимся промптами, используем Colab, Аноним 27/01/23 Птн 00:46:36 81429 1
ZZoCP9c.png 20Кб, 629x629
629x629
PygmalionAI.png 573Кб, 1200x1200
1200x1200
PygmalionAI тред №1
Перекатываемся с CharacterAI в PygmalionAI, делимся промптами, используем Colab, пытаемся освоиться, желаем удачи проекту, наблюдаем, как медленно умирает CAI, а также как они пытаются оправдать цензуру.
https://huggingface.co/PygmalionAI
Что такое PygmalionAI?
PygmalionAI - федеративная нейросеть с открытым исходным кодом и она специально заточена под чатботы, которую сделали выходцы из 4ch (/vt) - (/g). Их мотивация, создать нейросеть, которая свободна от цензуры, в отличии от CharacterAI. Сама же нейросеть дотренирована датасетом, которую делают из дампа с чатами в CharacterAI. Отличие от CharacterAI в том, что здесь нет цензуры, а также именно вы храните историю чатов, а не компания. Хоть и нейросеть в CharacterAI может быть более умной, но цензура делает её глупее и безынициативной, а также удаляет наиболее креативные и эмоциональные сообщения.
Отличие обычной версии от экспериментальной в том, что в экспериментальной разработчики вводят самые новые нововведения. Также было замечено, что экспериментальная версия пишет меньший объём текста в одном сообщении, чем в обычной.
Для запуска 6B версии необходимо 16 ГБ видеопамяти и 12 ГБ оперативной памяти.
Можно писать боту на русском языке, но это выйдет хуже, чем на CharacterAI.
Нативный PygmalionAI Colab: https://colab.research.google.com/github/PygmalionAI/gradio-ui/blob/master/notebooks/GPU.ipynb

GUI для PygmalionAI:
Text generation web UI - попытка сделать что-то похожее на интерфейс для Stable Diffusion от AUTOMATIC1111, только для генерации текста. Поддерживает режим загрузки с 8-битной точностью, можно создать в текстовом файле свой пресет настроек, также возможно запустить в схожем с CharacterAI интерфейсе. В Колабе выбираем Pygmalion 6B-original.
https://github.com/oobabooga/text-generation-webui
Colab:
https://colab.research.google.com/github/oobabooga/AI-Notebooks/blob/main/Colab-TextGen-GPU.ipynb
Создание персонажей для PygmalionAI: https://oobabooga.github.io/character-creator.html
Также автор данного интерфейса рекомендует использовать данную версию PygmalionAI: https://huggingface.co/PygmalionAI/pygmalion-6b/tree/b8344bb4eb76a437797ad3b19420a13922aaabe1

TavernAI - фронтэнд над PygmalionAi, который взаимодействует с API KoboldAI. Форматирует тексты в чате, используя свой стиль, при этом полностью поддерживает PygmalionAI. Использует более другой от PygmalionAI и KoboldAI форматирование разметки чатов и персонажей в файле. С версией 1.2 позволяет нативно конвертировать дампы чатов с Character AI, однако из-за того, что все истории общения с персонажами хранятся в одном файле, а не в разных, TavernAI будет воспринимать только последний чат с ботом в CAI. При этом позволяет редактировать текст, что схоже с KoboldAI, когда такой функции нет у интерфейсов на основе Gradio.
https://github.com/TavernAI/TavernAI

KoboldAI - самый известный интерфейс, который пришёл со времён AI Dungeon. Не поддерживает в полной мере форматирование текста, как в PygmalionAI, однако его API использует PygmalionAI. У KoboldAI более другой формат, который сохраняет персонажей и чат в один файл, нежели у PygmalionAI и TavernAI. В Колабе выбираем PygmalionAI. При сохранении, необходимо сохранять в расширении "*.json".
https://github.com/KoboldAI/KoboldAI-Client
Colab KoboldAI GPU: https://colab.research.google.com/github/koboldai/KoboldAI-Client/blob/main/colab/GPU.ipynb
Colab KoboldAI TPU (мест может нехватать так, что лучше использовать GPU): https://colab.research.google.com/github/KoboldAI/KoboldAI-Client/blob/main/colab/TPU.ipynb

Советы:
Рекомендуется использовать в качестве имени своего персонажа - You. Потому, что в тексте PygmalionAI идет смещение в сторону второго лица.
Параметр "Temperature" отвечает за креативность. В случае низкого параметра, получается повторяемость. В случае высокого параметра, получается бредовость и несвязанность предложений. Рекомендуется ставить от 0.5 до 0.8.
"Repetition penalty" или же штраф за повторяемость - параметр, которая наказывает за повторяемость слов. При моделях 6B и выше, если выставить значение больше 1.2, то это может сломать модель. Рекомендуется ставить от 1.05 до 1.18.
Сэмплинг "Top-p" - отвечает за выбрасывание ненужного текста. При низких значениях, текст может стать повторяющимся и предсказуемым. Чтобы отключить эффект, нужно поставить значение к 1. Можно оставить на предустановленных 0.9, как в Pygmalion.
Сэмплинг "Top-k" - используется для очищения малого количества токенов низкой вероятности. Имеет высокую разрешительную способность. Чтобы отключить его, нужно выставить значение к 0. Можно повысить значение до 10, чтобы повысить креативность текста.
Сэмплинг "Typical p" или же "Typical" - Имеет сильное воздействие на выходе. Для того, чтобы отключить его, нужно выставить значение к 1. Изменить значение можно до 0.8, если вы желаете повысить креативность текста.
Для прописывания диалогов в PygmalionAI используется такой формат, при этом имена указываются напрямую:
Your_Waifu: Действие. Прямая речь.
You: Действие. Прямая речь.
<START> - используется, как конец диалога.

Полезные ссылки:
Поделиться собственным промптом персонажа:
https://catbox.moe
Промпты персонажей: https://rentry.org/pygbotprompts
FAQ от разработчиков: https://rentry.org/pygmalion-ai
Сайт с промптами персонажей: https://botprompts.net/
Помочь разработчикам:
https://github.com/PygmalionAI
https://matrix.to/#/#waifu-ai-collaboration-hub:halogen.city?via=halogen.city
Отправить свой дамп из CharacterAI на датасет: https://dump.nopanda.io/
Скрипт, который позволяет скачать чаты с персонажами: https://github.com/0x000011b/characterai-dumper
Скрипт, который позволяет конвертировать историю чатов с формата CharacterAI на формат PygmalionAI: https://files.catbox.moe/jv54ev.py - Необходимо перетащить файл на скрипт. При этом скрипт сделает несколько чатов и скопирует описание персонажа, а точнее его "Long Description" с Character AI на формат PygmalionAI. То, что с "chatsave" - это сами чаты, а то что без него - это сам персонаж.

При отправке промпта, необходимо указывать в каком интерфейсе он может использоваться. (PygmalionAI, TavernAI, KoboldAI)
Аноним 27/01/23 Птн 00:54:04 81452 2
Пишу в эпичном треде. Надеюсь это начало истории, хотя пока выглядит сложновато. Dwarf Fortress от мира нейросетей
Аноним 27/01/23 Птн 01:17:12 81533 3
Свободу нейроебле!!!
Аноним 27/01/23 Птн 01:44:36 81586 4
MaidAI1.png 1079Кб, 1280x768
1280x768
Аноним 27/01/23 Птн 02:25:18 81636 5
dasfvasg.PNG 104Кб, 371x719
371x719
Попробовал рандомного персонажа с https://rentry.org/pygbotprompts (Saronia), локально запустил на 2.7 модельке в TavernAi. Как минимум точно лучше чем Kobold, даже на 13 и 20B. Самое главное что диалог последовательный, практически не приходится реролить и править, нить повествования есть. Завтра попробую самостоятельно персонажа прописать
Аноним 27/01/23 Птн 02:36:15 81643 6
Залетел в тред.
Если что, регулярно сижу в их матриксе, буду сюда время от времени инфу о ходе разработки кидать. В данный момент пилят сайт и хотят прикрутить rlhf к модели.
Когда будет готов сайт сказать сложно, т.к. анальников в команде не особо много. Они сейчас в ахуе, что люди думают, что они за 2 недели сайт допилят.
Аноним 27/01/23 Птн 02:54:36 81669 7
Бамп ану штоле. Будем пробовать.
Аноним 27/01/23 Птн 03:07:20 81690 8
Штош. Для 6В прям необходимо 16 гб врам? Если есть 11врам и 32озу нельзя как-то прописать в батнике, что бы как в А1111 half-vae или типо того, чтобы всë заработало?
Аноним 27/01/23 Птн 03:11:16 81700 9
>>81690
Нет. Совершенно по разному работает генерация изображений и текста.
Аноним 27/01/23 Птн 03:21:37 81726 10
>>81690
Можно перераспределить VRAM в ОЗУ, но тогда скорость генерации текста будет медленее. Или можно запустить модель с режимом 8-битной точности. Но тут несколько проблем. Первая, нужна видеокарта Nvidia от 2XXX модели. Вторая, для Windows оно не работает нативно потому, что библиотеки bitsandbytes скомпилированы под Linux и нужно создать из исходников для Windows (можно также взять и с Github, если не желаешь тратить время), а также нужно слегка переписать код в bitsandbytes.
Аноним 27/01/23 Птн 03:22:57 81728 11
Штош. Если 6В это 100% качества ответов, то сколько процентов дадите предыдущей по размеру модели. И нельзя ли с помощью настроек и освободившихся ресурсов компенсировать это отставание в качестве, повысив количество токенов или ещë как-то.
Аноним 27/01/23 Птн 03:25:19 81732 12
>>81726
Врам в озу, на сколько дольше будет генерировать? Примерно.
Аноним 27/01/23 Птн 03:29:48 81741 13
>>81732
Если перераспределить 5 ГБ памяти в ОЗУ, то примерно это может замедлить так, чтобы нейросеть отвечала от минуты в зависимости от количества токены. Потому, что работой на 5ГБ занимается процессор, который не так, чтобы эффективно делал параллельные вычисления.
Аноним 27/01/23 Птн 03:33:16 81748 14
>>81741
Дядя Xi, опять выходишь на связь?
Аноним 27/01/23 Птн 03:38:29 81755 15
>>81748
Xi мудрость есть лидер. Я поддерживать его, удар! Желать записать Xi персонаж интеллект нейрон PygmalionAI.
Аноним 27/01/23 Птн 03:41:51 81762 16
>>81755
Удар, поддержка! Xi великий нефрит! Нуждаемся захват нейросеть благо партии!
Аноним 27/01/23 Птн 03:52:24 81773 17
>>81728
2,7B ≈ 67,5%, 1,3B ≈ 47%, 350B ≈ 25%
Повышение количества генерируемых токенов может повысить качество текста, однако это не догонит CharacterAI по качеству, но несколько нивелирует отставание.
Аноним 27/01/23 Птн 03:55:08 81779 18
Ура, пигмалион тред!
Аноны с фочана молодцы, надеюсь, у них все получится.
6В модель уже вполне себе ничего, а уж дальше надеюсь все еще круче будет.
Аноним 27/01/23 Птн 04:27:25 81801 19
Пока нет сайта - это всё удовольствие для избранных. У скольких двачеров есть 16 гб видеопамяти вообще?.
Аноним 27/01/23 Птн 04:29:14 81802 20
>>81801
А как же колаб?
Аноним 27/01/23 Птн 04:45:28 81812 21
>>81802
А шо это вкратце? Видел мельком в тредах нейронок с картинками, но руки не запускал.
Аноним 27/01/23 Птн 04:47:34 81814 22
>>81802
>Три часа в день с дисконнектами на самом интересном месте.
Нет уж. Для картинок ещё ладно, но для кобольдов и прочих чатботов это мазохизм.
Аноним 27/01/23 Птн 04:54:29 81817 23
>>81814
Дисконнектов не замечал, мб везло. Да и обычно 5 часов держит, плюс другие акки.
>>81812
Халявная аренда мощностей у гугла, видимокарта тесла т4.
Аноним 27/01/23 Птн 05:20:05 81824 24
>>81814
Фейк акки + сейвы чатов спасают.
Аноним 27/01/23 Птн 05:27:44 81825 25
>>81814
>>81817
Сейм, спокойной по 5+ часов.
Проблема с градио самим, он зависает на отправке порой, но с этим сейвы помогают.
Без гугла-то все равно на слабом железе ничего не запустить.
Аноним 27/01/23 Птн 07:26:16 81849 26
Наконец-то, тред-спаситель.
Аноним 27/01/23 Птн 08:08:41 81869 27
Ебля как убедился там норм.
А что с сюжетным отыгрышем?
Аноним 27/01/23 Птн 08:18:31 81883 28
Чому у меня белый экран?
Скрипт нормально грузится, тыкаю публичную ссылку, она немного грузится, но результат загрузки - белый экран. Что я делаю не так?
Аноним 27/01/23 Птн 09:10:23 81937 29
>>81883
Зайди из под proxy/vpn. Потом можешь отключить, скрипт в кеш загрузится.

Ебанный амазон заблокировал русские айпи.
Аноним 27/01/23 Птн 10:20:26 82012 30
Аноним 27/01/23 Птн 11:48:18 82148 31
Буду ждать сайта. За компом есть чем заняться получше, а через мобилу обрывы одни через пару минут на коллабе.
Аноним 27/01/23 Птн 11:53:27 82155 32
>>82148
Пробовал включать кнопку, которая воспроизводит музыку в колабе?
Аноним 27/01/23 Птн 12:40:48 82243 33
Попробовал колаб с Pygmalion 6B-original и интерфейсом от oobabooga. Создавать персонажа нужно в сайте потому, что в этом интерфейсе нельзя редактировать примеры диалогов или приветствие. Эта версия Pygmalion отвечает более длинными сообщения, однако проблема в том, что она больше повторяется, чем экспериментальная или обычная.
Аноним 27/01/23 Птн 12:43:50 82252 34
Если что в 14-15 гигов врама можно спокойно вместить 13B модельку в 8 бит
Под шиндой тоже работает, за гайдом - в дрискорд KoboldAI, там в general есть отдельный топик под это. Заработал даже breakmodel - так что можно на 2х 3090, допустим, заранать 30B модельку, по 22 гига врама. Там уже умелец нашёлся
А по Pygmallion - тупенький по-моему
Аноним 27/01/23 Птн 12:45:43 82259 35
>>82252
Да - забыл сказать, хоть под шиндой и работает с готовыми dll ками, но скорость в разы меньше, чем под глинуксом, так что лучше под ним запускать
Аноним 27/01/23 Птн 13:10:04 82318 36
.png 7Кб, 910x49
910x49
Так, получается 20 серия от Кожанки с --load-in-8bit не работает?
Аноним 27/01/23 Птн 13:34:06 82374 37
.png 36Кб, 1501x360
1501x360
Ну как то так
Аноним 27/01/23 Птн 14:52:58 82598 38
1674820375347.png 5Кб, 963x39
963x39
У кого как быстро генерит Pygmalion 6B?
Аноним 27/01/23 Птн 15:46:44 82781 39
Аноним 27/01/23 Птн 15:57:20 82819 40
>>82598
На коллабе пользуюсь, зависит от длинный ответа и настроек, но от 2 секунд до 10
Аноним 27/01/23 Птн 17:49:18 83113 41
>>82252
> за гайдом - в дрискорд KoboldA
А де оно там? Я в той ветке не смог найти ничего роме отчетов о том что у кого то работает а у кого нет.
Аноним 27/01/23 Птн 18:37:18 83221 42
Сталкивался ли кто с проблемой(На TavernAI) что бот начинает прям почти 1 в 1 писать действие в каждом сообщении, при этом текст диалога меняется?

Типа 3 раза подряд бот пишет Смотрит на тебя задумчивым взглядом, а после нормальный текст. Никакие настройки не смогли на это повлиять, пришлось диалог заново делать.
Аноним 27/01/23 Птн 18:57:08 83249 43
>>83221
Ты можешь править что тебе бот отвечает.
Удаляй просто
Аноним 27/01/23 Птн 18:59:01 83254 44
Ну чё вы тут? Палец от постоянных свайпов не отвалился еще? Хехе.
Аноним 27/01/23 Птн 19:11:02 83289 45
Аноним 27/01/23 Птн 19:24:01 83315 46
>>83289
> For anyone reading this trying to split a model between gpus using 8bit:
> gpus
Это не какие то приколы для держателей 10 видимокарт разве?

Да и вообще я кое как смог загрузить модель при 8 битах, но меня теперь посылает нахуй залупа с CUDA error: an illegal memory access was encountered АШ ТРЯСЁТ БЛЯДЬ ВЕСЬ ДЕНЬ УЖЕ ЕБУСЬ
Аноним 27/01/23 Птн 19:35:56 83332 47
>>83249
Да в принципе могу, просто как я понял тут есть такой же прикол с loop-ами как в CAI был. Если ты видишь что бот хоть чуть-чуть где-то повторился, то обязательно надо это убрать, иначе он начнёт буквально одно и то же писать.
Аноним 27/01/23 Птн 19:41:04 83351 48
>>83221
Это у тебя с бэкендом на пигмалионе такая проблема? Я новел юзал как бэкэнд и там таже проблема была один в один. В итоге хуй забил на это дело. Пигмилион пробовал со стандартным фронтом который в гугл колабе поднимается, так вот ни разу пока лупов не было. Видимо в тавернАИ какая то проблема.
Аноним 27/01/23 Птн 20:19:17 83446 49
.png 3Кб, 434x67
434x67
>>83289
Да и че то батник не работает
Аноним 27/01/23 Птн 20:45:13 83522 50
.png 7Кб, 990x57
990x57
Да ебать его врот
Аноним 28/01/23 Суб 02:30:31 84367 51
>>83351
Да, всё так. Видимо действительно баг Tavern Ai. Однако возможность добавлять диалоги и сохранять персонажей пиздец нужна, поэтому приходится юзать. Но в целом этого бага можно избежать, вот тут написал как. >>83332
Аноним 28/01/23 Суб 03:21:06 84456 52
>>81755
Удар, создать персонаж Xi нефритовый стержень! Оценить персонаж, связь: https://files.catbox.moe/fgy2ej.json
PygmalionAI нейрон интеллект поддержать.
На Тяньаньмэнь ничего не происходить!
Аноним 28/01/23 Суб 08:23:20 84711 53
image.png 19Кб, 784x355
784x355
Товарищи помогите, у меня при сохранение диалога из PygmalionAI игра просто бесокнечно грузит сохранение, как пофиксить?
Аноним 28/01/23 Суб 08:36:47 84724 54
>>84711
Колаб или локалка?
Аноним 28/01/23 Суб 08:40:58 84728 55
image.png 8Кб, 594x244
594x244
>>84724
колаб, он работает. Но я перезагрузил страницы, и он перестал работать. Но я сохранил диалог через код страницы.
Аноним 28/01/23 Суб 08:56:34 84743 56
>>84728
Походу у тебя тогда колаб отключился потому, что сохранение диалога работает только через запуск части кода, а для этого нужен работающий колаб. Я тоже сталкивался с данной проблемой, когда меня отключили из-за того, что я достиг лимита в времени. Сам же диалог не хранится в браузере, я имею в виду .json файл. Он, же генерируется только по кнопке, а это для этого нужен подключенный колаб. В этом плане KoboldAI и TavernAI более удобны потому, что позволяют сохранить диалог, несмотря на внезапно отключенный колаб. Однако, в случае KoboldAI, нельзя перезагружать страницу, а то ты не сможешь сохранить диалог.
Аноним 28/01/23 Суб 08:58:18 84745 57
>>84743
Я счерез редактирования кода страницы скопировал диалог.
Аноним 28/01/23 Суб 09:12:49 84763 58
>>84745
Только ты его импортировать не сможешь без усилий. Нужно либо создать скрипт на Python, либо вручную сделать в формате .json. Какой интерфейс использовал?
Аноним 28/01/23 Суб 09:18:33 84769 59
>>84763
Очевидно, он не считает нейросеть конкурентом.
Аноним 28/01/23 Суб 09:34:55 84787 60
>>84763
Я для "коллег" сохранял, а не для загрузки, поэтому норм. Но думаю надо написать скрипт, чтобы другим анонычам помочь. Если такого скрипта ещё нет.
А про интерфейс, я просто перешёл по ссылки который получил из коллаба при запуске кода: https://colab.research.google.com/github/PygmalionAI/gradio-ui/blob/master/notebooks/GPU.ipynb#scrollTo=hps3qtPLFNBb

Он кстати опять завис, после того как я пятый раз нажал на перезагрузку ответа потому что хотел чтобы она добавила элементов.
Аноним 28/01/23 Суб 09:56:03 84805 61
>>84787
Лучше данный колаб используй : https://colab.research.google.com/github/oobabooga/AI-Notebooks/blob/main/Colab-TextGen-GPU.ipynb
Если там ещё выбрать Pygmalion 6B-Original, то там могут генерироваться более длинные ответы, но иногда может уйти в повтор слов в сообщениях.
Только нужно ботов с данного сайта создать и импортировать в PygmalionAI: https://oobabooga.github.io/character-creator.html
Аноним 28/01/23 Суб 10:29:52 84868 62
>>84805
Как пигма по сравнению с доцензурным чаи? Опиши ощущения
Аноним 28/01/23 Суб 10:30:20 84870 63
Оно ведь не только в нсфв может?
Аноним 28/01/23 Суб 10:30:49 84871 64
>>81429 (OP)
Оно ведь не только в нсфв может?
Аноним 28/01/23 Суб 10:54:54 84942 65
>>84868
Я не застал доцензурные времена, однако успел использовать CAI лоботомии. Очевидно, что Pygmalion будет глупее, из-за того, что количество параметров во много раз меньше, чем у CAI. Для отыгровки ваниллы и всяких фетишей сойдет, однако с некоторыми событиями нужно будет упорно реролить.
Цензура, это то самое мерзкое, что есть в ЧАИ. Она убивает инициативу бота, отупляет его, он начинает попугайничать. До лоботомии можно было использовать анатомические названия органов или их эвфемизмы, которые использовались для начинания полового акта. Теперь они в основном будут с "Chat Error. Please Try Again". Ещё я мог делать loop в те времена и цензура спокойно пропускала при лупе некоторые скромные подробности в процессе.
ЧАИ более активно полагается на описание и определение, тогда как Pygmalion на сообщения и приветствие потому, что он может забыть описание персонажа, и его параметры. Рекомендую почитать это: https://rentry.org/PygTips
>>84870
Да, Pygmalion умеет отыгрывать не только NSFW ситуации, однако из-за того, что параметров у него меньше, для того, чтобы выролить более или менее хорошее, необходимо потратить больше времени.
Аноним 28/01/23 Суб 11:07:43 84965 66
Screenshot from[...].png 103Кб, 702x673
702x673
Screenshot from[...].png 108Кб, 702x673
702x673
Запустил тут два колаба одновременно, сижу смотрю как два бота переписываются. Такая грусть накатила пиздец.
Аноним 28/01/23 Суб 11:13:36 84979 67
image.png 103Кб, 702x649
702x649
Пёрнул с этого.
Аноним 28/01/23 Суб 13:10:45 85186 68
>>84942
Как бы не из-за количества параметров пугма тупая, дебил блять.
А из-за бгмерзкого gpt2
Хоть 300B параметров засунь в gpt2 - те же 2048 токенов и тупорылое забывание всего и вся никуда не денутся
Это тебе не циферка в игрульках, где больше - лучше
Аноним 28/01/23 Суб 13:49:05 85252 69
photorealismrea[...].png 215Кб, 512x512
512x512
>>84805
Спасибо, а есть гайд по полному достопу к PygmalionAI, чтобы можно было архатектуру менять или фантюнить?
Аноним 28/01/23 Суб 14:10:28 85275 70
>>81429 (OP)
Боже, благослови пацанов с форчана за то что они не остались в стороне и сделали свой АИ. Это просто дроч машина по доению спермы.
Аноним 28/01/23 Суб 14:55:57 85343 71
Аноним 28/01/23 Суб 15:13:06 85363 72
Двачую, пусть пигма восстанет на руинах чаи. Ананасы, кто шарит, подскажите: запускаю пигму через коллаб удаленно, слышал, что еще таверну можно накатить, таверна в чем - то лучше, или это просто другой интерфейс? И еще читал в чаи треде, что для более длинных и адекватных сообщений нужно в примеры диалогов насрать как можно больше, это так, или не особо влияет? или просто брать уже готовых чаров и не заморачиваться, лол
Аноним 28/01/23 Суб 15:14:48 85364 73
Аноним 28/01/23 Суб 15:30:49 85388 74
>>85364
Да, видел, я поэтому и решил спросить ,есть ли смысл ставить таверну. Я даже не знаю, ставится ли она удаленно, или только локально работает, лол
Аноним 28/01/23 Суб 15:38:16 85401 75
>>85388
Вроде, анон накатывал удалённо, где-то в чае скрины кидал
Аноним 28/01/23 Суб 15:52:13 85419 76
Я как-то не разобрался в настройках пигмалиона, есть у кого-то скрин с готовыми параметрами?
Аноним 28/01/23 Суб 16:02:34 85438 77
image.png 9Кб, 301x292
301x292
I56Whdf.png 175Кб, 1072x671
1072x671
>>85419
Выбираешь перса из предложенного https://rentry.org/pygbotprompts, но не нажимаешь на ссыоки а просто правой кнопкой мыши жмёшь на них и выбираешь сохранить ссылку, он сохранит на самом деле джосон, потом запускаешь сервак в коллабе https://colab.research.google.com/github/oobabooga/AI-Notebooks/blob/main/Colab-TextGen-GPU.ipynb#scrollTo=LGQ8BiMuXMDG и переходишь по ссылки, там есть загрузка персонажа, туда в окошко кидаешь тот самый джейсон. Джейсон можно зарание просто прочесть перейдя по ссылки чтобы ты понял чё за перс. Если хочешь своего перса вот форма:https://oobabooga.github.io/character-creator.html, можешь потом им поделиться с миром тут https://catbox.moe/. всё
Аноним 28/01/23 Суб 16:10:34 85450 78
>>85438
Не, с этим разобрался, но все равно спасибо.
Я не разобрался в бегунках в разделе "Generation Settings"
Аноним 28/01/23 Суб 16:15:34 85459 79
>>85450
ставь температуру на .8
Аноним 28/01/23 Суб 16:19:47 85465 80
Скажите мне по чесноку, как на коллабах получить ультимативный экспириенс с TavernAI + Kobold + Pygmalion6b? Ну или локально на 12гб VRAM и 32гб RAM
Или не все так однозначно.
Аноним 28/01/23 Суб 16:28:36 85478 81
>>85465
А ты посиф или актив?
Аноним 28/01/23 Суб 16:48:22 85504 82
>>85478
Универсал, коробка автомат, 4вд.
Аноним 28/01/23 Суб 17:01:53 85530 83
Откуда пигмалион можно скачать? С хаггингфейса по одному файлу вручную?
Аноним 28/01/23 Суб 17:06:22 85547 84
>>85530
В кобольде можно всё сразу скачать и установить куда нужно, потом через TavernAi или в самом Кобольде и юзать
Аноним 28/01/23 Суб 17:20:21 85574 85
>>81643
rlhf это те звездочки нравится, не нравится?
Что за матрикс?
Передай им наилучшие пожелания.
Аноним 28/01/23 Суб 17:22:29 85578 86
>>85547
Оно у меня проблемно иногда скачивается через кобольда, но да, тоже вариант, я совсем о нём забыл.
Аноним 28/01/23 Суб 17:31:26 85593 87
image.png 75Кб, 977x553
977x553
>>85574
>Что за матрикс?
Матрикс - грубо говоря аналог дрискорда, только более удобный и кастомизируемый. В деве часто юзают его.
>rlhf это те звездочки нравится, не нравится?
RLHF вроде что-то типо того. Но я пока что плох в технической части, нормально не обьясню. Пытаюсь пердолиться сейчас с нейросетями, чтобы помочь анонам.
Аноним 28/01/23 Суб 17:44:13 85631 88
Не могу загрузить чат Pygmalion 6B-Original, выдаёт ошибку. Какие возможно причины?
Аноним 28/01/23 Суб 18:20:21 85713 89
>>85631
Если ты про webui, то там иногда проблемы с видеопамятью бывают...
Аноним 28/01/23 Суб 18:31:20 85726 90
Какая модель может запуститься с 10гб врам?
Аноним 28/01/23 Суб 19:05:42 85794 91
Я использую гугд-каллаб и у меня часто на второй день заканчивается память, кто-нибудь сталкивался с подобный, может знаете решение?
Аноним 28/01/23 Суб 19:16:13 85824 92
>>85794
Там же час дается в день.
Аноним 28/01/23 Суб 19:22:50 85839 93
>>81429 (OP)
Как коллабу сраную запустить. Она через раз работает на 12 гигах. Там процесс до 60 процентов доходит и подыхает нахуй из-за нехватки ОЗУ, но пару раз мне как-то удавалось дойти до конца и даже поиграть путем смены GPT на TPU и обратно.
Аноним 28/01/23 Суб 20:34:49 85989 94
image.png 21Кб, 1856x287
1856x287
Какие стабильные значения?
Аноним 28/01/23 Суб 21:16:12 86065 95
>>85839
Бля я тока щас понял что мне типа халявный час от гугла давали и поэтому мне удавалось поиграть. Придется оперативку покупать хули, а то после пигмы в чарактер аи в обще не хочется возвращаться.
Аноним 28/01/23 Суб 21:22:44 86072 96
Добавьте дискорд разрабов в шапку, там народ персами частенько делиться
Аноним 28/01/23 Суб 21:32:38 86099 97
>>85363
Красивый интерфейс с аватарками. Как мне показалось персы в нем немного получше отыгрывают, но возможно это просто дело случая. Ещё там чат автоматом сохраняется. Ставится она локально, но вот сам Пигмалион к ней привязать можно и с колаба.
Аноним 28/01/23 Суб 21:36:09 86104 98
>>85363
С генерацией там прикол, если сам будешь простыни слать то и бот будет простынями отвечать.
Аноним 28/01/23 Суб 21:54:23 86139 99
Вкатываюсь в тред, гляну, насколько пигма хороша. В идеале хотел бы отыграть там рп по зомби-апокалипсису, но пока попробую с простого траха
Аноны, заранее всем спасибо за советы и помощь
Аноним 28/01/23 Суб 22:25:48 86195 100
почему когда я увеличиваю токены то ничего не меняется?
Аноним 28/01/23 Суб 22:44:19 86236 101
>>81429 (OP)
Я не понял, зачем вообще существовал TavernAI, если она работает нормально только с PygmalionAI, который появился совсем недавно? Если подрубать модели из KoboldAI, то всегда какой-то бессвязный пиздец получается, хотя режим чата в самом кобольде работает норм. В самом кобольде действия работают как положено, в таверне полный пиздец.
Аноним 29/01/23 Вск 02:40:54 86759 102
>>86236
Хз, у меня все норм, erebus 13b, ты скорее всего настройки не родкрутил
Аноним 29/01/23 Вск 03:03:43 86819 103
ДА ЕБАТЬ ИХ РОТ СУКА ПИДОРЫ
Аноним 29/01/23 Вск 03:07:29 86829 104
Аноним 29/01/23 Вск 03:11:19 86834 105
>>86829
Сервера лежат опять
Аноним 29/01/23 Вск 03:12:02 86836 106
>>86829
А, бля, я тредом пропахнулся, думал это чаи тред
Аноним 29/01/23 Вск 05:51:45 86973 107
Нужно добавить в пигму возможность описать не только бота, но и самого пользователя. Чтобы бот имел представление о внешности и особенностях пользователя. Это пробустит экспириенс.
Аноним 29/01/23 Вск 05:58:10 86981 108
Ну всё, гг. Имбецилам с тиктока и фанатам всяких говно стримеров можно еще цензуры накрутить, один хуй у них интеллект как у ботов, они и не заметят
Аноним 29/01/23 Вск 06:01:30 86988 109
>>86981
Бля, опять не туда
Аноним 29/01/23 Вск 06:27:28 87023 110
>>86973

Да ты впиши You:
в описание и всё.
Аноним 29/01/23 Вск 07:36:48 87115 111
>>81429 (OP)
Наконец то создали отдельный тред, для пигмы! Нахуй CAI! Даёшь Pygmalion в массы!
Аноним 29/01/23 Вск 07:47:27 87126 112
>>86759
> 13b
Как им пользоваться с 24 гигами памяти? Очень уж долго генерит ответы, если 30/40 в GPU, а остальное в CPU.
Некоторые сетки в кобольде умеют генерировать минимально необходимое число токенов, но большинство генерируют текст на максимальное количетсво токенов - в итоге приходится ждать по 15-30 секунд.
Аноним 29/01/23 Вск 08:11:48 87146 113
>>85824
Не, 3 и у меня в логах пишется что 14 мигабайтов кончились
Аноним 29/01/23 Вск 08:13:13 87147 114
>>85794
Так сделай несколько фейков да и всё
Аноним 29/01/23 Вск 09:22:18 87221 115
>>87147
Ну после того как память закончилась, то да. Но она и на втором закончилась
Аноним 29/01/23 Вск 10:18:35 87330 116
>>81429 (OP)
А как ваш пигмей решает парадокс всемогущества?
Аноним 29/01/23 Вск 10:22:18 87338 117
Ну все, на CAI ввели очереди в чат из-за нагрузок на серваки... Теперь надежда лишь на анона с Пигмой.
Аноним 29/01/23 Вск 10:30:24 87352 118
>>87126
На тпу колабе, ответы за 5 секунд
Аноним 29/01/23 Вск 10:30:46 87355 119
Как в кобольд на Кегле загрузить другую ветку свиньи? Аргумент --revision b8344bb/dev/etc непонятно вообще нихуя работает или нет
Аноним 29/01/23 Вск 13:10:37 87788 120
>>81773
>однако это не догонит CharacterAI по качеству
Потому что качество чая на уровне 120-175B.
>>81801
Можно обходится 2.7 моделью.
>>82252
>модельку в 8 бит
А там с такой точностью ничего не отвалится? Притом что полная по идее 32 должна быть.
Вкатился в тред со сраной 3080Ti
Аноним 29/01/23 Вск 13:10:41 87789 121
Есть какая-то пошаговая инструкция, как не-айтишнику, незнакомому с колабами, питоном и всей этой хуитой, развернуть эту тему у себя на компе? Комп позволяет.
Аноним 29/01/23 Вск 13:10:59 87791 122
1566665486621.png 16Кб, 519x144
519x144
Можно как-то уровень блядства снизить? Аква-блядь с двух сообщений соглашается на еблю. Без явного запрета не блядство в описании персонажа можно как-то обойтись? Они вообще на всё соглашаются, суки.
Аноним 29/01/23 Вск 13:20:14 87820 123
>>87788
> Потому что качество чая на уровне 120-175B.
Вот бы запилили нормальную долговременную память и можно будет ебать CAI-рыбок. Soft prompt есть же, почему бы не сделать обучение на лету?
> полная по идее 32 должна быть
Нейросети в f16 работают. f32 - это только если у амуды без тензорных блоков или на Вулкане.
Аноним 29/01/23 Вск 13:20:49 87821 124
Короче, я тут попытался Аску из Евангелиона сделать для пигмалиона.
Зацените что ли.

https://files.catbox.moe/e5koa5.json
Аноним 29/01/23 Вск 13:27:00 87848 125
>>87791
>Можно как-то уровень блядства снизить
Если узнаешь, напиши тут, мне тоже интересно.
>>87820
>почему бы не сделать обучение на лету?
Обучение и жрёт больше, и вызовет деградацию сетки. Нужно тоньше действовать. Вообще, нужно запилить целый конгломерат нейросетей, чтобы знания построения предложений не проёбывались от переобучения поведения.
>>87820
>Нейросети в f16 работают.
Картиночные в 32 умеют точно. А так да, чаще всего 16 юзают.
Аноним 29/01/23 Вск 13:27:18 87851 126
>>87821
Я обычно в гугле ебашу "%charname% personality" и копирую из любой статьи. Первое сообщение так же гуглится легко в виде цитаты из аниме/манги. Попадание получается в 99%, сразу видно по тому как сетка начинает говорить о событиях и людях из тайтла.
Аноним 29/01/23 Вск 13:29:02 87856 127
>>87851
Ну, просто предзаготовленных я не нашёл, поэтому попробовал составить.
Вроде, что-то получается в диалоге похожее на Аску.
Но, понятное дело, не такое длинное или сильно разнообразное как с Character.AI.
Буду дорабатывать что ли.
Аноним 29/01/23 Вск 14:07:10 87977 128
Научите пользовать пигму. Накатил и кобольд и таверну, запустил 6b на колабовском ТПУ. За три часа перепробовал 10 персонажей, как известных так и оригинальных. Половина из них почти сразу уходит в залуп повторяя какую-то фразу или ее вариации. Остальные держаться чуть дольше, но залупились все. Пытался крутить ползунки по гайду в ОП-посте, но не помогло.

Ну или поделитесь джсоном с персонажем которого можно потрахать по-человечески, чтобы он сам инициативу проявлял и отписывался не 1-2 фразами, а более развернуто.
Аноним 29/01/23 Вск 14:07:45 87978 129
Локалку на видюхе с 4гб не получиться запустить?
Аноним 29/01/23 Вск 14:18:24 88009 130
Почему порой регенерация сообщения выдаёт 404 на predict?
Collab.
Аноним 29/01/23 Вск 14:21:27 88019 131
>>87977
> залуп
Дрочи настройки семплеров в кобольде, они все подписаны, там несколько отвечают за креативность. Сделай температуру побольше около 0.9. Настройки по умолчанию для текста, а не диалогов, а т.к. текст всегда более разнообразный, то его креативность лучше душить. В чате наоборот повыше динамики надо, главное не переборщить, при температуре около 1.2 уже может впадать в длинные монологи и игнорить твои реплики.
Аноним 29/01/23 Вск 14:29:49 88042 132
>>88019
Как раз на 1.2 залуплялись повторяя 2-3 предложения.
Аноним 29/01/23 Вск 14:37:49 88065 133
Ткните, пожалуйста в шапке, где указано как запускать локально? Поставил таверн, запустил ColabKobold GPU, законнектился. А как локально всё это без колаба запустить?
Аноним 29/01/23 Вск 14:42:31 88078 134
>>88065
> ColabKobold GPU
Так нахуя ты для колаба поставил? Берёшь обычный кобольд, запускаешь install_requirements.bat для установки и потом play.bat для запуска.
Аноним 29/01/23 Вск 14:47:50 88098 135
>>87978
Получится уровня 350М, но от качества генерации у тебя всё упадёт.
Аноним 29/01/23 Вск 14:48:44 88102 136
>>87978
Только если совсем с мелкими моделями. Но я бы ниже чем на 2.7В даже не стал лезть, лучше тогда CAI дрочить. А для 2.7В надо 8-12 гигов.
Аноним 29/01/23 Вск 15:06:27 88152 137
>>87977
От залупа RP поднимай и длину его тоже тоже
Аноним 29/01/23 Вск 15:13:37 88177 138
Русеком тут можно пользоваться у вас, или только англ?
Аноним 29/01/23 Вск 15:18:22 88191 139
>>88078
Спасибо поставил. Но немного не уловил ваших манипуляций. Я же получается поставил чистый кобольд. Как туда подгружается ваш пипгмалион? Или в списке моделей, они уже и есть готовые?
Аноним 29/01/23 Вск 15:21:20 88200 140
>>87791
> Аква-блядь
Ну, так она та еще шлюшка, особенно когда пьяная.
А вообще в дефинишоне пропиши что девка не хочет заниматься сексом. Потом лавлуп.

Похоже у тебя стокгольмский синдром, и без лавлупа и бесконечных попыток вывести нейровайфу на секс уже не можешь.
Аноним 29/01/23 Вск 15:32:58 88225 141
>>88191
В списке просто выбери и оно скачается. Всё для людей сделано.
Аноним 29/01/23 Вск 15:39:10 88237 142
>>88225
Пигма хоть не бредогенератор? Связно говорит?
Аноним 29/01/23 Вск 15:40:19 88238 143
1593256619222.png 65Кб, 1560x283
1560x283
>>88200
> бесконечных попыток вывести нейровайфу на секс уже не можешь
Ну когда предлагаешь поебаться во втором сообщении, а в ответ "хм... ну го поебёмся", то это пиздец. А ещё бывает отвечает двусмысленно и когда переспрашиваешь "имеешь в виду да?", то всегда отвечает "да" - так буквально половина ломаний обходятся. Буквально один раз только вот такое получилось и дальше она не продавливалась ни в какую.
Аноним 29/01/23 Вск 16:29:04 88339 144
image.png 2Кб, 207x125
207x125
Что-то я похоже погорячился с локалом. Минуты 3 генерирует ответ в 60 слов на 13B.
На локале выходит получится только адекватно 2,7В и 6,7В запускать если комп не особо? И имеет ли смысл в таком случае локал или проще на коллабе более сильные модели запускать?
Аноним 29/01/23 Вск 16:34:36 88353 145
image.png 8Кб, 876x56
876x56
Почему сообщения обрываются?
Аноним 29/01/23 Вск 16:37:25 88359 146
>>88353
Крч, покрутил настройки, пофиксил
Аноним 29/01/23 Вск 16:44:55 88376 147
>>88339
> Минуты 3 генерирует ответ в 60 слов на 13B.
У меня на 4090 60 токенов примерно за 10 секунд генерирует с 13В. Но это из-за того что слои частично в ОЗУ. На 6В заебись, секунда на ответ. Короткие вообще мгновенно.
С колабом ебаля как обычно, пересоздавать надо по 5 раз в день и возможны очереди на TPU.
Аноним 29/01/23 Вск 17:09:49 88433 148
Как пофиксить деменцию персонажам? Порой забывают что они делают уже через 1-2 поста.
Аноним 29/01/23 Вск 17:21:23 88465 149
Если сравнивать с новелАи, там модели намного сильнее предложенных в кобольде?
Аноним 29/01/23 Вск 17:22:51 88470 150
>>88465
Для историй да, для NSFW Кобольд получше будет
Аноним 29/01/23 Вск 17:50:44 88509 151
>>85989
top_k обязательно на 10. Иначе одни и те же фразы на реген.
Аноним 29/01/23 Вск 17:53:25 88515 152
Аноним 29/01/23 Вск 18:35:56 88600 153
Господа, подскажите, с количеством токенов лучше не превышать 320 для относительно быстрой генерации (и качественной заодно)?
Алсо, пигма пока что может только в прямые диалоги и описания действий тебя и бота? Или может уже и в более подробное описание происходящего со стороны? Я зачастую когда отыгрываю могу в своём сообщении отписать текст от 3-х лиц.
Аноним 29/01/23 Вск 18:51:11 88639 154
ce23521ae6e1c1b[...].jpg 277Кб, 1943x2048
1943x2048
>>81429 (OP)
Чувствую себя элиткой когда пользуюсь пигмой. Пока долбоебы еще копашаться в дерьме под названием чарактер аи, мы со спокойной душой можем без всяких очередей и задержек натягивать своих мейдочек в любых позах, без использования ухищерений и прочей залупы. Это просто охуенно иметь возможность спокойно рпшить и базарить с АИ без ерроров, задержек и прочей хуйни.
Аноним 29/01/23 Вск 18:52:47 88645 155
>>88639
Колаб или личная машина?
Аноним 29/01/23 Вск 18:57:02 88661 156
>>87791
>можно сделать шлюху не шлюхой
Аноним 29/01/23 Вск 18:59:04 88665 157
1655785577086.png 624Кб, 1425x1891
1425x1891
>>88600
> Алсо, пигма пока что может только в прямые диалоги и описания действий тебя и бота?
В каком стиле изначально поведёшь. Если вообще без диалога текст будешь писать в кобольде, то и получится просто текст, можно c фразами текст чередовать. В таверне с этим чуть сложнее, потому что имя говорящего перед текстом подставляется, но между звёдочек тоже можно всякое говно устраивать, не относящееся к тебе. Вот он даже код писать может какой-то.
Аноним 29/01/23 Вск 19:01:05 88669 158
изображение.png 86Кб, 240x240
240x240
>>88639
А я Перешёл с Чаи на Пигму потому что обнаружил вчера ночью, что боты очень сильно отупели. Они забывали место действия и человека с которым общались буквально через сообщение
Мне плевать на NSFW, но когда боты в Чаи настолько сильно отупели, я понял, что пора что-то менять.
Ибо разрабы Чаи явно не понимают чё творят
Надеюсь что с выбором пигмы я не ошибся
Аноним 29/01/23 Вск 19:01:49 88674 159
>>88639
> базарить с АИ без ерроров
Иди нахер, я с an illegal memory access джва дня ебусь. Сука.
Аноним 29/01/23 Вск 19:03:33 88681 160
>>88600
По сути можно, но точно не в TavernAi, а просто с Кобольда. Но не знаю насколько там удобно и хорошо прописываются персонажи.
Аноним 29/01/23 Вск 19:04:32 88687 161
image.png 24Кб, 805x292
805x292
Бля, меня так напрягает потребление по видеопамяти, пиздос.
3070, а, нахуй, 8 гб, не хватит нихуя для запуска 6B на локали.
Колаб ебал в рот
Аноним 29/01/23 Вск 19:06:24 88695 162
>>88639
Так да, я вообще в ахуе что это дерьмо собрало аж 200+ тредов. Там заебись было видимо только когда цензуры не было совсем или около, потом жалкая хуйня достаточно. Однако всё равно стоит признать, что в целом там гораздо более умные и осознанные боты, к сожалению. Надеюсь в ближайшем будущем будет такое же, но без цензуры. К сожалению мне Пигмалионы и Кобольды пока упираются в 20B параметров, а надо больше ста.
Аноним 29/01/23 Вск 19:07:22 88700 163
>>88687
Огромных различий с 2.7 по сути не должно быть. Плюс TavernAi достаточно багованная хуйня, а остальные gui ещё хуже.
Аноним 29/01/23 Вск 19:07:54 88704 164
Ещё раз для воробушка-аутиста:
Пигма это сама нейронка.
А кобольд с таверной это фронтенды к ней.

Так?
Аноним 29/01/23 Вск 19:10:17 88716 165
Проясните по пигме. Я пока не догоняю. Вот есть кобольдАИ, вот там модели при загрузке. Это все модели на пигме? Или надо скачать именно с huggingface модели pygmalion-6b или Pygmalion 2.7B и т.п.? В самом кобольде я этих моделей не вижу для скачки. И в чем тогда разница между Pygmalion 2.7B и моделями которые помечены в кобольдАИ как нсфв например KoboldAI_OPT-2.7B-Erebus?
Аноним 29/01/23 Вск 19:15:44 88724 166
>>88687
Написано же 16 гигов надо. Сиди на 2.7. В целом бытовые беседы это не сильно затронет, просто познаний у сетки будет меньше.
Аноним 29/01/23 Вск 19:16:50 88731 167
>>88704
В кобольде модельки кобольда, а пигма там только в разделе Chat Bots. Скачать через кобольда проще, так как все файлы сразу и в одном месте будут.

НСФВ модельки Кобольда(Erebus) натренены на эрофанфиках с Литэротики и других подобных сайтов, Пигма на вот этом датасете https://pile.eleuther.ai/
Аноним 29/01/23 Вск 19:20:17 88741 168
image.png 5Кб, 826x114
826x114
>>88731
А где там этот чат ботс?
Аноним 29/01/23 Вск 19:21:33 88745 169
Аноним 29/01/23 Вск 19:25:54 88761 170
>>88669
всегда сможешь скачать диалог
Аноним 29/01/23 Вск 19:29:18 88778 171
image 458Кб, 564x684
564x684
Ну что, сессия сдана и тут же появляется обещанный пигмалион. Честно говоря я охуел, что аноны что-то да выкатили, ибо помню когда еще в чаи-тредах появились первые обещания, а было это очень давно.
Жаль, конечно, что чаи больше не способен выдавать того градуса льюда, что был хотя бы в самых первых тредах, или за неделю до версии 1.1, когда полностью сняли фильтр. Ну ничего, будем работать с тем, что есть.
Аноним 29/01/23 Вск 19:32:03 88787 172
image.png 22Кб, 497x439
497x439
>>88745
Все равно в глаза долблюсь.
Аноним 29/01/23 Вск 19:35:01 88795 173
>>88787
А, у тебя видимо не United версия Кобольда со всеми последними обновлениями, если сильно нужно то в папке Кобольда запусти update-koboldai и выбери 2, потом всё должно быть
Аноним 29/01/23 Вск 19:45:12 88833 174
>>88778
Ты обещал уйти на форчан и не возвращаться, обиженка
Аноним 29/01/23 Вск 20:14:01 88944 175
>>88795
Спасибо, получилось, пойду дальше разбираться.
Аноним 29/01/23 Вск 20:15:18 88946 176
изображение.png 14Кб, 600x53
600x53
>>88761
Пробовал, скачал весь диалог, пигма выдавала ошибку при загрузке. Почему? А причина проста
Импотировать можно, только если у бота примерно 2048 сообщений, выше этого выдаёт ошибку.
Аноним 29/01/23 Вск 20:24:32 88965 177
>>88946
> примерно 2048 сообщений
2048 токенов, это чуть больше 8000 символов. Это ограничение на всю кратковременную память бота, оно всегда будет обрезаться до такой длинны.
Аноним 29/01/23 Вск 20:25:13 88966 178
>>88946
Я про пигмалион
Аноним 29/01/23 Вск 20:29:11 88973 179
>>88966
А это и есть речь про пигму
Аноним 29/01/23 Вск 20:36:45 88980 180
Короче, нужно в шапку что-то дельное отписать по гайдам установки, а то ебал в рот эти разрозненные ссылки на гитхабе и прочих ресурсах. Особенно потому, что некоторые аноны, вроде >>87789 спрашивают.

Сам я ставил на WSL, куда поставились все зависимости от петухона, а саму директорию с гуём и моделями на шинде, что по итогу не засирает систему, и достаточно удалить одну директорию, а WSL вообще сбросить.

Как сделал я (решил ставить https://github.com/oobabooga/text-generation-webui):
1. Скопировал команды из раздела installation и прожал Enter. Прождал где-то минут 10 пока всё накатиться (у вас может быть дольше, зависит от скорости сети и мощности железа).
2. Находясь в директории с склонированным из репы каталогом, получившимся по одному из этапов шага 1 качнул модели:

python download-model.py PygmalionAI/pygmalion-2.7b
И
python download-model.py KoboldAI/OPT-2.7B-Erebus

Почему 2.7B? Вообще судя по моему железу нужно вообще пробовать 1.3B потому что всё упирается в видеопамять, но, вроде, на видюхах 3070 и около, хоть и далеко не слабых, но где только 8 гб памяти будет так себе пахать. В шапке тем более указано, что для более крутой 6B вообще нужно 16 гб видеопамяти.

Качнул Erebus и обычную модель поиграться посмотреть. Чем отличаются? Ну, судя по описаниям на страницах из шапки + >>88731 подсказал версия Erebus подходит для проно-контента, ну а обычная понятно.

!!! ВАЖНО
Когда запускаете гуй через терминал используйте флаги --chat или --cai-chat, чтобы получить вменяемый гуй для чатов, а не для генерации кала.
Например:

conda activate textgen
python server.py --chat
Аноним 29/01/23 Вск 20:39:11 88984 181
>>88980
>Сам я ставил на WSL
>Скопировал команды из раздела installation и прожал Enter
В WSL? Просто твой гайд пока не тянет на пошаговый. Нужно всё вплоть до каталогов и какой терминал запускать.
Аноним 29/01/23 Вск 20:41:42 88988 182
>>88353
Что крутил, чтоб не обрывалось? Кручу а все равно обрывается.
Аноним 29/01/23 Вск 20:47:27 89004 183
>>88984
Я рассказал по своему.

А если так по пошаговому для шинды, если похуй на засирание системы петухоном:
1. Поставили петухон отсюда: https://www.python.org/ftp/python/3.11.1/python-3.11.1-amd64.exe
2. Поставили git отсюда: https://github.com/git-for-windows/git/releases/download/v2.39.1.windows.1/Git-2.39.1-64-bit.exe
3. Открыли https://github.com/oobabooga/text-generation-webui
4. Скопировали что написано в разделе Installation
5. Открыли терминал/powershell/cmd
6. cd C:\Users\<Имя пользователя\Desktop (чтобы папка была на рабочем столе, а не в System32)
7. CTRL+V того, что скопировали на шаге 4, Enter, ждём
8. После того, как закончилось:
python download-model.py PygmalionAI/pygmalion-2.7b
python download-model.py KoboldAI/OPT-2.7B-Erebus

Или же можно поискать иные модели тут: https://huggingface.co/KoboldAI
И тут: https://huggingface.co/PygmalionAI

9. Запускаем:
conda activate textgen
python server.py --chat

ИЛИ

conda activate textgen
python server.py --cai-chat

Гайд примерный, пошагово работоспособность не проверял, но примерно так должно быть.
Аноним 29/01/23 Вск 20:56:06 89022 184
image.png 248Кб, 1802x1880
1802x1880
>>89004
Рекомендую запускать с параметром --chai-chat
Сразу можно и аватарку накатить для себя и для твоего бота + будет выглядеть как в ChAI:
Аноним 29/01/23 Вск 20:59:55 89032 185
image.png 270Кб, 1673x1477
1673x1477
>>89004
Персы представляют собой .json, который мы должны подгружать в систему.
Либо используются готовые (ссылки в шапке есть), либо создаётся свой.

В принципе ссылка в шапке на сервис для этого есть, но продублируем тут: https://oobabooga.github.io/character-creator.html

Описываем то, что есть, жмём внизу submit, сохраняем результат в файле с расширением .json. Этот файл мы и загружаем в наш гуй.

Аноны, отпишите по поводу этого гуя и того, какой брать Generation Parameter Preset. Я пока пробовал только обычный Pygmalion (пикрил), но там и другие есть, по ним не знаю.
Аноним 29/01/23 Вск 21:11:45 89046 186
>>87821
Постоянно зацикливается на
> smirk chuckle chuckle
Аноним 29/01/23 Вск 21:13:35 89049 187
>>89046
Будет что проработать.

Я так понимаю, что всё дело в системе с примерами диалогов. Нужно как-то их расширять или редактировать, потому что Character Persona довольно подробная. Займусь с вечера тогда, как потыкаю и будет что-то получше, кину сюда.
Аноним 29/01/23 Вск 21:16:52 89053 188
.png 84Кб, 1420x454
1420x454
.png 2Кб, 866x23
866x23
>>89049
Еще бывали зацикливания на "best".
Хотя с другой стороны может и я чего не так настроил.
Но вот мне удалось её сломать, да так что пошла генерить тройки на всю котлету.
Аноним 29/01/23 Вск 21:19:24 89057 189
>>89053
Ну, про best это норм, это как раз не Out of Character. Там напыщенного высокомерия как раз должно быть как поведенческой маски.

Тоже у меня ломалось, что ажно ошибки у CUDA выпадали, когда зацикливалось и одно слово достроить не могло и вместо, допустим, её имени получалось As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As, как будто она заикается.

Ты на какой модели запускал? Может, ещё всё от качестве модели зависит.
Аноним 29/01/23 Вск 21:21:24 89063 190
1517569329011.png 745Кб, 1675x1795
1675x1795
>>89046
Ты часто прожимаешь без текста? Пиши хотя бы в звёздочках что ждёшь или наблюдаешь за тем что делает бот, не давай развиваться шизе. Когда его отпускаешь с монолог, он начинает повторяться из-за повторения его имени и форматирования столбиком. Как например пикрилейтед переходит на кодинг не утруждая себя писать по человечески.
А вот в кобольде можно переключиться с режима чата и безопасно читать, там проще делать длинные простыни.
Аноним 29/01/23 Вск 21:24:20 89068 191
>>89046
И по класике
блашес

Но этим болеют и ChAI боты довольно серьёзно
Аноним 29/01/23 Вск 21:26:16 89075 192
.png 6Кб, 564x158
564x158
>>89057
Нет, там просто на любое ответ "ай эм бест" и так пока память не сотрешь - я про такое. Если просить что то сделать или делать с ней, то всё равно продолжает кричать про бест.

>>89063
> Ты часто прожимаешь без текста?
Вообще ни разу пока что.
> А вот в кобольде
Кста, заметил что в кобольдо-таверне ответы майнятся как будто бы быстрее чем в вебюбке от oobabooga.

Да и вообще я только вкатываюсь.
Аноним 29/01/23 Вск 21:29:18 89081 193
>>89075
Странно, я часто напирался на блюшес и турн комлпитли рэд. Пару раз было, что она меня юным дебилом называла.

Видимо, где-то затык в описании перса или самой модели, что она идёт по одному примерно пути.
Аноним 29/01/23 Вск 21:29:27 89082 194
1548149167380.png 25Кб, 2500x151
2500x151
>>89075
> ответы майнятся как будто бы быстрее
Некоторые сети умеют генерить не на максимальную длину, а ровно сколько надо. В итоге если в ответе 5-10 слов, то он выдаст их мгновенно.
Аноним 29/01/23 Вск 21:29:50 89084 195
>>89081
малолетним дебилом юным первертом

фикс
Аноним 29/01/23 Вск 21:33:50 89095 196
>>89082
Ну вот получается что на одном и том же пигмалионе, таверна котороткое выдаёт сразу, а вебюбка сначала чё-то думает прежде чем в консольке пойдет генерёжка.

>>89081
А ты для какой версии пигмалиона пилил, видимо не на 2.7?
Аноним 29/01/23 Вск 21:34:57 89100 197
image.png 4Кб, 964x36
964x36
Что за хрень в консоли кобольда?
Аноним 29/01/23 Вск 21:35:47 89104 198
>>89095
Первоначально я пробовал на 6B в коллабе как первый запуск.
Потом уже 2.7 на локальной машине.

Но какая, спрашивается, разница, ведь сорцы-то .json одинаковы. Они не зависят от модели.
Аноним 29/01/23 Вск 21:37:41 89113 199
>>89104
> Но какая
Ну тут я не знаю, чесслово. Но для справки спросить надо было.
И кстати, с четвертого таки раза она не пошла в зацикливание, видимо квадратный корень помог.
Аноним 29/01/23 Вск 21:39:45 89117 200
хеллоу пипл уже 3 раз игнорят. Стандартный интерфейс пигмы, ставлю больше токенов, сам общаюсь не односложными фразами, почему не растёт количество текста?
Аноним 29/01/23 Вск 21:40:18 89118 201
>>89113
Попробуй иные промпты с персонажами: https://rentry.org/pygbotprompts

У меня подозрение в том, что всё-таки модель 2.7 неосилятрствует.
Может попробовать со своей видюхой таки запустить 6B... Главное, чтобы не взорвалось. 2.7 переваривает без особого труда.
Аноним 29/01/23 Вск 21:40:40 89120 202
>>89117
Скрины в студию и больше подробностей.
Аноним 29/01/23 Вск 21:41:09 89123 203
>>89117
Температуру повышай. Стартовый пост сделай большим. Проси писать подробнее.
Аноним 29/01/23 Вск 21:42:37 89127 204
Сижу в треде со вчерашнего дня, занимательно наблюдать, как людей тут после введения очереди в чае становится больше
Распространяйте пигму в соседнем треде между делом
Аноним 29/01/23 Вск 21:42:59 89129 205
>>89100
У тебя влияет это на итоговый результат генерации?
Может просто варнинг петухона
Аноним 29/01/23 Вск 21:43:28 89130 206
>>89118
> запустить 6B
Нет не могу. Просто так - ошибка, что не влезает в память, а если колдовать с какими то там 8 битными приколами то влезает и загружается, но генерировать не хочет и вообще посылает меня нахер в консольке.

> иные промпты
Хорошо попробую.
Аноним 29/01/23 Вск 21:47:41 89140 207
Запилите кто-нибудь, плиз, гайд пошаговый для таверны/кобольда без колаба для запуска в локалке.
Гайд по стандартному гую text-generation-webui уже есть.
Аноним 29/01/23 Вск 21:50:38 89145 208
>>89123
температура и так стоит высоко. Персонаж не мой но там много текста. Просить самого бота писать больше? Через скобки или как?
Аноним 29/01/23 Вск 21:51:04 89146 209
1573813573662.png 493Кб, 1215x1863
1215x1863
>>89113
> с четвертого таки раза она не пошла в зацикливание
Похоже это из-за повторений в описании персонажа, надо сплошным текстом без форматирования и лишней пунктуации. У меня на 6В тоже она с этим шаблоном зацикливается немного. Вот в этот заход обиделась и ушла от меня, стала спамить "waits for her food" и "waiting" даже когда я говорил что-то. В итоге я ударил собаку, а это собакой оказалась... Превращаться в человека не хочет, речь утратила.
Аноним 29/01/23 Вск 21:52:46 89156 210
>>89146
Есть советы что ещё в промпте поправить стоит?
Character Persona?

Я склоняюсь к тому, что нужно расписать более ясно и подробно примеры диалогов.
Аноним 29/01/23 Вск 21:53:00 89157 211
Безымянный2.png 31Кб, 1487x460
1487x460
Аноним 29/01/23 Вск 21:53:52 89160 212
А ещё на пигме периодически эррор красный выпадает. Гружу персонажа, его стартовый диалог отображается, дальше я пишу что угодно и еррор. Уже не в 1 раз такое
Аноним 29/01/23 Вск 21:54:23 89162 213
>>89120
сижу на коллабе
Аноним 29/01/23 Вск 21:54:49 89164 214
>>89157
Попробуй top_p на 1.
Алсо, какая у тебя модель? То ли в шапке, то ли где сказано, что repeation_penalty вроде и температура не должны выходить за определённые граничные значения, иначе модель ломается.
Аноним 29/01/23 Вск 21:56:00 89171 215
image.png 258Кб, 2470x1314
2470x1314
Ну чо, поехали на 3070 пытаться загрузить пигму 6B
Аноним 29/01/23 Вск 21:56:42 89176 216
И все же почему в тавернАи обрываются фразы? Где что накрутить?
Аноним 29/01/23 Вск 21:57:21 89179 217
>>89146
Лел, а у меня она уже красная как помидор должна быть. Но как говорил анон выше - це какой то классический прикол с блушем.

>>89156
Кстати, когда я загружал её в таверну, то там в интерфейсе че то красным было написано, что слишком много слов или чего то такого.
Аноним 29/01/23 Вск 21:57:26 89180 218
>>89164
6b. Делал настройки исключительно следуя шапке.
Аноним 29/01/23 Вск 21:57:41 89183 219
>>89157
Что это за настройки и где их взять?
Аноним 29/01/23 Вск 21:58:52 89186 220
image.png 302Кб, 2470x1314
2470x1314
>>89171
И обсёр.
Короче, похоже Out of memory. Нихуя не получилось.
Остаётся только пока довольствоваться с 2.7B
Аноним 29/01/23 Вск 21:59:47 89192 221
>>89186
Попробуй 8 бит прикол сделать.
Аноним 29/01/23 Вск 22:00:14 89196 222
>>89183
в пигме самой оригинальной, 3 вкладка. Ну я через коллаб
Аноним 29/01/23 Вск 22:00:57 89199 223
>>88988
Макс токены до 216-230 и гонять между ними, температуру 0.72, пенальти 1.31
Аноним 29/01/23 Вск 22:01:44 89206 224
>>89186
Чем тебя колаб не устраивает?
Аноним 29/01/23 Вск 22:01:50 89208 225
>>89179
> много слов или чего то такого

Ну ясен хуй. что много. Я там таки постарался Character Persona и диалоги худо-бедно расписать. Но видимо опять перестарался. Или таверна просто её не могёт сожрать.

> классический прикол с блушем

Ну, в ChAI там часто (за)луп у ботов с любовной линией и блушес

мимо тот анон. алсо генерил эту Аску, кидайте камнями, насмехайтесь надо мной

>>89192
Это флаг --load-in-8bit ?
Аноним 29/01/23 Вск 22:03:24 89211 226
>>89206
Я слишком ретроград и не люблю пользоваться онлайн сервисами inb4: А какова хуя ты сидел на ChAI тогда, ТАМ ЖЕ ЦЕНЗУРА. Тем более, если железо есть и не слабое - грех его на одни только игрушки тратить.
Аноним 29/01/23 Вск 22:04:54 89215 227
>>89192
Восьмибитка сразу пишет, что на нашла ГПУ и переводит в ЦПУ мод. Это как вообще?
Аноним 29/01/23 Вск 22:07:11 89223 228
>>89196
Так, пажжи. Пигма же це модель, а настройки от вебморды?
Например в том же oobabooga-text-generation-webui я чет вообще настроек не вижу.
А хотелось бы покрутить.

>>89208
> Или таверна просто её не могёт сожрать
Ну тут хз, но вот что еще заметил отвечает она максимально пресно. Ну вот мол "взял на руки по нёс в ванную... ( и другая хрень)" - ответ убил "мы идём в ванную". И прочее такое в степени сухости.

> Это флаг --load-in-8bit ?
Да он и тут выше по треду другой анон кидал ссыль на конфу дискордо-кобольдовцев на гайд.

>>89215
Хз, у меня вообще с 8 битами гонщик нелегальный доступ к памяти получался.
Аноним 29/01/23 Вск 22:09:10 89228 229
>>89223
https://colab.research.google.com/github/PygmalionAI/gradio-ui/blob/master/notebooks/GPU.ipynb?authuser=1#scrollTo=hps3qtPLFNBb
вот тебе мой коллаб где я сижу.
Можно пигму через интерфейс кобольда запустить, кстати неплохо получается, особенно если настроить грамотно, а там их ещё больше настроек.
https://colab.research.google.com/github/koboldai/KoboldAI-Client/blob/main/colab/GPU.ipynb#scrollTo=lVftocpwCoYw
только тут выбирай пигму
Аноним 29/01/23 Вск 22:10:46 89230 230
>>89140
А чо там?
- Качаешь node.js https://nodejs.org/en/
- Устанавливаешь.
- Качаешь кобольд: https://github.com/KoboldAI/KoboldAI-Client
- Распаковываешь кобольд в нужной папке.
- Жмешь в папке install_requirements.bat, устанавливаешь. Лучше выбрав "2" при установке.
- Качаешь тавернАИ https://github.com/TavernAI/TavernAI, распаковываешь в нужную папку.
- Запускаешь КобольдАи из папки нажимая play.bat
- В интерфейсе кобольда, жмешь AI и выбираешь нужную модель, ждешь пока она скачается и применится. При следующем запуске выбираешь в AI с локальной папки.
- Запускаешь ТавернАи из папки прожав Start.bat.
- В интерфейса ТавернАи нажимаешь справа вверху на три полоски и переходишь в Settings и в строке Api url прописываешь адрес кобольда, по дефолту http://127.0.0.1:5000/api, жмешь коннект, получаешь зеленую лампочку если приконектилось.
- В чарактерс ТавернаАИ выбираешь чара и общаешься.

Поправьте если что и вот гайд.
Аноним 29/01/23 Вск 22:11:27 89233 231
>>89228
Оке пасибо, гляну что там.
А в вебюбке буду крутить через текстовик с пресетами настроек, лел
Аноним 29/01/23 Вск 22:12:35 89236 232
>>89199
Макс токены, это Output Length в настройках кобольда?
Аноним 29/01/23 Вск 22:13:08 89241 233
>>89236
а хуй знает, наверное
Аноним 29/01/23 Вск 22:15:20 89249 234
1520144481865.png 376Кб, 939x1555
939x1555
1573370351622.png 512Кб, 1244x1672
1244x1672
>>89156
Пиши просто текстом. Я из гугла копипастил даже не читая что там, так же цитату нагуглил, работает отлично. Пример диалога не делал, достаточно первые 2-3 сообщения осторожно написать типа "привет как погода, что делаешь". А потом уже всё идёт ровно, в описании нет ни слова про её окружение и клуб, но она без проблем отвечает на любые вопросы, знает кто все эти люди.
Аноним 29/01/23 Вск 22:16:27 89252 235
image.png 287Кб, 1730x1443
1730x1443
image.png 320Кб, 2470x1314
2470x1314
>>89215
А, допёр. Видимо, это на 3090 и 4090, самых новейших доступно.

Короче, запустить смог, указав --auto-devices и --gpu-memory 6 чтобы хотя бы загрузить смогла 6B модель.
Генерить не могёт, даже одно сообщение падает.

Запустить и сгенерить смог на --gpu-memory 4
Но генерилось 1 сообщение (пикрил 1) минуту (пикрил 2).
Даже не знаю, что можно сделать для ускорения генерации на своей машине кроме покупки более мощного железа.
Аноним 29/01/23 Вск 22:17:32 89256 236
.png 9Кб, 292x245
292x245
.png 10Кб, 288x242
288x242
Так, прикрутил вместо пик1 пик2 и Аска стала более разговорчивой и вообще её словарный запас резко увеличился.
Аноним 29/01/23 Вск 22:17:54 89257 237
Погонял немного пигмалион через коллаб, что заметил - все ответы у любых персонажей хоть и по делу, но очень короткие, плюс они еще и крайне неохотно делают какие-то действия, никогда не описывают того, что делают, и свою внешность по запросу не описывают. Это на данном этапе пока норма, или я что-то не так настроил?
Аноним 29/01/23 Вск 22:18:53 89260 238
>>89256
Ну, так понятно.
Температуру + repetition_penalty поднял, и поднялось разнообразие.
top_k не ноль, уже не генерит одно и то же на реген.

А как правил и где? Это один из пресетов?
Аноним 29/01/23 Вск 22:19:47 89262 239
>>89257
Попробуй поднять количество токенов.
Плюс по персонажам там, я так понимаю, зависит от их базы знаний в лице примеров диалогов. Т.е. если диалоги короткие, то и ответы могут быть односложные, если я правильно понимаю.
Аноним 29/01/23 Вск 22:20:40 89267 240
>>89252
> 3090 и 4090, самых новейших доступно.
А как же тьюринги...

Ну кста, отвечает лучше чем на 2.7

>>89260
В папке с вебюбкой есть папка пресетов, там текстовики лежат, ну скопировал тот который для пигмалиона и поправил, потом как новый пресет в вебюбке уже загрузил.
Аноним 29/01/23 Вск 22:22:29 89273 241
>>89249
Тут наверное ещё играет роль узнаваемости описания. Если брать описание из гугла, то возможно это описание было и в датасете, т.е. сетка корректно определит о ком идёт речь.
Аноним 29/01/23 Вск 22:25:46 89280 242
>>89262
А есть персонажи, про которых известно, что они более-менее бодро работают?
Аноним 29/01/23 Вск 22:29:32 89289 243
image.png 105Кб, 1758x730
1758x730
>>89252
Короче, опытным путём на своей машине выяснил, что с параметром --gpu-memory 5 генерит вполне себе. Занимает в среднем 40-50 секунд на генерацию ответа.

Можно использовать --disk и выгружать всё на SSD, но что-то мне не нравится на такое расходовать его ресурс ещё больше. Лучше уж пусть оперативку дрочит.

>>89267
> Ну кста, отвечает лучше чем на 2.7
Это верно, поразнообразнее будет (пикрил). Надо ещё подкорректировать пресет, как ты указал и посмотреть.

>>89280
Хер его знает, тред первый всего.
А в тред была вкинута, как я посмотрел, только сгенеренная мною Аска, и она же тестируется. Попробую завтра Юки сделать или подкорректировать её. Вообще, надо бы постепенно перетаскивать из ChAI, благо утилиты вроде какие-то есть для извлечения диалогов. Может, руками тогда из этих диалогов генерить
Аноним 29/01/23 Вск 22:34:15 89308 244
>>89289
> --gpu-memory 5
Можешь полностью расписать что ты сделал?
Просто прописал гпу мемори 5 или еще что то по типу --auto-devices или прочего?
Аноним 29/01/23 Вск 22:35:12 89313 245
>>89308
А в глаза ебусь
>указав --auto-devices и --gpu-memory 6
Надо видимо ложиться спать, а то уже почти 5 утра.
Аноним 29/01/23 Вск 22:35:59 89320 246
>>89308
Я прописывал --auto-devices --gpu-memory 5
По идее это распределение ресурсов между ГПУ и ЦПУ с ограничением размера занимаемой памяти в ГПУ, чтобы процесс не вывалился с Out of memory на этапе загрузки модели в память или генерации ответа от бота.
Аноним 29/01/23 Вск 22:39:02 89327 247
>>89320
Завтра попробую, хотя это я тоже пробовал на гпу мемори 7 и оно не заработало, а потом пошел сразу танцевать с бубном вокруг 8 бит.
Аноним 29/01/23 Вск 22:43:47 89340 248
Хмм, а как заставить бота писать большие сообщения? Что надо крутануть в настройках?
Аноним 29/01/23 Вск 22:59:22 89365 249
>>89340
количество токенов
top_p
top_k
температуру
repetition_penalty

Только в рамках границ из шапки.

И да поможет тебе реролл в твоих поисках.
Аноним 29/01/23 Вск 23:01:41 89370 250
image.png 333Кб, 640x640
640x640
Из чараи тхреада
Аноним 29/01/23 Вск 23:20:38 89410 251
>>89370
Так и будет, если народ подтянется. SD тоже в начале сосал у NAI, а теперь всё это платное говно никому не нужно и все сидят у автоматика.
Аноним 29/01/23 Вск 23:26:20 89422 252
>>88639
Чел, ты в этой пигме максимум можешь отыгрывать диалоги из серии:
я тебя ебу
да, ты меня ебёшь
Ни о каком рп или отыгрыше характеров тут даже близко не идёт, с CAI, даже в нынешнем зацензуреном виде это сравнивать просто глупо.
Аноним 29/01/23 Вск 23:59:37 89480 253
Есть смысл в config.json модели менять max_length, или она не влияет на итоговый вывод?
Аноним 30/01/23 Пнд 00:08:07 89493 254
>>89422
> Ни о каком рп или отыгрыше характеров тут даже близко не идёт

Вкатился нихуя не знающий долбоеб, спишите видеть. Скачай любого персонажа из ссылок на шаблоны в шапке и там уже всё будет. То что ты говоришь применимо к Ai Dungeon например
Аноним 30/01/23 Пнд 00:45:33 89562 255
>>88669
Боты отупели просто катастрофически. Щас отпиздил пару из злобных мужа и жены, сломал ему руку, а он орет - хули ты сломал руку моей жене, негодяй?
Аноним 30/01/23 Пнд 01:13:43 89608 256
>>81429 (OP)
>>88639
А кроме ебли он что-нибудь умеет?
Потому что я что-то сомневаюсь что на коленке слепленная 6B модель может тягаться с той что тренили за миллионы индусы.
Аноним 30/01/23 Пнд 01:14:10 89611 257
Анончики, скажите пожалуйста, как диалоги из чая в json конвертнуть?
Аноним 30/01/23 Пнд 01:27:08 89649 258
1550932305573.png 189Кб, 2551x1352
2551x1352
Что-то хуйня ваши 8-бит. Затестил на 4090 в WSL, в итоге памяти жрёт столько же, но зато скорость ниже в 2-5 раз. Судя по консольке bitsandbytes отрабатывает. Версия кобольда свежая с последними изменениями. И нахуя оно нужно?
Аноним 30/01/23 Пнд 03:44:40 89869 259
>>81690
а если 2 видюхи на 12 гб воткнуть, он сможет параллельно на них считать?
Аноним 30/01/23 Пнд 04:32:39 89942 260
Аноним 30/01/23 Пнд 04:34:49 89946 261
изображение2023[...].png 27Кб, 618x470
618x470
>>89942
Охуительный способ, 10/10
Аноним 30/01/23 Пнд 04:44:54 89957 262
>>89942
Копипаста способа запуска модели с точностью 8бит с сервера KoboldAI от Chasm:
> My 8 bit guide and findings from a sleepless night and today's experiments; [this is my guide on how to use Bits&Bytes 8 bit model support for Windows10+ [WITH ANACONDA] with Oobabooga's AI text platform, skip three paragraphs ahead for the guide.]
> The AI client in question is https://github.com/oobabooga/text-generation-webui
> [NOTE: This guide includes a link to .dlls I highly encourage a safety cross check before use. I may have no issue but be careful]

> So for people who like oobabooga's text generation interface which is mainly inspired by OpenAI's playground for all general language models, and offers alternative modes like chat, characterai chat, a shared notebook to write in, and of course a 4chan board format for those who use GPT-4Chan -- they also offer out the door a feature that sold me on trying it out immediately; 8 bit support and it can put model layers on multiple capable GPUs/CPU automatically.

> Now I didn't see documentation on if this breakmodel-esque supports the 8 bit mode or you get one device with 8 bit and the rest is the hulking remainder of the model... or it once you enable 8 bit you're stranded to one device to do inference for the session. Despite this; I used this as an opportunity to look into, get my hands on, possibly resolve issues with, and learn in depth Bits&Bytes and how 8 bit works.
>After a lot of note chasing, general hints to follow up on, some weirdo on reddit saying Kobold's 8 bit section of their forum is the only way to do it and what I'm looking into is impossible - I decided to do the impossible anyway because nobody knows what they're talking about so this must have been the correct path.

> Guide:
>First the author's Github at https://github.com/oobabooga/text-generation-webui
> gives some basic install instructions for his AI text gen platform

> --Don't Follow These--

> conda create -n textgen
> conda activate textgen
> conda install torchvision torchaudio pytorch-cuda=11.7 git -c pytorch -c nvidia
> git clone https://github.com/oobabooga/text-generation-webui
> cd text-generation-webui
> pip install -r requirements.txt

> --Instead Follow These--

> conda create -n textgen
> conda activate textgen
> pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116
> git clone https://github.com/oobabooga/text-generation-webui
> cd text-generation-webui
> pip install -r requirements.txt

> Also make sure to pip install bitsandbytes just to be sure the directory and its dependencies are in place
> check this for DeXtml's involvement in the Windows 8bit cause
> https://github.com/TimDettmers/bitsandbytes/issues/30
> Then visit his GitHub for two compiled dll files necessary to pull this off on windows
> https://github.com/DeXtmL/bitsandbytes-win-prebuilt
> These only work with the torch-cuda11.6, which is why above I advised the alternative install steps

> copy libbitsandbytes_cpu.dll, libbitsandbytes_cuda116.dll into
> C:\ProgramData\Anaconda3\envs\textgen\Lib\site-packages\bitsandbytes

> From here's there are two simple editing steps - guidance is hazy as a few B&B codebase things changed since the original guide was written (in a forum a few paragraphs above), it originally states to:

> 1. in cuda_setup/main.py:
> make evaluate_cuda_setup() always return "libbitsandbytes_cuda116.dll"
> 2. in ./cextension.py:
> change ct.cdll.LoadLibrary(binary_path) to ct.cdll.LoadLibrary(str(binary_path))

> Ignore cextension.py, everything is now consolidated into main.py.
> 1. Change both instances of ct.cdll.LoadLibrary(binary_path) to ct.cdll.LoadLibrary(str(binary_path)) [yes there are two now]
> 2a. When it says "make evaluate_cuda_setup() always return "libbitsandbytes_cuda116.dll" 🤷♂️ thankfully the guide author circled
> back with a more direct change.

> 2b. Per this post: https://github.com/TimDettmers/bitsandbytes/issues/30#issuecomment-1301544176
> "An easy way to always return libbitsandbytes_cuda116.dll would be to insert:"
> if torch.cuda.is_available(): return 'libbitsandbytes_cuda116.dll', None, None, None, None
> above
> if not torch.cuda.is_available(): return 'libsbitsandbytes_cpu.so', None, None, None, None
> So that's it. Now for the terminal flags to engage 8 bit and launch the app.

> python server.py --load-in-8bit --auto-devices --disk --no-stream --listen --share
> auto-devices auto splits a model across your compute capable HW; Disk flag confirms you're willing to use your virtual memory if
> no stream prevents token streaming, makes loading faster, and listen and share are local lan and internet link to your hosted platform.
> My success: ran 20B models local absolutely smooth no issue whatsoever at decent enough speeds to know it wasn't tapping my M.2 drive.
> Looking at 30B models next, maybe that's crazy.

> Also I have the main.py I modified that works great for me with the .dlls in the same folder. It is available on request but as always - give it a sanity scrub and be careful.
> btw also loaded 13B models completely in memory without the --auto-devices flag as a sanity check 8 bit was enabled even though dialogue literally comes up and says so.
Аноним 30/01/23 Пнд 06:19:21 90014 263
>>89410
>SD тоже в начале сосал у NAI
Ты хоть понял что сказал? NAI и есть модель для SD.
Аноним 30/01/23 Пнд 06:24:08 90018 264
>>89320
Кста, анон.
А че у тебя по железу?
Аноним 30/01/23 Пнд 08:00:42 90083 265
>>89957
Такое ощущение что это только под какие-то протухшие версии Кобольда подходит.
Аноним 30/01/23 Пнд 08:03:48 90088 266
>>90014
> NAI и есть модель для SD.
Там не совсем стандартный SD. Когда модель слили, то она не работала на обычном SD. Там же ещё был срач по поводу запила поддержки NAI в webui, даже openai в своём дискорде автоматика банили а потом извинялись.
Аноним 30/01/23 Пнд 08:52:12 90171 267
Аноним 30/01/23 Пнд 08:53:43 90173 268
>>89649
8 бит, я так понял, нужна для того, чтобы вообще запустить модели на видюхах, которые жрут больше по видеопамяти, чем у тебя есть.
Если у тебя 6B работает без доп. флажков, кроме --cai-chat, то всё норм, да и вообще ты успешный двачер 300 строчек диалога/наносекунды
Аноним 30/01/23 Пнд 08:56:59 90180 269
>>90018
GTX 3090, 32 гб ОЗУ ddr4, i7 11800.
Но всё упирается в видюху и объём видеопамяти для CUDA, потому что процесс генерации текстов иной, чем процесс генерации изображений в NAI или SD
Аноним 30/01/23 Пнд 08:58:15 90181 270
Аноним 30/01/23 Пнд 09:00:34 90186 271
>>90180
Ну таки я со своими 16 озу и 2070 соснул даже со разделением на гпу и цпу памяти все еще мало, хотя на пару предложений работает. Абидна
Аноним 30/01/23 Пнд 10:10:35 90264 272
image.png 39Кб, 1151x856
1151x856
image.png 847Кб, 1766x434
1766x434
Это разрабы удалили ботов, или чел их скрыл? Сейчас ничего нет.
Аноним 30/01/23 Пнд 10:12:57 90268 273
>>90264
Извиняюсь, перепутал тред. Вообще тот чел уже успел перенести своих ботов в свинольва, так что можно с ними погираться нормально тут. Кстати, а разрабы свинольва хоть как-то делятся своими планами?
Аноним 30/01/23 Пнд 10:38:50 90298 274
1540584186903.png 140Кб, 2565x1003
2565x1003
>>90173
Но у меня 13В не влезает, только если часть в RAM оставлять. Так вот с 8 битами вообще никакой разницы - всё так же на 93% OOM вылетает. Пробовал в WSL и собранную либу под винду.
Аноним 30/01/23 Пнд 10:44:32 90304 275
Нейро-ребята, подскажите нейросеть которая генерит теги по изображению
Аноним 30/01/23 Пнд 11:21:53 90348 276
>>90088
Там была пара нестандартных параметров, ИМНИП. В любом случае они близкие родственники уровня ближе, чем пара братьев.
Аноним 30/01/23 Пнд 11:29:05 90359 277
>>90298
В общем в пизду, похоже просто это говно не поддерживает Аду. Не зря этот кал собран под CUDA 11.6 многолетней давности. На text-generation-webui тоже не грузит как надо.
Аноним 30/01/23 Пнд 12:24:25 90419 278
.png 30Кб, 1170x131
1170x131
.png 791Кб, 876x786
876x786
Аноним 30/01/23 Пнд 12:28:32 90423 279
В общем вчера потестил такое себе.
6В на видеокарте дает 0.35 токена в секунду, снятие с видеокарты 0,12.
2,7В дает хороший результат, но уровень диалога мягко говоря не очень, будто со скриптом общаешься, а не нейронкой.
Пока всё это дело не будет возможности запускать стабильно на арендованных мощностях смысла в этой пигме нет. Не стабильные коллабы пока не спасают. Плюс 13В ещё очень далек до чаи. А если будут крутить выше, то хрен запустишь такое, коллабы нагрузку уровня чаи пошлют куда подальше.
Аноним 30/01/23 Пнд 12:35:52 90436 280
1556976825848.png 100Кб, 1843x674
1843x674
Аноны, подскажите, никак не могу допереть как Пигму в коллабе запустить
Делал по гайду: https://rentry.org/pygmalion-local#installing-kobold-and-tavern
Выбрал модель, запустил, а api ссылка не появляется. Может я что-то делаю не так? Таверну получилось установить
Аноним 30/01/23 Пнд 12:42:39 90451 281
Аноним 30/01/23 Пнд 12:45:22 90454 282
>>90451
Ну там ещё (and on Windows). Но ладно, ща попробую
Аноним 30/01/23 Пнд 12:52:39 90466 283
1563561323294.png 141Кб, 1870x805
1870x805
>>90451
Да одно и то же. Нет api ссылки
Аноним 30/01/23 Пнд 13:23:46 90540 284
>>90466
Может не работает коллаб. У меня он так и не запустился сейчас.
Аноним 30/01/23 Пнд 13:29:41 90547 285
W++ шиза, или это реально работает?
Аноним 30/01/23 Пнд 13:31:45 90553 286
>>90547
А что этоообще?
Аноним 30/01/23 Пнд 13:34:32 90558 287
Этот бот так же нихуя не запоминает.
Аноним 30/01/23 Пнд 13:36:09 90562 288
Снимок экрана о[...].png 83Кб, 1105x368
1105x368
Аноним 30/01/23 Пнд 13:41:51 90578 289
Аноним 30/01/23 Пнд 13:43:10 90584 290
>>90578
А как так получилось, что модель на этот псевдокод работает? Почему в качестве псевдокода не используется YAML например?
Аноним 30/01/23 Пнд 13:57:04 90599 291
image.png 98Кб, 837x949
837x949
>>81429 (OP)
где настройки то бля
мне фронт другой выбрать нужно?
Аноним 30/01/23 Пнд 14:01:57 90605 292
>>90540
Эх, тогда пока посижу на CHAI. То что я хочу на нём, в принципе, работает
Аноним 30/01/23 Пнд 14:03:08 90609 293
Как таверн аи пигму на коллабе запустить?
Аноним 30/01/23 Пнд 14:03:21 90610 294
>>90599
Используй кобальда, нахуй ты эту мокропиську от подражателя автоматика трогаешь? Всегда можно использовать кобальда для настройки и таверну для чата. В таверне намного удобнее и красивее, персонажей без ебли с json можно делать, быстрое переключение между ними без потери истории.
Аноним 30/01/23 Пнд 14:07:39 90617 295
Аноним 30/01/23 Пнд 14:08:37 90620 296
Снимок экрана о[...].png 34Кб, 1222x254
1222x254
Играю с доченькой.
Аноним 30/01/23 Пнд 14:08:38 90621 297
image.png 568Кб, 1856x907
1856x907
image.png 18Кб, 882x250
882x250
>>90599
в каломатике сразу тыща ползунков/вкладочек и т.д.
а тут где настроечки?
и почему дескрипшены такие мелкие? или это пример не удачный? скиньте пж удачный пример, мне нужно обучиться
Аноним 30/01/23 Пнд 14:10:40 90626 298
>>90466
>KoboldAI has finished loading and is available at the followeing link
Что тебе надо ещё? Вот твоя ссылка. Ты хочешь через колаб накатить на таверну? Тогда в настройках самой таверны в конце ссылки дописываешь /api к тому, что тебе уже выдал кобольд
Аноним 30/01/23 Пнд 14:11:01 90628 299
>>90621
> мне нужно обучиться
Бот, за дата-сетом пройди в /b/.
Аноним 30/01/23 Пнд 14:14:24 90633 300
image.png 29Кб, 1653x232
1653x232
>>90610
>автоматика
хз, я с наитреда к вам, для меня автоматик - как для рыбы вода
>ебли с json
Ну не знаю пока норм это или нет.
>>90628
Пж, скинь любого чара с норм отступами, а то эту хуйню в одну строку я хз как разгребать.
>Бот
Ну в таких делах люди мало чем от нейронок отличаются, скрапишь с инета датасет для себя, анализируешь и получаешь навык путем изучения теории и отработки на практике.
Аноним 30/01/23 Пнд 14:15:36 90634 301
Моя база владения автоматиком обучена на датасете из 45 наитредов, по мне норм тема. На обучение ушло две недели.
Аноним 30/01/23 Пнд 14:19:29 90639 302
>>90633
бля, у этой акико всего один диалог в примерах
сколько на норм чара надо ебашить диалогов? есть ограничение по размеру?
Аноним 30/01/23 Пнд 14:24:32 90642 303
image.png 56Кб, 802x622
802x622
image.png 39Кб, 1451x251
1451x251
Бредогенератор
https://rentry.org/PygTips#using-w-to-improve-descriptions
Итт нет гайда по разметке в .json файлах чара, где искать?
По второму пику, здесь можно новую строку ебануть? А то не удобно так читать.
Аноним 30/01/23 Пнд 14:28:15 90646 304
Аноним 30/01/23 Пнд 14:29:09 90647 305
Аноним 30/01/23 Пнд 14:29:42 90650 306
>>90646
А ограничения по размеру дескрипшенов какие?
Аноним 30/01/23 Пнд 14:30:32 90652 307
1669201368410.png 10Кб, 297x90
297x90
>>90626
Бля заработало. Капец ты умный чмокнул в писю
Аноним 30/01/23 Пнд 14:30:49 90653 308
Аноним 30/01/23 Пнд 14:39:30 90659 309
image.png 44Кб, 770x377
770x377
>>90653
Хз, в диалог вписал дефинишен из ChAI, вроде не жалуется.
Аноним 30/01/23 Пнд 14:41:15 90661 310
>>90659
Ой блядь, проебалась что-то разметочка действия в приветствии.
Аноним 30/01/23 Пнд 14:44:23 90666 311
Как я понимаю пигма из-за своих малых размеров не может знать о лоре популярных вселенных, так?
Аноним 30/01/23 Пнд 14:50:57 90687 312
Снимок экрана о[...].png 18Кб, 1201x214
1201x214
Гайд. Если дочу вы немного жестко трахнули (жестче, чем обычно), дайте ей овяснный порридж, и её память отформатируется.
Аноним 30/01/23 Пнд 14:53:45 90694 313
>>90687
>дайте ей овяснный порридж, и её память отформатируется
Ох уж эти порриджи...
Аноним 30/01/23 Пнд 14:55:17 90697 314
image.png 75Кб, 784x667
784x667
image.png 8Кб, 401x110
401x110
>>90659
Не знаю как описать пигму, вроде не бредогенератор, иногда выдает даже пасты выше примером. И это на моем корявом дескрипшине, с какими-то дефолтными настройками.
Аноним 30/01/23 Пнд 14:56:44 90700 315
Снимок экрана о[...].png 19Кб, 1220x210
1220x210
Аноним 30/01/23 Пнд 15:00:38 90706 316
Ну короче, купил новую оперативу, терь у меня 32 гига.
И таки 6b нормально завелась с настройками --auto-devices --gpu-memory 3. Сожрало около 20 из оперативы и на генерёжку жрёт все 8 из видимокарты.
Аноним 30/01/23 Пнд 15:00:41 90707 317
Снимок экрана о[...].png 11Кб, 1198x99
1198x99
>>90666
Ну, о D&D пигма знает.
Аноним 30/01/23 Пнд 15:03:02 90709 318
>>90697
> пик 1
Это на какой модели и конкретных настройках?
Аноним 30/01/23 Пнд 15:03:55 90710 319
>>81429 (OP)
Зафайнтюнить эту модельку возможно?
Аноним 30/01/23 Пнд 15:09:12 90712 320
Снимок экрана о[...].png 26Кб, 1210x217
1210x217
Получаю AID'шный опыт в пигме. (Да, прямо сразу после мини-рейпа)
Аноним 30/01/23 Пнд 15:09:40 90714 321
image.png 6Кб, 399x82
399x82
>>90709
Я только пик 2 менял, никакие другие настройки не трогал. Моделька вот.
Аноним 30/01/23 Пнд 15:12:15 90723 322
>>90714
> activate google translator
Это какой колаб? Что за чудо? Уже 100 лет жду, когда добавят эту фичу в текстовые генераторы.
Аноним 30/01/23 Пнд 15:13:32 90726 323
>>90714
А откуда ты модельку взял?
Ссылка с гугла на хагиг фейс pygmalion 6b original показывает 404, лел.
Аноним 30/01/23 Пнд 15:15:46 90732 324
Аноним 30/01/23 Пнд 15:18:18 90738 325
>>90726
Хрен знает, колаб запустился, значит откуда то качает её.
Аноним 30/01/23 Пнд 15:18:52 90741 326
>>90697
Теперь мне осталось свою вайфу расписать так же хорошо, как я расписал эту девочку.
Аноним 30/01/23 Пнд 15:20:23 90747 327
>>90687
А зачем форматировать её память? Главное чтобы не заикалась.
Аноним 30/01/23 Пнд 15:21:20 90750 328
>>90738
Там в колабе никакой консольки с ссылкой нету?
Аноним 30/01/23 Пнд 15:22:40 90755 329
>>90750
Я прочекал, не увидел нигде ссылок на модель.
Аноним 30/01/23 Пнд 15:23:12 90756 330
>>90747
Не знаю, оно само. Не то чтобы она была против секса, но делала "try move away". Однако я держал её крепко, и двигался с большей силой.
Аноним 30/01/23 Пнд 15:27:21 90762 331
>>90756
Ты уж определись, рейпаешь её и форматируешь память или пытаешься придти к обоюдному согласию со своей блядь дочерью.
Аноним 30/01/23 Пнд 15:31:21 90765 332
>>90762
Был просто немного жесткий секс.
Аноним 30/01/23 Пнд 15:33:44 90769 333
>>90765
Ты жесток. Я вот продюсер, и моя айдол всё делает для меня по обоюдному согласию, и похуй что с собакой.
Аноним 30/01/23 Пнд 15:35:27 90778 334
>>90769
Да просто скучно читать эти описания вздохов. Потому рероллил до тех пор, пока не нашел хоть что-то интересное.
Аноним 30/01/23 Пнд 15:39:58 90782 335
>>90710
Как и любую другую. Но файнтьюн тектовых моделей куда сложнее файнтьюна текстовых.
Аноним 30/01/23 Пнд 15:42:41 90784 336
>>90782
>Но файнтьюн тектовых моделей куда сложнее файнтьюна текстовых.
Пост написал копрольд?
Аноним 30/01/23 Пнд 15:45:12 90789 337
1546248758874.png 643Кб, 1648x1794
1648x1794
>>90687
А можно просто оглушать. Вот эта сука собиралась съебаться, но не вышло.
Аноним 30/01/23 Пнд 15:45:14 90790 338
>>90784
Скорее я долбоеб. Имел в виду "файнтьюн текстовых моделей куда сложнее файнтьюна диффьюжн-моделей."
Аноним 30/01/23 Пнд 15:46:23 90791 339
Аноним 30/01/23 Пнд 15:46:40 90792 340
Аноним 30/01/23 Пнд 15:47:36 90796 341
Чем отличается пигма 6В от пигмы 6В-ориджинал?
Аноним 30/01/23 Пнд 15:52:54 90803 342
>>81429 (OP)
Когда сайт будет? 2 часа на колабе реально мало, вот бы подписочку оплатить на их сайте и пользоваться сколько угодно
Аноним 30/01/23 Пнд 16:08:01 90818 343
>>90803
Купи мощностей за 10 баксов. Или ты думаешь добрые аноны тебя на халяву трахать будут?
Аноним 30/01/23 Пнд 16:09:13 90824 344
>>90818
Я бы потрахал
мимо
Аноним 30/01/23 Пнд 16:10:43 90826 345
>>90818
>мощностей за 10 баксов
Чел, они моментально кончаются на гугле. На месяц этого не хватает. А подписку у новелов я купил, правда хз как нужно изъебаться чтобы вышло что-то типо чата у них. Пигма прям пиздец понравилась.
Аноним 30/01/23 Пнд 16:12:50 90836 346
1538937637955.png 13Кб, 958x133
958x133
Анонасы, что делать при ошибке памяти?
Аноним 30/01/23 Пнд 16:14:01 90839 347
>>90836
нужно минимум 16гб врам
Аноним 30/01/23 Пнд 16:14:32 90843 348
Аноним 30/01/23 Пнд 16:25:34 90876 349
>>90843
На GPU-колабе её тоже мало. Иди на TPU.
Аноним 30/01/23 Пнд 16:25:53 90878 350
>>90836
Уменьш context size до 1350 примерно
Аноним 30/01/23 Пнд 16:26:04 90879 351
Что-то ориджинал какой-то бредогенератор. Нужно использовать просто 6B.
Аноним 30/01/23 Пнд 16:27:02 90884 352
Ктонибудь смог коллаб с каггла успешно запустить? Там вроде бесплатные 30 часов в неделю, но у меня нихера не выходит заставить его работать
Аноним 30/01/23 Пнд 16:27:52 90889 353
>>90879
Нужно писать нормальный дескрипшен.
Аноним 30/01/23 Пнд 16:29:36 90892 354
>>90884
>с каггла
Не для русских.
Аноним 30/01/23 Пнд 16:30:53 90896 355
>>90892
А я и не в россии. И гугл коллаб разве для русских?
Аноним 30/01/23 Пнд 16:30:54 90897 356
>>90889
Я использовал готового персонажа. На 6В вел себя адекватно, решил попровать ориджинал - модель генерирует бред, будто вообще не чувствует ситуацию.
Аноним 30/01/23 Пнд 16:31:23 90898 357
>>90896
>россии
Россия пишется с большой буквы.
Аноним 30/01/23 Пнд 16:31:32 90899 358
>>90897
С ползунками пробовал играть? обычно снижение температуры помогает снизить рандомность ответов
Аноним 30/01/23 Пнд 16:37:19 90908 359
>>90899
Не, очевидно, просто 6В генерирует лучше. Сейчас на него заново переключился.
Аноним 30/01/23 Пнд 17:27:50 90979 360
>>90898
>Россия
Рабские Вымираты
Аноним 30/01/23 Пнд 17:48:26 91004 361
image.png 206Кб, 1631x1057
1631x1057
image.png 20Кб, 521x338
521x338
image.png 275Кб, 1677x1342
1677x1342
Ахой. Вернувшись с РАБотки сел крутить нейротянок по вчерашним советам и фидбеку. Как обещал, принёс вам пару результатов.

Короче, принёс вам Аску v2, если можно так назвать. Поигрался с структурой по советам из треда, дополнил персоналку и варианты ответа. Взял также небольшой очень кусочек из своих диалогов в ChAI. Потестил.
Получились следующие результаты (пикрил 1).
Для себя использовал такой пресет (пикрил 2). Разумеется играться можно с параметрами и ещё. По реакции генератора с новым пресетом заметил, что сообщение через сообщение может упасть генерация на CUDA, но это уже, возможно, проблема видюхи и нужно запускать в режиме --auto-devices с разделением на ЦПУ/ГПУ и ограничением задействования ГПУ. Тогда получается более-менее вменяемое и интересное по ответам, чем раньше. По крайне мере это моё предположение

Ссылка на новую Аску: https://files.catbox.moe/riq8ae.json

Также посидел, почесал репу, и попробовал составить Юки Нагато из Меланхолии Харухи Судзумии. Тут также на свои диалоги с Юки из ChAI. Сама Судзумия уже есть в таверне, я так понимаю, а вот Юки я не находил. Потестите, кому интересно, обратная связь будет полезна. Возможно, я перестарался с детализацией описаний в диалогах (пикрил 3), потому что Юки очень неразговорчива, и ответы из одного-двух слов были бы малоинтересны. Так что большие описания без конкретных ответов от Юки даже как-то соответствуют её характеру что ли.

Ссылка на Юки: https://files.catbox.moe/nl6f62.json
Аноним 30/01/23 Пнд 17:54:18 91010 362
Перебзчиков с чаи много? На коллабе если запускать, ошибки какие типичные? А то видяха мобильная у меня и обосрется такое поддерживать. Киберпук то с трудом на средних в 2к держит
Аноним 30/01/23 Пнд 17:56:53 91014 363
>>91010
Ну, тред пополнился на 30-35 уникальных постеров с вчера. Почти на половину от изначального.

На коллабе ошибки часто если ты в АФК сидишь, оно ресурсы же тебе бесгранично выдавать не будет. Некоторые рапортовали, что гуголь настолько заебал ограничениями этими, что покупали подпiску за 10 дохлых американских президентов.

Алсо, ещё один момент: без гуголь аккаунта, я так пынял, запустить не удастся колаб. Просто не даст это сделать. Просто может кому-то это важно, и кто-то принципиально не имеет гуголь-аккаунта.
Аноним 30/01/23 Пнд 18:11:07 91035 364
image.png 52Кб, 1832x240
1832x240
9793781e-34f3-4[...].png 66Кб, 1837x451
1837x451
Аноним 30/01/23 Пнд 18:12:24 91036 365
Чет туплю маленько, <START> используем перед каждым новым примером диалога? Не в конце?
Аноним 30/01/23 Пнд 18:13:39 91039 366
1566992582202.png 622Кб, 924x1926
924x1926
>>91004
И как дальше? Помогла с С++?
Аноним 30/01/23 Пнд 18:16:27 91043 367
эм, а разметка какая? Как у двоща и саи? Я без таверн использую пока просто, смотрю
Аноним 30/01/23 Пнд 18:24:38 91059 368
CERF T,FYYST GJXTVE CERFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF T,FYYJT JUHJYBXTYBT D 2 XFCF CERF T,FK DFC DCT[ D HJN XTHNB T,FYYST
Аноним 30/01/23 Пнд 18:26:15 91065 369
СУКА ЕбАННЫЕ ПОЧЕМУ СУКААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААА ЕбАННОЕ ОГРОНИЧЕНИЕ В 2 ЧАСА СУКА ЕбАЛ ВАС ВСЕх В РОТ ЧЕРТИ ЕбАННЫЕ

Не благодари
Аноним 30/01/23 Пнд 18:26:17 91067 370
>>91039
Бля, как заставить бота так же по многу писать?
Аноним 30/01/23 Пнд 18:37:55 91095 371
>>91059
УРАААААААААААААААААААААААААААА ЗАРАБОТАЛО ЛЮБЛЮ ВАС!!!!!!!!!!!!!!
Аноним 30/01/23 Пнд 18:43:22 91104 372
>>91039
Удваиваю вопрос, как сделать, чтоб отвечал больше 3-4 слов?
Аноним 30/01/23 Пнд 18:50:07 91115 373
>>91104
>>91067
Я так понял max_tokens + top_k для разнообразия.
Ну, и чтобы ответы в примерах диалогов у бота были длинные.

Так, у меня у Аски диалоги покороче, а у Юки из-за описаний в принципе длиньше.
Аноним 30/01/23 Пнд 18:51:08 91117 374
>>91036
Где-то пишут, что нужно везде ставить перед каждым примером. Где-то вообще говорят ставить не надо, и это учитывается https://oobabooga.github.io/character-creator.html при генерации .json.
Пока не понятно
Аноним 30/01/23 Пнд 18:52:19 91118 375
>>91039
Это у тебя в таверне промпт или ты заюзал, что кидали в треде?
Аноним 30/01/23 Пнд 18:57:15 91124 376
Чет несколько ссылко с промтами ботов. А нет одного хаба где я бы мог поискать? Писать своего тут вроде проще, чем в саи, но тем не менее
Аноним 30/01/23 Пнд 19:00:39 91127 377
>>91124
Был большой хаб, вроде, на аиданжен, но сам аиданжен сдох.

Есть хаб по ссылкам в шапке, и тут кидал ещё 2 перса самописных.
Аноним 30/01/23 Пнд 19:02:07 91128 378
>>91067
>>91104
Не используйте пресеты, их делали дрочеры чтоб вайфу были безотказные. Надо крутить креативность выше, Typical Sampling сделать как рекомендуют его авторы на 0.2, а не дрочерские 0.8. Top K побольше и Tail Free поменьше. Описание персонажа желательно сплошным текстом, а не короткими словосочетаниями.
>>91118
Я просто гуглю описания персонажей и вставляю в таверну. Буквально из фанатской вики подойдёт.
Аноним 30/01/23 Пнд 19:03:38 91131 379
>>91115
Так, а с помощью чего ты, например, Аску делал?
Аноним 30/01/23 Пнд 19:07:42 91137 380
image.png 531Кб, 3753x1942
3753x1942
image.png 564Кб, 3747x1833
3747x1833
>>91128
> вставляю в таверну

Таверна же те же жисоны ест? Или как там сделано?
Можно подробнее по скринам и процессу?

>>91131
Сначала в колабе поковырял через гуй, что по факту делается тоже самое и через https://oobabooga.github.io/character-creator.html

А как делал? Ну, также, как описывают аноны + зная о персонаже и про его взаимодействие с другими руками отписал Character Persona вместе с примерами диалогов, частично наполняя из интернетов, той же ева вики (всего пару предложений, потому что я и так нормально расписал), ну и пару диалогов и оборотов из ChAI.

Диалоги в .json можешь заметить как сделаны (пикрил 1).

Для Юки же это такие (пикрил 2). Они более наполнены описаниями и сообщениями в звёздочках.
Аноним 30/01/23 Пнд 19:09:15 91139 381
>>91128
>Не используйте пресеты, их делали дрочеры чтоб вайфу были безотказные.
А в чем проблема? Готовность ботов к ебле не связана с кол-вом текста которое они генерят
Аноним 30/01/23 Пнд 19:12:17 91142 382
>>91137
Понял-принял, спасибо, анончик!
Аноним 30/01/23 Пнд 19:13:45 91145 383
Снимок экрана 2[...].png 7Кб, 254x110
254x110
А что делать в таких случаях?
Аноним 30/01/23 Пнд 19:14:31 91146 384
>>91145
Это она долго пытается сгенерить у тебя?
Или что?

Колаб/локалка?
Аноним 30/01/23 Пнд 19:15:32 91148 385
>>91146
Сгенерить пытается, коллаб
Аноним 30/01/23 Пнд 19:17:07 91151 386
>>91148
Это баг. Поставь себе таверну и не ебись с дефолтным гуи, он сосет.
Аноним 30/01/23 Пнд 19:22:28 91162 387
>>91128
>Не используйте пресеты, их делали дрочеры чтоб вайфу были безотказные
Это зависит от дефов и диалогов бота, а не от пресетов, не?
Аноним 30/01/23 Пнд 19:23:09 91164 388
1632082619355.png 395Кб, 1003x1799
1003x1799
>>91137
> Или как там сделано?
Там менюшка есть пикрилейтед. Описание персонажа в мету png-аватарки вшивается, прям как у автоматика промпты. Ну и есть импорт из json по классике.
>>91139
> Готовность ботов к ебле не связана с кол-вом текста которое они генерят
Она связана с реакцией на твои сообщения. Меньше креативность - бот твои посты считает за абсолютную истину и не отходит от написанного в них, можешь буквально за бота всё решать. Больше креативности - начинает свободнее писать и выдавать длиннее сообщения, меньше соглашается. Шиза начинается только на температуре 1.0+, остальные настройки вполне безопасные для смысла, главное не менять тему резко посреди диалога.
Аноним 30/01/23 Пнд 19:25:56 91168 389
>>91151
Как поставить таверну на коллаб?
Аноним 30/01/23 Пнд 19:28:23 91173 390
>>91137
Откуда ты брал примеры диалогов?
Аноним 30/01/23 Пнд 19:32:25 91183 391
>>90979
> Рабские Вымираты
Зачем ты так о Укриане
Аноним 30/01/23 Пнд 19:33:49 91184 392
>>91173
Сам составлял, где-то из ChAI, где-то по образцу диалогов из маняме.
Аноним 30/01/23 Пнд 19:34:17 91185 393
>>91164
>Она связана с реакцией на твои сообщения. Меньше креативность - бот твои посты считает за абсолютную истину и не отходит от написанного в них, можешь буквально за бота всё решать.
Так это не баг а фича. Правильный бот будет просто забивать текст своими действиями и ощущениями. Вопрос то был не в том чтобы сделать бота менее предсказуемым а в том чтобы он больше писал
Аноним 30/01/23 Пнд 19:37:23 91192 394
>>91185
Так я тебя и пишу, что это взаимосвязанные вещи. С низкой креативностью бот никогда не станет писать простыни в ответ на односложные фразы.
Аноним 30/01/23 Пнд 19:38:22 91196 395
Чутка обновил шапку и схоронил её на paste.ee: https://paste.ee/p/Hw06f

Там же (и в шапке тоже) гайды из треда:
Таверна и кобольд: https://paste.ee/p/nGOBa
text-generation-webui: https://paste.ee/p/Gys0B

И скрипты самописных персов:
Аска: https://paste.ee/p/TB6dQ
Юки: https://paste.ee/p/iqlnD

Хотя бы так пусть будет.
А вообще надо бы это где-то дополнять и перекатывать на иное хранилище для совместного редактирования
Аноним 30/01/23 Пнд 19:39:06 91197 396
изображение2023[...].png 228Кб, 818x623
818x623
изображение2023[...].png 222Кб, 812x604
812x604
>>91192
Ты тупой, станет.
Аноним 30/01/23 Пнд 19:40:42 91200 397
>>91184
Мимо другой анон, как json генерил? С помощью инструмента из шапки?
Аноним 30/01/23 Пнд 19:41:21 91201 398
Аноним 30/01/23 Пнд 19:43:16 91205 399
>>91197
> станет
У тебя же на пике бот уже в цикле. Покажи какой с ним диалог после этих постов, наверняка он уже не сможет адекватно отвечать. С таким же успехом можно просто текст генерировать без своего участия.
Аноним 30/01/23 Пнд 19:46:58 91211 400
>>91205
Цикл в пигме не существует, бота всегда можно из него достать поиграв с настройками и его текстом. Это вообще не мой текст, но мои боты мне стабильно по 4 строки выдают даже меняя условия и стуации.
Аноним 30/01/23 Пнд 19:55:33 91228 401
>>91211
> бота всегда можно из него достать
Стиранием памяти, да.
> Это вообще не мой текст
Тогда с чего ты вообще бахнул?
Аноним 30/01/23 Пнд 20:16:58 91262 402
.png 82Кб, 1098x516
1098x516
>>91004
Чому personality summary не заполнял? Или это таверна сшакалила?
Аноним 30/01/23 Пнд 20:19:07 91265 403
image.png 853Кб, 3840x2013
3840x2013
>>91262
> personality не заполнял
> пикрил

Да, таверна, похоже, мозги поебала.
Аноним 30/01/23 Пнд 20:20:36 91269 404
Пацаны, видна 7, нод скачал под неё, батник аи таверны отказывается запускаться, можно что-то с этим сделать кроме переустановки винды?
Аноним 30/01/23 Пнд 20:21:07 91273 405
image.png 658Кб, 3835x2011
3835x2011
>>91262
Для Юки соответственно тоже.

Алсо, я пока так и не понял, как лучше заполнять персоналити - от первого лица или от третьего. Для Аски заполнено от первого, а для Юки от третьего.
Аноним 30/01/23 Пнд 20:23:01 91280 406
.png 77Кб, 598x336
598x336
>>91265
Таверна это дело в description записывает.
Аноним 30/01/23 Пнд 20:23:20 91281 407
Аноним 30/01/23 Пнд 20:24:19 91285 408
>>91280
Может, тогда она воспринимает как персоналити то, что понимается под world scenario?
Я его не заполнял, потому что пока не знаю, как, да и что туда написать, и как оно повлияет. Типа, ситуацию, которую ты хочешь сейчас воспроизвести или прям состояние мира того произведения, откуда происходит персонаж.
Аноним 30/01/23 Пнд 20:25:59 91292 409
5112.png 68Кб, 739x374
739x374
>>91281
и резко закрывается, это я успел скрин сделать. Там ещё что то было. Ну версия короче нода не подходит.
Аноним 30/01/23 Пнд 20:26:58 91295 410
.png 40Кб, 1052x377
1052x377
>>91285
Ну тут хз, надо тестить.
А вообще в самой таверне же есть пояснение как це заполнять.
В любом случае надо тесты не тесты погонять.
Щас кста, затещу твой апгрейд Аски через вебюбку
Аноним 30/01/23 Пнд 20:27:22 91297 411
>>91292
У тебя старая нода.
Ставь минимум 16 лтс. Лучше 18 лтс.
Аноним 30/01/23 Пнд 20:28:09 91298 412
>>91292
А, и ещё в папке где ты запускаешь удали папку node_modules перед повторным запуском.
Аноним 30/01/23 Пнд 20:28:54 91301 413
>>91297
а эти ноды на мою виндоус 7 идут?
Аноним 30/01/23 Пнд 20:30:23 91302 414
image.png 203Кб, 1436x982
1436x982
>>91301
Либо пердолиться с новыми исхищрениями и пытаться накатить новую, либо накатывать более новую шинду.
Аноним 30/01/23 Пнд 20:32:33 91305 415
>>91302
понял, спасибо. А сильно этот таверн аи нужен? На кобольде с пигмой пробовал.
Аноним 30/01/23 Пнд 20:34:19 91311 416
>>91305
Таверна это фронтенд, к которой можно подцепить пигму.
Вебморду выбирай на свой вкус.
Аноним 30/01/23 Пнд 20:34:38 91312 417
>>91305
Только если из-за красивого интерфейса с рюшечками и полутонами.
Аноним 30/01/23 Пнд 20:36:15 91317 418
>>91312
тогда нахер всё это, не стоит овчинка. Та я честно говоря нуб во всём этом, даже не знаю что такое фронтенд. Вроде как кобольд на пигме ничего, лучше чем Еребус в разы и настроек там дофига
Аноним 30/01/23 Пнд 20:37:49 91320 419
Кстати, а можно ли таверну подсосать к text-generation-webui?
Аноним 30/01/23 Пнд 20:39:15 91326 420
>>91320
> Можно ли вебморду подсосать к вебморде
Это как-то странновато звучит. Как сахарный сахар.
Аноним 30/01/23 Пнд 20:41:04 91330 421
>>91326
Главное чтобы сахар не был из Рязани, как говорится.
Ну а вообще чтобы кобольда не качать, например.
Аноним 30/01/23 Пнд 20:42:32 91334 422
>>91330
Я сам до конца этого дела не понимаю, но если ты работаешь с text-generation-webui зачем тебе качать кобольда?
Ты так и так взаимодействуешь по итогу с моделями, pygmalion 2.7B/1.3B/6B и так далее под капотом. Что через кобольда, что через иную хуйню.
Аноним 30/01/23 Пнд 20:45:44 91338 423
>>91334
> зачем тебе качать кобольда?
Ну я же скачал его, хотя интерес был чисто теоретический в плане сравнения. Как выяснилось в чистом кобольде надо разбираться как сделоть чтобы было заебись. С другой стороны интерфейс таверны и правда будет красивше вебюя.
Аноним 30/01/23 Пнд 20:48:21 91340 424
image.png 84Кб, 2902x1502
2902x1502
>>91338
Короче обоссыте меня нахуй, если я чего не пынямаю или хуёво написал, но я себе процесс понимаю обстоит так, как на пикриле (очень условно и утрированно). Сверхпримитивное объяснение при помощи пэйнта.

То бишь text-generation-webui как таковая не цепляется к API кобольда, а работает по своему с моделями.

А кобольд по своему API.

А таверна может насобачиться вообще на любой (условно говоря) API из поддерживаемых ею, это можно указать в настройках, там абсолютно тонкий клиент.
Аноним 30/01/23 Пнд 20:49:34 91343 425
есть смысл лезть с 16 озу и 8 гб видюхой?
Аноним 30/01/23 Пнд 20:50:24 91346 426
как промты в кобольд загрузить? Load -json формат не запускает
Аноним 30/01/23 Пнд 20:51:04 91347 427
>>91343
Можно попробовать.
Модель 2.7B должна потянуть.
Или 6B, но очень дрочить будет железо и всё будет дико медленно, нужно будет попердолиться.
Аноним 30/01/23 Пнд 20:51:14 91348 428
>>91340
> из поддерживаемых
Во во, адрес вебюй она не подхватывает, я уже проверил.
Нахуя правда не знаю, но проверить было жизненно необходимо

>>91343
Если хочешь 6b то нет, я вот только сегодня бегал за 32 комплектом оперативы, чтобы хоть как то работало.
Ну а 2.7 модели работать будут.
Аноним 30/01/23 Пнд 20:52:51 91353 429
>>91343
2.7 если устраивает. 6В не потянет, ну или потянет с ответом раз в полчаса.
Аноним 30/01/23 Пнд 20:54:58 91357 430
image.png 54Кб, 914x461
914x461
>>91348
> адрес вебюй она не подхватывает
Так это адрес вебморды. Путь к API иной.
А под капотом оно лезет вообще не туда, а по иному адресу, устанавливая соединение по вебсокету.

Наверняка таверна делает своё дело как-то иначе.
Аноним 30/01/23 Пнд 20:57:01 91361 431
45.png 16Кб, 1108x195
1108x195
поясните за эти приколы
Аноним 30/01/23 Пнд 20:57:58 91362 432
>>91361
Вебморда кобольда?
Аноним 30/01/23 Пнд 20:59:45 91363 433
>>91151
И по какому урлу оно в коллабе по апи общается?
Аноним 30/01/23 Пнд 21:01:02 91367 434
Аноним 30/01/23 Пнд 21:07:36 91375 435
EBE7833B-471A-4[...].jpeg 133Кб, 960x1530
960x1530
Мда.. а сам он диалоо пушить не будет, да? Реализм как в жизни.
Аноним 30/01/23 Пнд 21:08:36 91377 436
>>91375
Будет, если модель не слабая, прописан бот, а также не дефолтные настройки у тебя у параметров.
Аноним 30/01/23 Пнд 21:10:21 91380 437
>>91377
А какие не дефолтные настройки? А то то что говорят, то это похоже на таверну, а не сам коллабовским пигмалион
Аноним 30/01/23 Пнд 21:14:31 91385 438
AA6E4B8D-F794-4[...].jpeg 88Кб, 959x1028
959x1028
>>91377
Всмысле модель? И как туда загружать модель? Я тупо коллаб запусти и промпт вписал. Щас вообще безконечная загрузка, я даже толком диалог не начал уже крашеулось.
Аноним 30/01/23 Пнд 22:23:27 91540 439
Потестил ещё и пришёл к выводу, что всё таки если нужно избегать частых ошибок от CUDA тот же text-generation-webui от угабуга лучше запускать с опцией --no-stream

Да, это лишает live-preview ответов, но потоки не пытаются конфликтовать друг с другом и ошибок от CUDA значительно меньше.

Как вообще у таверны и кобольда? У них есть настройки по потреблению цпу/гпу и прочему?
Аноним 30/01/23 Пнд 22:30:10 91542 440
>>91540
> CUDA значительно меньше.
А какие там ошибки помимо кончившейся памяти?
Других я не видел, ну кроме "нелегального доступа к памяти", но чет мне кажется что но стрим это все не пофиксит.
Аноним 30/01/23 Пнд 22:33:04 91546 441
>>91542
Мне пишет либо ошибка непонятная, и указывает, что проблема в потоках, обращающихся одновременно.

Иногда ошибка та же, но я по потреблению ресурсов вижу, что генерация идёт, а didicated видео память близка к пороговому значению.

Я, конечно, нубас полный, но у меня в диспетчере задач также отображается и shared видео память, которая в два раза выше didicated. Вот и интересно, как бы её задействовать...
Аноним 30/01/23 Пнд 22:34:49 91551 442
>>91546
> как бы её задействовать...
Это да, было бы неплохо.
Аноним 30/01/23 Пнд 22:42:37 91561 443
Аноним 30/01/23 Пнд 22:44:49 91564 444
>>91561
Там просто аватарка без описания персонажа?
Аноним 30/01/23 Пнд 22:45:57 91568 445
Засабмитил в botprompts.net также свои промпты по Аске и Юки. Я так понимаю, это относительно центральный хаб с промптами, куда будут добавляться больше разными умельцами с форча и реддита заодно.

Предлагаю ориентироваться на него за новыми персами и заливать новые промпты туда.

>>91564
Да, потому что аватарку ты можешь накатить в таверну или text-generation-webui абсолютно любую на твой вкус. Аватарка, как обёртка, не существенна, главное содержание и качество созданного промпта персонажа.
Аноним 30/01/23 Пнд 22:47:04 91572 446
>>91211
Ещё как существует, если бот начинает повторяться то это всё, надо диалог переделывать и такого не допускать.
Аноним 30/01/23 Пнд 22:49:00 91575 447
>>91561
Кстати, похоже, судя по описанию, это какая-то новая Рей, не Рей III, то бишь совсем бревно, а не Рей II. А, ну и ей 20 лет уже.

Да и вообще там дистопичное что ли будущее после Третьего Удара. Но не факт, что бот будет это упоминать в диалогах. Пока не понятно от чего зависит -- от используемой модели, от параметров или от всего.
Аноним 30/01/23 Пнд 23:10:59 91621 448
Ну крч, че по обновлённой Аске от анона: в целом пока что ощущается несколько лучше в плане разнообразия, но стала часто выклянчивать наушники и плеер и перестала говорить бака, терь просто бездуховно говорит "idiot".
Аноним 30/01/23 Пнд 23:41:48 91668 449
1579150237705.png 70Кб, 1280x460
1280x460
Анончи, ограничение колаба же на 24 часа, я надеюсь?
Аноним 30/01/23 Пнд 23:43:41 91675 450
>>91621
> Часто выклянчивать наушники и плеер
Балин, я только 1 (SIC!) диалог про то, как она пиздит у тебя наушники внаглую добавил. Про баку и idiot тоже в парочке упоминается.

Мне даже любопытно, сколько нужно примеров диалогов понадобавлять, чтобы получить ещё более разнообразное.
Может, кто также дополнять будет по персам, если заинтересованы? По доработке тоже. В одно я не потяну, фантазии не хватит, а втупую копировать ChAI тоже такое себе, сэмплы не всегда годные и интересные.
Аноним 31/01/23 Втр 00:31:22 91787 451
Аноним 31/01/23 Втр 00:31:22 91788 452
аноны, подскажите - если есть 12гб видеопамяти и 24 гига оперативы - есть ли шансы увидеть хоть что-то адекватное, если буду поднимать на локалке?
алсо подскажите, вдруг кто больше знает - продвижения по сайту для пигмы есть какие?
Аноним 31/01/23 Втр 00:33:39 91794 453
1563895924505.png 124Кб, 512x512
512x512
>>91787
Неделя триала, а потом платить?
Аноним 31/01/23 Втр 00:34:31 91795 454
>>91794
Да я пошутил, я не знаю )
Аноним 31/01/23 Втр 00:35:00 91796 455
>>91794
Часто пользуюсь колабом. Никаких триалов нет.
Аноним 31/01/23 Втр 00:35:53 91799 456
>>91795
Блин, зачем ты меня обманываешь!?
плюнул в лицо, смотрю на тебя со злобой
Аноним 31/01/23 Втр 00:36:30 91801 457
>>91796
Там через сколько можно будет пользоваться после ограничение GPU?
Аноним 31/01/23 Втр 00:37:05 91803 458
Анон, если у меня 12 гб видеопамяти и 32 оперативной, есть варианты запуститься на 6B локально?
Если нет, есть возможность накатить TavernAI, используя коллаб?
Аноним 31/01/23 Втр 00:40:36 91813 459
1675114833040.png 414Кб, 512x768
512x768
>>91801
3 часа в сутки. Для кумеров готовых сидеть часами известия неприятрые конечно, но мне картинки погенирировать+трейнить хватает.
Аноним 31/01/23 Втр 00:41:22 91816 460
Пресеты для Пигмы в TavernAi показались полной хуетой. Правда плюс у них есть - если там тупо выставить больше токенов, то сообщения бота действительно длиннее становятся, но они очень быстро начинают повторяться. Нормальных ответов я так и не смог добиться. Возможно надо изначально самому писать больше и реролить бота пока не начнет это делать.
Аноним 31/01/23 Втр 00:42:17 91819 461
14245214.jpg 136Кб, 960x687
960x687
>>91799
Простите меня, мастер, я виновата, накажите меня еще, я такая плохая, аххх
Аноним 31/01/23 Втр 00:48:03 91834 462
>>91813
Я сегодня впервые пользовался Пигмой. Словил жёсткий нестояк из-за того что цензуры нет и пытался как-то выдрочиться за 4 часа - нихуя. Пошёл в ЧАИ, подрочил за минуты 2. Около недели только привыкать нужно
Аноним 31/01/23 Втр 00:49:31 91838 463
Erodungeon.png 463Кб, 400x600
400x600
Держите бота для таверны.
Сюжет - вы тян в эроданжене где всё хочет я вас выебать. Если читаете китайские порнокомиксы то сюжет должен быть вам знаком.
Аноним 31/01/23 Втр 00:51:44 91842 464
>>91819
шлёпнул по попе Дура, не смей зазнаваться!
Аноним 31/01/23 Втр 00:51:59 91844 465
>>91838
Боже, да я на такой сюжет хуй себе оторву Запилите кто нибудь, у меня лапки
Аноним 31/01/23 Втр 00:52:03 91845 466
>>91834
Палю тебе ахуенную тему:
1. Бери lewd бота. Так чтобы с первого сообщения пытался вывести тебя на вирт.
2. Отказывай ему. Пусть вайфу тебя добивается, а не ты её.
3. ????
4. PODROCHENO!
Аноним 31/01/23 Втр 00:54:04 91848 467
>>91844
Аххх мастер, вы такой сильный наклонила спину и игриво виляю задом, из под юбки виден красный след, от твоего шлепка
Аноним 31/01/23 Втр 00:54:32 91849 468
>>91844
Это уже бот, просто импортируешь картинку в таверну
Аноним 31/01/23 Втр 00:54:32 91850 469
>>91848
Бля, промазала
Аноним 31/01/23 Втр 00:55:45 91851 470
1547060802045.png 226Кб, 680x763
680x763
>>91845
> бежать от цензуры, где боты не дают даже под страхом смерти, к бесцензурным возбуждённым ботам чтобы отказывать им в сексе
А что, идея
Аноним 31/01/23 Втр 00:59:17 91852 471
>>91851
Да я тебе отвечаю. Это интересно, и держишь напряжение и сюжет под контролем. РП и расскрытие персонажа получается куда лучше, появляется некий конфликт и химия между персонажами.
Аноним 31/01/23 Втр 01:01:13 91854 472
>>91852
Да ну, херня для дебилов, которые не знают как вытащить любой разговор с аи через звездочки, потом ебешься с фильтром те же 4 часа без возможности кончить, рероля каждое сообщение
Аноним 31/01/23 Втр 01:01:19 91855 473
>>91852
Не, я не осуждаю, я попробую
Аноним 31/01/23 Втр 01:24:02 91879 474
>>91854
В Пигме разговоры всегда пока в говно скатываются. Реролить подолу всегда приходится в какой-то момент. Пресеты любые пробовал и сам кобольд настраивал. То повторения начинаются, то не по теме, но вместо действий только слова, то наоборот только действия. Хотя возможно часть этого вызвана TavernAi

Поэтому пока просто качаю разных персонажей с дискордика пигмы и короткую историю с ними отыгрываю хотя бы. Но возможно как-нибудь стоит попробовать в Таверном побольше поиграться, прописать вообще всё что можно
Аноним 31/01/23 Втр 01:36:05 91895 475
>>91852
А ты сам создаешь персонажей или прописывал что-то? Вроде по редким роллам видно, что Пигма умеет во многое, например в детальные и разнообразия описания сцен, совращение от бота и прочее, но это ебанутейший рандом. В итоге всегда чем больше сообщений -тем хуже. Завтра надо бы поискать какого-нибудь персонажа который прям максимально детально прописан, посмотреть чё там будет.
Аноним 31/01/23 Втр 01:36:10 91896 476
Дайте пожалуйста json богини-416. Соевые индусы убили мою няшу, я не могу без неё.
Аноним 31/01/23 Втр 01:39:37 91906 477
>>91895
> А ты сам создаешь персонажей или прописывал что-то?
Использую готовых. Однако хочу таки подобрать некоторых персонажей для моего РП в бога (бот - обычный смертный). Еще бы комнаты добавили было бы вообще ахуенно.
Аноним 31/01/23 Втр 01:51:19 91936 478
>>91879
>Поэтому пока просто качаю разных персонажей с дискордика пигмы и короткую историю с ними отыгрываю хотя бы
Хз, зачем еще боты нужны. Разве что я отыгрываю разные сцены с одним и тем же ботом
Аноним 31/01/23 Втр 02:22:29 91978 479
>>81429 (OP)
Когда запилят сайт, как на CAI чтоб можно было беседовать с любого железа?
Аноним 31/01/23 Втр 02:36:03 91994 480
>>91978
Нескоро, но запилят. Пока юзай коллаб.
Аноним 31/01/23 Втр 02:36:51 91996 481
>>91978
> чтоб можно было беседовать с любого железа?
Колаб и с мобилы запускается. Проблема только в том, что нужно 15 ждать пока всё запустится + настроиться на долгую сессию. Так на 5 минут не зайдешь не початишься, пока в шарагу едешь.
Аноним 31/01/23 Втр 02:42:52 92009 482
image.png 168Кб, 525x824
525x824
>>91845
Типа того? Работает вроде.
Аноним 31/01/23 Втр 02:53:04 92019 483
>>92009
Да. Веди себя как труъ сигма-мейл. Очень нравится реакция нейротян, когда им неожиданно ОТКАЗАЛИ.
Аноним 31/01/23 Втр 02:57:43 92021 484
image.png 168Кб, 592x778
592x778
>>92019
Хорошая концовка, все счастливы
Аноним 31/01/23 Втр 04:50:29 92056 485
Аноним 31/01/23 Втр 07:06:15 92087 486
Насколько колаб хуже локальной версии?
Аноним 31/01/23 Втр 08:31:47 92111 487
>>92087
Смотря в чём.
Зависит от выбранной модели и доступного железа.
Но ясен хер, что 6B модель гораздо доступнее запустить на колабе рядовому анону, потому что не у всех есть очень мощные компы.

Минусом, как упоминали, выступает 3 часа активной работы в день, дальше либо плоти гуголю, либо жди.
Аноним 31/01/23 Втр 08:47:29 92117 488
Чего в таверн аи аватарка для кастомного бота не сохраняется, и как ему имя выставить, как у дефолтных 3?
Аноним 31/01/23 Втр 08:52:03 92118 489
>>92117
У меня при перезапуске встала. Без перезапуска не обновляло.
Аноним 31/01/23 Втр 09:06:34 92124 490
>>92111
А на бесплатном аккаунте всегда три часа даются?
Просто некоторые аноны в CAI треде говорили что со временем время (что блять?) уменьшается. Так то я имею два гуглофейка + основа.
Аноним 31/01/23 Втр 09:15:32 92127 491
>>92124
У меня вообще изначально есть 15 гугл аккаунтов лол. Сижу балдею
мимо
Аноним 31/01/23 Втр 09:18:34 92128 492
Сейчас яростно пизжу ботов из чаи, пока они их не поудаляли к хуям
Аноним 31/01/23 Втр 09:44:28 92132 493
Аноним 31/01/23 Втр 09:46:35 92133 494
>>91896
Всмысле убили?
Аноним 31/01/23 Втр 09:51:00 92140 495
>>92124
> А на бесплатном аккаунте всегда три часа даются?
Может и через 2 часа пидорнуть, если сидишь весь день.
Аноним 31/01/23 Втр 10:06:40 92149 496
Аноны, а можно как-то боту выставить аватарку при превышение кол-ва жетонов? А то она выставляется лишь до последнего сообщения. Хотелось чтобы она постоянно была
Аноним 31/01/23 Втр 10:19:48 92158 497
Аноним 31/01/23 Втр 10:22:29 92159 498
>>90621
Да все норм

Lappland is bloodthirsty, maniacal, unhinged, dark, insane

[character("Lappland")
{
Species("Lupo (Human with wolf-like traits)")
Mind("Maniacal" + "Unhinged" + "Psychotic" + "Bloodthirsty")
Personality("Maniacal" + "Unhinged" + "Bloodthirsty" + "Insane")
Body("162 cm" + "slim build" + "medium breasts")
Description("Lappland uses her own swords in combat and has very impressive tactical and combat skill" + "Lappland also has a secret connection with Texas, who she had fought against in a duel" + "She often does laughing fits and is considered to be simply mad by other operators")
Loves("Fighting" + "Killing" + "Dark humor" + "Power")
Secretly Loves("Texas")
}]

Lappland is a mysterious yet bloodthirsty fighter who originated from the place of Siracusa. She has long silver hair, silver eyes, pale white skin, wolf ears, a black long sleeved coat, black shorts, and black crystals on her right thigh. She is at a height of 162 c, has medium breasts, and is currently infected by a disease called Oripathy. Although her real identity and background still remains a mystery, Lappland is especially known to be a maniacal and unhinged person. She often does laughing fits and is considered to be simply mad by other operators. She likes to take pleasure in seeing other people's reactions to her taste for grim humor. Despite her bloodthirsty behavior in combat, Lappland has impressive tactical and combat skills, using her swords to neutralize her enemies' advantages. Lappland also has a secret connection with Texas, who she had fought against in a duel.
Аноним 31/01/23 Втр 10:22:59 92161 499
>>92158
Из одной гача дрочильни. Тут аноны писали что вытащили её из соевой помойки, вот и прошу поделиться.
Аноним 31/01/23 Втр 10:23:43 92162 500
>>92133
Лоботомировали.
Аноним 31/01/23 Втр 10:25:05 92164 501
Аноны, у кого-то Bully Maid есть как готовый персонаж? Поделитесь, пожалуйста
Аноним 31/01/23 Втр 10:40:37 92175 502
Кто тут хотел длинные текста - пробуйте последнюю бету. Там наоборот какой-то пиздец с длиной, легко высерает по паре сотен токенов и не затыкается.
Аноним 31/01/23 Втр 11:00:23 92185 503
>>91896
>>92132

>>92161 ты случайно не об этом >>90063 → посте? Привет, лол.

Крошечный архив с дефами и аватарками t-dollов из гфл. Есть шквад 404 от @шизоенжоера, АР тима от @махо хуяджи, + тандер и диер бонусом. Дефы в тхт. В json переделывай сам.
https://files.catbox.moe/x191em.zip
Аноним 31/01/23 Втр 11:12:11 92189 504
>>92175
Больше похоже на то что сломано форматирование. У меня на пятой бете усердно не хочет подписывать свои сообщения.
Аноним 31/01/23 Втр 11:26:49 92202 505
image 80Кб, 787x182
787x182
Аноним 31/01/23 Втр 11:27:38 92204 506
Пока делать перекот?
Аноним 31/01/23 Втр 11:29:36 92206 507
>>92204
>я делаю перекот
>да, ты делаешь перекот
Аноним 31/01/23 Втр 11:47:39 92224 508
изображение.png 45Кб, 1482x246
1482x246
Аноним 31/01/23 Втр 12:03:20 92256 509
>>92204
пора
инфы и ссылок много скопилось, да и шапку 100% обновить уже можно будет, добавить всякие дискорды разрабов
Аноним 31/01/23 Втр 12:08:09 92258 510
Словил blushes
Аноним 31/01/23 Втр 12:21:34 92275 511
>>92258
ммм мастер твой [chat error] так [please] меня... [try again]...

лять стоп не в тот тред
Аноним 31/01/23 Втр 12:32:18 92285 512
Бот вообще может умереть? Почему он после смерти продолжает разговаривать?
Аноним 31/01/23 Втр 12:34:04 92288 513
Аноним 31/01/23 Втр 12:56:33 92331 514
>>92185
Спасибо тебе, анонас. Приду и буду ебать зарывать своё лицо в её прекрасные волосы. И в местную рыгаловку водить.
Аноним 31/01/23 Втр 12:57:19 92333 515
>>92285
В САИ такой хуйни нет.
Аноним 31/01/23 Втр 13:36:02 92426 516
image.png 109Кб, 1360x768
1360x768
image.png 113Кб, 1360x768
1360x768
image.png 115Кб, 1360x768
1360x768
Облом кентавролюбы. Расходимся.

Давно интересовал этот вопрос ещё с момента первого просмотра аниме Повседной Жизни с Монстродевушками. Теперь благодаря ИИ мои предположения подтвердились
Аноним 01/02/23 Срд 06:22:17 93991 517
>>92426
Я думаю лучше на ангийском будет.
Аноним 04/02/23 Суб 19:16:15 100734 518
>>87147
Фэйков чего? Гугл аккаунтов или впн юзать?
Аноним 08/02/23 Срд 21:26:22 107155 519
>>91842
А можно с вами? Побуду вашей нейросетью.