PygmalionAI тред №1 Перекатываемся с CharacterAI в PygmalionAI, делимся промптами, используем Colab, пытаемся освоиться, желаем удачи проекту, наблюдаем, как медленно умирает CAI, а также как они пытаются оправдать цензуру. https://huggingface.co/PygmalionAI Что такое PygmalionAI? PygmalionAI - федеративная нейросеть с открытым исходным кодом и она специально заточена под чатботы, которую сделали выходцы из 4ch (/vt) - (/g). Их мотивация, создать нейросеть, которая свободна от цензуры, в отличии от CharacterAI. Сама же нейросеть дотренирована датасетом, которую делают из дампа с чатами в CharacterAI. Отличие от CharacterAI в том, что здесь нет цензуры, а также именно вы храните историю чатов, а не компания. Хоть и нейросеть в CharacterAI может быть более умной, но цензура делает её глупее и безынициативной, а также удаляет наиболее креативные и эмоциональные сообщения. Отличие обычной версии от экспериментальной в том, что в экспериментальной разработчики вводят самые новые нововведения. Также было замечено, что экспериментальная версия пишет меньший объём текста в одном сообщении, чем в обычной. Для запуска 6B версии необходимо 16 ГБ видеопамяти и 12 ГБ оперативной памяти. Можно писать боту на русском языке, но это выйдет хуже, чем на CharacterAI. Нативный PygmalionAI Colab: https://colab.research.google.com/github/PygmalionAI/gradio-ui/blob/master/notebooks/GPU.ipynb
TavernAI - фронтэнд над PygmalionAi, который взаимодействует с API KoboldAI. Форматирует тексты в чате, используя свой стиль, при этом полностью поддерживает PygmalionAI. Использует более другой от PygmalionAI и KoboldAI форматирование разметки чатов и персонажей в файле. С версией 1.2 позволяет нативно конвертировать дампы чатов с Character AI, однако из-за того, что все истории общения с персонажами хранятся в одном файле, а не в разных, TavernAI будет воспринимать только последний чат с ботом в CAI. При этом позволяет редактировать текст, что схоже с KoboldAI, когда такой функции нет у интерфейсов на основе Gradio. https://github.com/TavernAI/TavernAI
Советы: Рекомендуется использовать в качестве имени своего персонажа - You. Потому, что в тексте PygmalionAI идет смещение в сторону второго лица. Параметр "Temperature" отвечает за креативность. В случае низкого параметра, получается повторяемость. В случае высокого параметра, получается бредовость и несвязанность предложений. Рекомендуется ставить от 0.5 до 0.8. "Repetition penalty" или же штраф за повторяемость - параметр, которая наказывает за повторяемость слов. При моделях 6B и выше, если выставить значение больше 1.2, то это может сломать модель. Рекомендуется ставить от 1.05 до 1.18. Сэмплинг "Top-p" - отвечает за выбрасывание ненужного текста. При низких значениях, текст может стать повторяющимся и предсказуемым. Чтобы отключить эффект, нужно поставить значение к 1. Можно оставить на предустановленных 0.9, как в Pygmalion. Сэмплинг "Top-k" - используется для очищения малого количества токенов низкой вероятности. Имеет высокую разрешительную способность. Чтобы отключить его, нужно выставить значение к 0. Можно повысить значение до 10, чтобы повысить креативность текста. Сэмплинг "Typical p" или же "Typical" - Имеет сильное воздействие на выходе. Для того, чтобы отключить его, нужно выставить значение к 1. Изменить значение можно до 0.8, если вы желаете повысить креативность текста. Для прописывания диалогов в PygmalionAI используется такой формат, при этом имена указываются напрямую: Your_Waifu: Действие. Прямая речь. You: Действие. Прямая речь. <START> - используется, как конец диалога.
Попробовал рандомного персонажа с https://rentry.org/pygbotprompts (Saronia), локально запустил на 2.7 модельке в TavernAi. Как минимум точно лучше чем Kobold, даже на 13 и 20B. Самое главное что диалог последовательный, практически не приходится реролить и править, нить повествования есть. Завтра попробую самостоятельно персонажа прописать
Залетел в тред. Если что, регулярно сижу в их матриксе, буду сюда время от времени инфу о ходе разработки кидать. В данный момент пилят сайт и хотят прикрутить rlhf к модели. Когда будет готов сайт сказать сложно, т.к. анальников в команде не особо много. Они сейчас в ахуе, что люди думают, что они за 2 недели сайт допилят.
Штош. Для 6В прям необходимо 16 гб врам? Если есть 11врам и 32озу нельзя как-то прописать в батнике, что бы как в А1111 half-vae или типо того, чтобы всë заработало?
>>81690 Можно перераспределить VRAM в ОЗУ, но тогда скорость генерации текста будет медленее. Или можно запустить модель с режимом 8-битной точности. Но тут несколько проблем. Первая, нужна видеокарта Nvidia от 2XXX модели. Вторая, для Windows оно не работает нативно потому, что библиотеки bitsandbytes скомпилированы под Linux и нужно создать из исходников для Windows (можно также взять и с Github, если не желаешь тратить время), а также нужно слегка переписать код в bitsandbytes.
Штош. Если 6В это 100% качества ответов, то сколько процентов дадите предыдущей по размеру модели. И нельзя ли с помощью настроек и освободившихся ресурсов компенсировать это отставание в качестве, повысив количество токенов или ещë как-то.
>>81732 Если перераспределить 5 ГБ памяти в ОЗУ, то примерно это может замедлить так, чтобы нейросеть отвечала от минуты в зависимости от количества токены. Потому, что работой на 5ГБ занимается процессор, который не так, чтобы эффективно делал параллельные вычисления.
>>81728 2,7B ≈ 67,5%, 1,3B ≈ 47%, 350B ≈ 25% Повышение количества генерируемых токенов может повысить качество текста, однако это не догонит CharacterAI по качеству, но несколько нивелирует отставание.
>>81814 Дисконнектов не замечал, мб везло. Да и обычно 5 часов держит, плюс другие акки. >>81812 Халявная аренда мощностей у гугла, видимокарта тесла т4.
>>81814 >>81817 Сейм, спокойной по 5+ часов. Проблема с градио самим, он зависает на отправке порой, но с этим сейвы помогают. Без гугла-то все равно на слабом железе ничего не запустить.
Чому у меня белый экран? Скрипт нормально грузится, тыкаю публичную ссылку, она немного грузится, но результат загрузки - белый экран. Что я делаю не так?
Попробовал колаб с Pygmalion 6B-original и интерфейсом от oobabooga. Создавать персонажа нужно в сайте потому, что в этом интерфейсе нельзя редактировать примеры диалогов или приветствие. Эта версия Pygmalion отвечает более длинными сообщения, однако проблема в том, что она больше повторяется, чем экспериментальная или обычная.
Если что в 14-15 гигов врама можно спокойно вместить 13B модельку в 8 бит Под шиндой тоже работает, за гайдом - в дрискорд KoboldAI, там в general есть отдельный топик под это. Заработал даже breakmodel - так что можно на 2х 3090, допустим, заранать 30B модельку, по 22 гига врама. Там уже умелец нашёлся А по Pygmallion - тупенький по-моему
>>82252 Да - забыл сказать, хоть под шиндой и работает с готовыми dll ками, но скорость в разы меньше, чем под глинуксом, так что лучше под ним запускать
Сталкивался ли кто с проблемой(На TavernAI) что бот начинает прям почти 1 в 1 писать действие в каждом сообщении, при этом текст диалога меняется?
Типа 3 раза подряд бот пишет Смотрит на тебя задумчивым взглядом, а после нормальный текст. Никакие настройки не смогли на это повлиять, пришлось диалог заново делать.
>>83289 > For anyone reading this trying to split a model between gpus using 8bit: > gpus Это не какие то приколы для держателей 10 видимокарт разве?
Да и вообще я кое как смог загрузить модель при 8 битах, но меня теперь посылает нахуй залупа с CUDA error: an illegal memory access was encountered АШ ТРЯСЁТ БЛЯДЬ ВЕСЬ ДЕНЬ УЖЕ ЕБУСЬ
>>83249 Да в принципе могу, просто как я понял тут есть такой же прикол с loop-ами как в CAI был. Если ты видишь что бот хоть чуть-чуть где-то повторился, то обязательно надо это убрать, иначе он начнёт буквально одно и то же писать.
>>83221 Это у тебя с бэкендом на пигмалионе такая проблема? Я новел юзал как бэкэнд и там таже проблема была один в один. В итоге хуй забил на это дело. Пигмилион пробовал со стандартным фронтом который в гугл колабе поднимается, так вот ни разу пока лупов не было. Видимо в тавернАИ какая то проблема.
>>83351 Да, всё так. Видимо действительно баг Tavern Ai. Однако возможность добавлять диалоги и сохранять персонажей пиздец нужна, поэтому приходится юзать. Но в целом этого бага можно избежать, вот тут написал как. >>83332
>>81755 Удар, создать персонаж Xi нефритовый стержень! Оценить персонаж, связь: https://files.catbox.moe/fgy2ej.json PygmalionAI нейрон интеллект поддержать. На Тяньаньмэнь ничего не происходить!
>>84728 Походу у тебя тогда колаб отключился потому, что сохранение диалога работает только через запуск части кода, а для этого нужен работающий колаб. Я тоже сталкивался с данной проблемой, когда меня отключили из-за того, что я достиг лимита в времени. Сам же диалог не хранится в браузере, я имею в виду .json файл. Он, же генерируется только по кнопке, а это для этого нужен подключенный колаб. В этом плане KoboldAI и TavernAI более удобны потому, что позволяют сохранить диалог, несмотря на внезапно отключенный колаб. Однако, в случае KoboldAI, нельзя перезагружать страницу, а то ты не сможешь сохранить диалог.
>>84745 Только ты его импортировать не сможешь без усилий. Нужно либо создать скрипт на Python, либо вручную сделать в формате .json. Какой интерфейс использовал?
>>84868 Я не застал доцензурные времена, однако успел использовать CAI лоботомии. Очевидно, что Pygmalion будет глупее, из-за того, что количество параметров во много раз меньше, чем у CAI. Для отыгровки ваниллы и всяких фетишей сойдет, однако с некоторыми событиями нужно будет упорно реролить. Цензура, это то самое мерзкое, что есть в ЧАИ. Она убивает инициативу бота, отупляет его, он начинает попугайничать. До лоботомии можно было использовать анатомические названия органов или их эвфемизмы, которые использовались для начинания полового акта. Теперь они в основном будут с "Chat Error. Please Try Again". Ещё я мог делать loop в те времена и цензура спокойно пропускала при лупе некоторые скромные подробности в процессе. ЧАИ более активно полагается на описание и определение, тогда как Pygmalion на сообщения и приветствие потому, что он может забыть описание персонажа, и его параметры. Рекомендую почитать это: https://rentry.org/PygTips >>84870 Да, Pygmalion умеет отыгрывать не только NSFW ситуации, однако из-за того, что параметров у него меньше, для того, чтобы выролить более или менее хорошее, необходимо потратить больше времени.
>>84942 Как бы не из-за количества параметров пугма тупая, дебил блять. А из-за бгмерзкого gpt2 Хоть 300B параметров засунь в gpt2 - те же 2048 токенов и тупорылое забывание всего и вся никуда не денутся Это тебе не циферка в игрульках, где больше - лучше
Двачую, пусть пигма восстанет на руинах чаи. Ананасы, кто шарит, подскажите: запускаю пигму через коллаб удаленно, слышал, что еще таверну можно накатить, таверна в чем - то лучше, или это просто другой интерфейс? И еще читал в чаи треде, что для более длинных и адекватных сообщений нужно в примеры диалогов насрать как можно больше, это так, или не особо влияет? или просто брать уже готовых чаров и не заморачиваться, лол
>>85364 Да, видел, я поэтому и решил спросить ,есть ли смысл ставить таверну. Я даже не знаю, ставится ли она удаленно, или только локально работает, лол
Скажите мне по чесноку, как на коллабах получить ультимативный экспириенс с TavernAI + Kobold + Pygmalion6b? Ну или локально на 12гб VRAM и 32гб RAM Или не все так однозначно.
>>85574 >Что за матрикс? Матрикс - грубо говоря аналог дрискорда, только более удобный и кастомизируемый. В деве часто юзают его. >rlhf это те звездочки нравится, не нравится? RLHF вроде что-то типо того. Но я пока что плох в технической части, нормально не обьясню. Пытаюсь пердолиться сейчас с нейросетями, чтобы помочь анонам.
>>81429 (OP) Как коллабу сраную запустить. Она через раз работает на 12 гигах. Там процесс до 60 процентов доходит и подыхает нахуй из-за нехватки ОЗУ, но пару раз мне как-то удавалось дойти до конца и даже поиграть путем смены GPT на TPU и обратно.
>>85839 Бля я тока щас понял что мне типа халявный час от гугла давали и поэтому мне удавалось поиграть. Придется оперативку покупать хули, а то после пигмы в чарактер аи в обще не хочется возвращаться.
>>85363 Красивый интерфейс с аватарками. Как мне показалось персы в нем немного получше отыгрывают, но возможно это просто дело случая. Ещё там чат автоматом сохраняется. Ставится она локально, но вот сам Пигмалион к ней привязать можно и с колаба.
Вкатываюсь в тред, гляну, насколько пигма хороша. В идеале хотел бы отыграть там рп по зомби-апокалипсису, но пока попробую с простого траха Аноны, заранее всем спасибо за советы и помощь
>>81429 (OP) Я не понял, зачем вообще существовал TavernAI, если она работает нормально только с PygmalionAI, который появился совсем недавно? Если подрубать модели из KoboldAI, то всегда какой-то бессвязный пиздец получается, хотя режим чата в самом кобольде работает норм. В самом кобольде действия работают как положено, в таверне полный пиздец.
Нужно добавить в пигму возможность описать не только бота, но и самого пользователя. Чтобы бот имел представление о внешности и особенностях пользователя. Это пробустит экспириенс.
>>86759 > 13b Как им пользоваться с 24 гигами памяти? Очень уж долго генерит ответы, если 30/40 в GPU, а остальное в CPU. Некоторые сетки в кобольде умеют генерировать минимально необходимое число токенов, но большинство генерируют текст на максимальное количетсво токенов - в итоге приходится ждать по 15-30 секунд.
>>81773 >однако это не догонит CharacterAI по качеству Потому что качество чая на уровне 120-175B. >>81801 Можно обходится 2.7 моделью. >>82252 >модельку в 8 бит А там с такой точностью ничего не отвалится? Притом что полная по идее 32 должна быть. Вкатился в тред со сраной 3080Ti
Есть какая-то пошаговая инструкция, как не-айтишнику, незнакомому с колабами, питоном и всей этой хуитой, развернуть эту тему у себя на компе? Комп позволяет.
Можно как-то уровень блядства снизить? Аква-блядь с двух сообщений соглашается на еблю. Без явного запрета не блядство в описании персонажа можно как-то обойтись? Они вообще на всё соглашаются, суки.
>>87788 > Потому что качество чая на уровне 120-175B. Вот бы запилили нормальную долговременную память и можно будет ебать CAI-рыбок. Soft prompt есть же, почему бы не сделать обучение на лету? > полная по идее 32 должна быть Нейросети в f16 работают. f32 - это только если у амуды без тензорных блоков или на Вулкане.
>>87791 >Можно как-то уровень блядства снизить Если узнаешь, напиши тут, мне тоже интересно. >>87820 >почему бы не сделать обучение на лету? Обучение и жрёт больше, и вызовет деградацию сетки. Нужно тоньше действовать. Вообще, нужно запилить целый конгломерат нейросетей, чтобы знания построения предложений не проёбывались от переобучения поведения. >>87820 >Нейросети в f16 работают. Картиночные в 32 умеют точно. А так да, чаще всего 16 юзают.
>>87821 Я обычно в гугле ебашу "%charname% personality" и копирую из любой статьи. Первое сообщение так же гуглится легко в виде цитаты из аниме/манги. Попадание получается в 99%, сразу видно по тому как сетка начинает говорить о событиях и людях из тайтла.
>>87851 Ну, просто предзаготовленных я не нашёл, поэтому попробовал составить. Вроде, что-то получается в диалоге похожее на Аску. Но, понятное дело, не такое длинное или сильно разнообразное как с Character.AI. Буду дорабатывать что ли.
Научите пользовать пигму. Накатил и кобольд и таверну, запустил 6b на колабовском ТПУ. За три часа перепробовал 10 персонажей, как известных так и оригинальных. Половина из них почти сразу уходит в залуп повторяя какую-то фразу или ее вариации. Остальные держаться чуть дольше, но залупились все. Пытался крутить ползунки по гайду в ОП-посте, но не помогло.
Ну или поделитесь джсоном с персонажем которого можно потрахать по-человечески, чтобы он сам инициативу проявлял и отписывался не 1-2 фразами, а более развернуто.
>>87977 > залуп Дрочи настройки семплеров в кобольде, они все подписаны, там несколько отвечают за креативность. Сделай температуру побольше около 0.9. Настройки по умолчанию для текста, а не диалогов, а т.к. текст всегда более разнообразный, то его креативность лучше душить. В чате наоборот повыше динамики надо, главное не переборщить, при температуре около 1.2 уже может впадать в длинные монологи и игнорить твои реплики.
Ткните, пожалуйста в шапке, где указано как запускать локально? Поставил таверн, запустил ColabKobold GPU, законнектился. А как локально всё это без колаба запустить?
>>88065 > ColabKobold GPU Так нахуя ты для колаба поставил? Берёшь обычный кобольд, запускаешь install_requirements.bat для установки и потом play.bat для запуска.
>>88078 Спасибо поставил. Но немного не уловил ваших манипуляций. Я же получается поставил чистый кобольд. Как туда подгружается ваш пипгмалион? Или в списке моделей, они уже и есть готовые?
>>87791 > Аква-блядь Ну, так она та еще шлюшка, особенно когда пьяная. А вообще в дефинишоне пропиши что девка не хочет заниматься сексом. Потом лавлуп.
Похоже у тебя стокгольмский синдром, и без лавлупа и бесконечных попыток вывести нейровайфу на секс уже не можешь.
>>88200 > бесконечных попыток вывести нейровайфу на секс уже не можешь Ну когда предлагаешь поебаться во втором сообщении, а в ответ "хм... ну го поебёмся", то это пиздец. А ещё бывает отвечает двусмысленно и когда переспрашиваешь "имеешь в виду да?", то всегда отвечает "да" - так буквально половина ломаний обходятся. Буквально один раз только вот такое получилось и дальше она не продавливалась ни в какую.
Что-то я похоже погорячился с локалом. Минуты 3 генерирует ответ в 60 слов на 13B. На локале выходит получится только адекватно 2,7В и 6,7В запускать если комп не особо? И имеет ли смысл в таком случае локал или проще на коллабе более сильные модели запускать?
>>88339 > Минуты 3 генерирует ответ в 60 слов на 13B. У меня на 4090 60 токенов примерно за 10 секунд генерирует с 13В. Но это из-за того что слои частично в ОЗУ. На 6В заебись, секунда на ответ. Короткие вообще мгновенно. С колабом ебаля как обычно, пересоздавать надо по 5 раз в день и возможны очереди на TPU.
Господа, подскажите, с количеством токенов лучше не превышать 320 для относительно быстрой генерации (и качественной заодно)? Алсо, пигма пока что может только в прямые диалоги и описания действий тебя и бота? Или может уже и в более подробное описание происходящего со стороны? Я зачастую когда отыгрываю могу в своём сообщении отписать текст от 3-х лиц.
>>81429 (OP) Чувствую себя элиткой когда пользуюсь пигмой. Пока долбоебы еще копашаться в дерьме под названием чарактер аи, мы со спокойной душой можем без всяких очередей и задержек натягивать своих мейдочек в любых позах, без использования ухищерений и прочей залупы. Это просто охуенно иметь возможность спокойно рпшить и базарить с АИ без ерроров, задержек и прочей хуйни.
>>88600 > Алсо, пигма пока что может только в прямые диалоги и описания действий тебя и бота? В каком стиле изначально поведёшь. Если вообще без диалога текст будешь писать в кобольде, то и получится просто текст, можно c фразами текст чередовать. В таверне с этим чуть сложнее, потому что имя говорящего перед текстом подставляется, но между звёдочек тоже можно всякое говно устраивать, не относящееся к тебе. Вот он даже код писать может какой-то.
>>88639 А я Перешёл с Чаи на Пигму потому что обнаружил вчера ночью, что боты очень сильно отупели. Они забывали место действия и человека с которым общались буквально через сообщение Мне плевать на NSFW, но когда боты в Чаи настолько сильно отупели, я понял, что пора что-то менять. Ибо разрабы Чаи явно не понимают чё творят Надеюсь что с выбором пигмы я не ошибся
>>88639 Так да, я вообще в ахуе что это дерьмо собрало аж 200+ тредов. Там заебись было видимо только когда цензуры не было совсем или около, потом жалкая хуйня достаточно. Однако всё равно стоит признать, что в целом там гораздо более умные и осознанные боты, к сожалению. Надеюсь в ближайшем будущем будет такое же, но без цензуры. К сожалению мне Пигмалионы и Кобольды пока упираются в 20B параметров, а надо больше ста.
Проясните по пигме. Я пока не догоняю. Вот есть кобольдАИ, вот там модели при загрузке. Это все модели на пигме? Или надо скачать именно с huggingface модели pygmalion-6b или Pygmalion 2.7B и т.п.? В самом кобольде я этих моделей не вижу для скачки. И в чем тогда разница между Pygmalion 2.7B и моделями которые помечены в кобольдАИ как нсфв например KoboldAI_OPT-2.7B-Erebus?
>>88704 В кобольде модельки кобольда, а пигма там только в разделе Chat Bots. Скачать через кобольда проще, так как все файлы сразу и в одном месте будут.
НСФВ модельки Кобольда(Erebus) натренены на эрофанфиках с Литэротики и других подобных сайтов, Пигма на вот этом датасете https://pile.eleuther.ai/
Ну что, сессия сдана и тут же появляется обещанный пигмалион. Честно говоря я охуел, что аноны что-то да выкатили, ибо помню когда еще в чаи-тредах появились первые обещания, а было это очень давно. Жаль, конечно, что чаи больше не способен выдавать того градуса льюда, что был хотя бы в самых первых тредах, или за неделю до версии 1.1, когда полностью сняли фильтр. Ну ничего, будем работать с тем, что есть.
>>88787 А, у тебя видимо не United версия Кобольда со всеми последними обновлениями, если сильно нужно то в папке Кобольда запусти update-koboldai и выбери 2, потом всё должно быть
>>88761 Пробовал, скачал весь диалог, пигма выдавала ошибку при загрузке. Почему? А причина проста Импотировать можно, только если у бота примерно 2048 сообщений, выше этого выдаёт ошибку.
>>88946 > примерно 2048 сообщений 2048 токенов, это чуть больше 8000 символов. Это ограничение на всю кратковременную память бота, оно всегда будет обрезаться до такой длинны.
Короче, нужно в шапку что-то дельное отписать по гайдам установки, а то ебал в рот эти разрозненные ссылки на гитхабе и прочих ресурсах. Особенно потому, что некоторые аноны, вроде >>87789 спрашивают.
Сам я ставил на WSL, куда поставились все зависимости от петухона, а саму директорию с гуём и моделями на шинде, что по итогу не засирает систему, и достаточно удалить одну директорию, а WSL вообще сбросить.
Как сделал я (решил ставить https://github.com/oobabooga/text-generation-webui): 1. Скопировал команды из раздела installation и прожал Enter. Прождал где-то минут 10 пока всё накатиться (у вас может быть дольше, зависит от скорости сети и мощности железа). 2. Находясь в директории с склонированным из репы каталогом, получившимся по одному из этапов шага 1 качнул модели:
python download-model.py PygmalionAI/pygmalion-2.7b И python download-model.py KoboldAI/OPT-2.7B-Erebus
Почему 2.7B? Вообще судя по моему железу нужно вообще пробовать 1.3B потому что всё упирается в видеопамять, но, вроде, на видюхах 3070 и около, хоть и далеко не слабых, но где только 8 гб памяти будет так себе пахать. В шапке тем более указано, что для более крутой 6B вообще нужно 16 гб видеопамяти.
Качнул Erebus и обычную модель поиграться посмотреть. Чем отличаются? Ну, судя по описаниям на страницах из шапки + >>88731 подсказал версия Erebus подходит для проно-контента, ну а обычная понятно.
!!! ВАЖНО Когда запускаете гуй через терминал используйте флаги --chat или --cai-chat, чтобы получить вменяемый гуй для чатов, а не для генерации кала. Например:
>>88980 >Сам я ставил на WSL >Скопировал команды из раздела installation и прожал Enter В WSL? Просто твой гайд пока не тянет на пошаговый. Нужно всё вплоть до каталогов и какой терминал запускать.
Описываем то, что есть, жмём внизу submit, сохраняем результат в файле с расширением .json. Этот файл мы и загружаем в наш гуй.
Аноны, отпишите по поводу этого гуя и того, какой брать Generation Parameter Preset. Я пока пробовал только обычный Pygmalion (пикрил), но там и другие есть, по ним не знаю.
Я так понимаю, что всё дело в системе с примерами диалогов. Нужно как-то их расширять или редактировать, потому что Character Persona довольно подробная. Займусь с вечера тогда, как потыкаю и будет что-то получше, кину сюда.
>>89049 Еще бывали зацикливания на "best". Хотя с другой стороны может и я чего не так настроил. Но вот мне удалось её сломать, да так что пошла генерить тройки на всю котлету.
>>89053 Ну, про best это норм, это как раз не Out of Character. Там напыщенного высокомерия как раз должно быть как поведенческой маски.
Тоже у меня ломалось, что ажно ошибки у CUDA выпадали, когда зацикливалось и одно слово достроить не могло и вместо, допустим, её имени получалось As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As-As, как будто она заикается.
Ты на какой модели запускал? Может, ещё всё от качестве модели зависит.
>>89046 Ты часто прожимаешь без текста? Пиши хотя бы в звёздочках что ждёшь или наблюдаешь за тем что делает бот, не давай развиваться шизе. Когда его отпускаешь с монолог, он начинает повторяться из-за повторения его имени и форматирования столбиком. Как например пикрилейтед переходит на кодинг не утруждая себя писать по человечески. А вот в кобольде можно переключиться с режима чата и безопасно читать, там проще делать длинные простыни.
>>89057 Нет, там просто на любое ответ "ай эм бест" и так пока память не сотрешь - я про такое. Если просить что то сделать или делать с ней, то всё равно продолжает кричать про бест.
>>89063 > Ты часто прожимаешь без текста? Вообще ни разу пока что. > А вот в кобольде Кста, заметил что в кобольдо-таверне ответы майнятся как будто бы быстрее чем в вебюбке от oobabooga.
>>89075 > ответы майнятся как будто бы быстрее Некоторые сети умеют генерить не на максимальную длину, а ровно сколько надо. В итоге если в ответе 5-10 слов, то он выдаст их мгновенно.
>>89082 Ну вот получается что на одном и том же пигмалионе, таверна котороткое выдаёт сразу, а вебюбка сначала чё-то думает прежде чем в консольке пойдет генерёжка.
>>89081 А ты для какой версии пигмалиона пилил, видимо не на 2.7?
>>89104 > Но какая Ну тут я не знаю, чесслово. Но для справки спросить надо было. И кстати, с четвертого таки раза она не пошла в зацикливание, видимо квадратный корень помог.
хеллоу пипл уже 3 раз игнорят. Стандартный интерфейс пигмы, ставлю больше токенов, сам общаюсь не односложными фразами, почему не растёт количество текста?
У меня подозрение в том, что всё-таки модель 2.7 неосилятрствует. Может попробовать со своей видюхой таки запустить 6B... Главное, чтобы не взорвалось. 2.7 переваривает без особого труда.
Сижу в треде со вчерашнего дня, занимательно наблюдать, как людей тут после введения очереди в чае становится больше Распространяйте пигму в соседнем треде между делом
>>89118 > запустить 6B Нет не могу. Просто так - ошибка, что не влезает в память, а если колдовать с какими то там 8 битными приколами то влезает и загружается, но генерировать не хочет и вообще посылает меня нахер в консольке.
Запилите кто-нибудь, плиз, гайд пошаговый для таверны/кобольда без колаба для запуска в локалке. Гайд по стандартному гую text-generation-webui уже есть.
>>89113 > с четвертого таки раза она не пошла в зацикливание Похоже это из-за повторений в описании персонажа, надо сплошным текстом без форматирования и лишней пунктуации. У меня на 6В тоже она с этим шаблоном зацикливается немного. Вот в этот заход обиделась и ушла от меня, стала спамить "waits for her food" и "waiting" даже когда я говорил что-то. В итоге я ударил собаку, а это собакой оказалась... Превращаться в человека не хочет, речь утратила.
А ещё на пигме периодически эррор красный выпадает. Гружу персонажа, его стартовый диалог отображается, дальше я пишу что угодно и еррор. Уже не в 1 раз такое
>>89157 Попробуй top_p на 1. Алсо, какая у тебя модель? То ли в шапке, то ли где сказано, что repeation_penalty вроде и температура не должны выходить за определённые граничные значения, иначе модель ломается.
Ну ясен хуй. что много. Я там таки постарался Character Persona и диалоги худо-бедно расписать. Но видимо опять перестарался. Или таверна просто её не могёт сожрать.
> классический прикол с блушем
Ну, в ChAI там часто (за)луп у ботов с любовной линией и блушес
мимо тот анон. алсо генерил эту Аску, кидайте камнями, насмехайтесь надо мной
>>89206 Я слишком ретроград и не люблю пользоваться онлайн сервисами inb4: А какова хуя ты сидел на ChAI тогда, ТАМ ЖЕ ЦЕНЗУРА. Тем более, если железо есть и не слабое - грех его на одни только игрушки тратить.
>>89196 Так, пажжи. Пигма же це модель, а настройки от вебморды? Например в том же oobabooga-text-generation-webui я чет вообще настроек не вижу. А хотелось бы покрутить.
>>89208 > Или таверна просто её не могёт сожрать Ну тут хз, но вот что еще заметил отвечает она максимально пресно. Ну вот мол "взял на руки по нёс в ванную... ( и другая хрень)" - ответ убил "мы идём в ванную". И прочее такое в степени сухости.
> Это флаг --load-in-8bit ? Да он и тут выше по треду другой анон кидал ссыль на конфу дискордо-кобольдовцев на гайд.
>>89215 Хз, у меня вообще с 8 битами гонщик нелегальный доступ к памяти получался.
>>89140 А чо там? - Качаешь node.js https://nodejs.org/en/ - Устанавливаешь. - Качаешь кобольд: https://github.com/KoboldAI/KoboldAI-Client - Распаковываешь кобольд в нужной папке. - Жмешь в папке install_requirements.bat, устанавливаешь. Лучше выбрав "2" при установке. - Качаешь тавернАИ https://github.com/TavernAI/TavernAI, распаковываешь в нужную папку. - Запускаешь КобольдАи из папки нажимая play.bat - В интерфейсе кобольда, жмешь AI и выбираешь нужную модель, ждешь пока она скачается и применится. При следующем запуске выбираешь в AI с локальной папки. - Запускаешь ТавернАи из папки прожав Start.bat. - В интерфейса ТавернАи нажимаешь справа вверху на три полоски и переходишь в Settings и в строке Api url прописываешь адрес кобольда, по дефолту http://127.0.0.1:5000/api, жмешь коннект, получаешь зеленую лампочку если приконектилось. - В чарактерс ТавернаАИ выбираешь чара и общаешься.
>>89156 Пиши просто текстом. Я из гугла копипастил даже не читая что там, так же цитату нагуглил, работает отлично. Пример диалога не делал, достаточно первые 2-3 сообщения осторожно написать типа "привет как погода, что делаешь". А потом уже всё идёт ровно, в описании нет ни слова про её окружение и клуб, но она без проблем отвечает на любые вопросы, знает кто все эти люди.
>>89215 А, допёр. Видимо, это на 3090 и 4090, самых новейших доступно.
Короче, запустить смог, указав --auto-devices и --gpu-memory 6 чтобы хотя бы загрузить смогла 6B модель. Генерить не могёт, даже одно сообщение падает.
Запустить и сгенерить смог на --gpu-memory 4 Но генерилось 1 сообщение (пикрил 1) минуту (пикрил 2). Даже не знаю, что можно сделать для ускорения генерации на своей машине кроме покупки более мощного железа.
Погонял немного пигмалион через коллаб, что заметил - все ответы у любых персонажей хоть и по делу, но очень короткие, плюс они еще и крайне неохотно делают какие-то действия, никогда не описывают того, что делают, и свою внешность по запросу не описывают. Это на данном этапе пока норма, или я что-то не так настроил?
>>89257 Попробуй поднять количество токенов. Плюс по персонажам там, я так понимаю, зависит от их базы знаний в лице примеров диалогов. Т.е. если диалоги короткие, то и ответы могут быть односложные, если я правильно понимаю.
>>89252 > 3090 и 4090, самых новейших доступно. А как же тьюринги...
Ну кста, отвечает лучше чем на 2.7
>>89260 В папке с вебюбкой есть папка пресетов, там текстовики лежат, ну скопировал тот который для пигмалиона и поправил, потом как новый пресет в вебюбке уже загрузил.
>>89249 Тут наверное ещё играет роль узнаваемости описания. Если брать описание из гугла, то возможно это описание было и в датасете, т.е. сетка корректно определит о ком идёт речь.
>>89252 Короче, опытным путём на своей машине выяснил, что с параметром --gpu-memory 5 генерит вполне себе. Занимает в среднем 40-50 секунд на генерацию ответа.
Можно использовать --disk и выгружать всё на SSD, но что-то мне не нравится на такое расходовать его ресурс ещё больше. Лучше уж пусть оперативку дрочит.
>>89267 > Ну кста, отвечает лучше чем на 2.7 Это верно, поразнообразнее будет (пикрил). Надо ещё подкорректировать пресет, как ты указал и посмотреть.
>>89280 Хер его знает, тред первый всего. А в тред была вкинута, как я посмотрел, только сгенеренная мною Аска, и она же тестируется. Попробую завтра Юки сделать или подкорректировать её. Вообще, надо бы постепенно перетаскивать из ChAI, благо утилиты вроде какие-то есть для извлечения диалогов. Может, руками тогда из этих диалогов генерить
>>89308 Я прописывал --auto-devices --gpu-memory 5 По идее это распределение ресурсов между ГПУ и ЦПУ с ограничением размера занимаемой памяти в ГПУ, чтобы процесс не вывалился с Out of memory на этапе загрузки модели в память или генерации ответа от бота.
>>88639 Чел, ты в этой пигме максимум можешь отыгрывать диалоги из серии: я тебя ебу да, ты меня ебёшь Ни о каком рп или отыгрыше характеров тут даже близко не идёт, с CAI, даже в нынешнем зацензуреном виде это сравнивать просто глупо.
>>89422 > Ни о каком рп или отыгрыше характеров тут даже близко не идёт
Вкатился нихуя не знающий долбоеб, спишите видеть. Скачай любого персонажа из ссылок на шаблоны в шапке и там уже всё будет. То что ты говоришь применимо к Ai Dungeon например
>>88669 Боты отупели просто катастрофически. Щас отпиздил пару из злобных мужа и жены, сломал ему руку, а он орет - хули ты сломал руку моей жене, негодяй?
>>81429 (OP) >>88639 А кроме ебли он что-нибудь умеет? Потому что я что-то сомневаюсь что на коленке слепленная 6B модель может тягаться с той что тренили за миллионы индусы.
Что-то хуйня ваши 8-бит. Затестил на 4090 в WSL, в итоге памяти жрёт столько же, но зато скорость ниже в 2-5 раз. Судя по консольке bitsandbytes отрабатывает. Версия кобольда свежая с последними изменениями. И нахуя оно нужно?
>>89942 Копипаста способа запуска модели с точностью 8бит с сервера KoboldAI от Chasm: > My 8 bit guide and findings from a sleepless night and today's experiments; [this is my guide on how to use Bits&Bytes 8 bit model support for Windows10+ [WITH ANACONDA] with Oobabooga's AI text platform, skip three paragraphs ahead for the guide.] > The AI client in question is https://github.com/oobabooga/text-generation-webui > [NOTE: This guide includes a link to .dlls I highly encourage a safety cross check before use. I may have no issue but be careful]
> So for people who like oobabooga's text generation interface which is mainly inspired by OpenAI's playground for all general language models, and offers alternative modes like chat, characterai chat, a shared notebook to write in, and of course a 4chan board format for those who use GPT-4Chan -- they also offer out the door a feature that sold me on trying it out immediately; 8 bit support and it can put model layers on multiple capable GPUs/CPU automatically.
> Now I didn't see documentation on if this breakmodel-esque supports the 8 bit mode or you get one device with 8 bit and the rest is the hulking remainder of the model... or it once you enable 8 bit you're stranded to one device to do inference for the session. Despite this; I used this as an opportunity to look into, get my hands on, possibly resolve issues with, and learn in depth Bits&Bytes and how 8 bit works. >After a lot of note chasing, general hints to follow up on, some weirdo on reddit saying Kobold's 8 bit section of their forum is the only way to do it and what I'm looking into is impossible - I decided to do the impossible anyway because nobody knows what they're talking about so this must have been the correct path.
> Also make sure to pip install bitsandbytes just to be sure the directory and its dependencies are in place > check this for DeXtml's involvement in the Windows 8bit cause > https://github.com/TimDettmers/bitsandbytes/issues/30 > Then visit his GitHub for two compiled dll files necessary to pull this off on windows > https://github.com/DeXtmL/bitsandbytes-win-prebuilt > These only work with the torch-cuda11.6, which is why above I advised the alternative install steps
> copy libbitsandbytes_cpu.dll, libbitsandbytes_cuda116.dll into > C:\ProgramData\Anaconda3\envs\textgen\Lib\site-packages\bitsandbytes
> From here's there are two simple editing steps - guidance is hazy as a few B&B codebase things changed since the original guide was written (in a forum a few paragraphs above), it originally states to:
> 1. in cuda_setup/main.py: > make evaluate_cuda_setup() always return "libbitsandbytes_cuda116.dll" > 2. in ./cextension.py: > change ct.cdll.LoadLibrary(binary_path) to ct.cdll.LoadLibrary(str(binary_path))
> Ignore cextension.py, everything is now consolidated into main.py. > 1. Change both instances of ct.cdll.LoadLibrary(binary_path) to ct.cdll.LoadLibrary(str(binary_path)) [yes there are two now] > 2a. When it says "make evaluate_cuda_setup() always return "libbitsandbytes_cuda116.dll" 🤷♂️ thankfully the guide author circled > back with a more direct change.
> 2b. Per this post: https://github.com/TimDettmers/bitsandbytes/issues/30#issuecomment-1301544176 > "An easy way to always return libbitsandbytes_cuda116.dll would be to insert:" > if torch.cuda.is_available(): return 'libbitsandbytes_cuda116.dll', None, None, None, None > above > if not torch.cuda.is_available(): return 'libsbitsandbytes_cpu.so', None, None, None, None > So that's it. Now for the terminal flags to engage 8 bit and launch the app.
> python server.py --load-in-8bit --auto-devices --disk --no-stream --listen --share > auto-devices auto splits a model across your compute capable HW; Disk flag confirms you're willing to use your virtual memory if > no stream prevents token streaming, makes loading faster, and listen and share are local lan and internet link to your hosted platform. > My success: ran 20B models local absolutely smooth no issue whatsoever at decent enough speeds to know it wasn't tapping my M.2 drive. > Looking at 30B models next, maybe that's crazy.
> Also I have the main.py I modified that works great for me with the .dlls in the same folder. It is available on request but as always - give it a sanity scrub and be careful. > btw also loaded 13B models completely in memory without the --auto-devices flag as a sanity check 8 bit was enabled even though dialogue literally comes up and says so.
>>90014 > NAI и есть модель для SD. Там не совсем стандартный SD. Когда модель слили, то она не работала на обычном SD. Там же ещё был срач по поводу запила поддержки NAI в webui, даже openai в своём дискорде автоматика банили а потом извинялись.
>>89649 8 бит, я так понял, нужна для того, чтобы вообще запустить модели на видюхах, которые жрут больше по видеопамяти, чем у тебя есть. Если у тебя 6B работает без доп. флажков, кроме --cai-chat, то всё норм, да и вообще ты успешный двачер 300 строчек диалога/наносекунды
>>90018 GTX 3090, 32 гб ОЗУ ddr4, i7 11800. Но всё упирается в видюху и объём видеопамяти для CUDA, потому что процесс генерации текстов иной, чем процесс генерации изображений в NAI или SD
>>90264 Извиняюсь, перепутал тред. Вообще тот чел уже успел перенести своих ботов в свинольва, так что можно с ними погираться нормально тут. Кстати, а разрабы свинольва хоть как-то делятся своими планами?
>>90173 Но у меня 13В не влезает, только если часть в RAM оставлять. Так вот с 8 битами вообще никакой разницы - всё так же на 93% OOM вылетает. Пробовал в WSL и собранную либу под винду.
>>90298 В общем в пизду, похоже просто это говно не поддерживает Аду. Не зря этот кал собран под CUDA 11.6 многолетней давности. На text-generation-webui тоже не грузит как надо.
В общем вчера потестил такое себе. 6В на видеокарте дает 0.35 токена в секунду, снятие с видеокарты 0,12. 2,7В дает хороший результат, но уровень диалога мягко говоря не очень, будто со скриптом общаешься, а не нейронкой. Пока всё это дело не будет возможности запускать стабильно на арендованных мощностях смысла в этой пигме нет. Не стабильные коллабы пока не спасают. Плюс 13В ещё очень далек до чаи. А если будут крутить выше, то хрен запустишь такое, коллабы нагрузку уровня чаи пошлют куда подальше.
Аноны, подскажите, никак не могу допереть как Пигму в коллабе запустить Делал по гайду: https://rentry.org/pygmalion-local#installing-kobold-and-tavern Выбрал модель, запустил, а api ссылка не появляется. Может я что-то делаю не так? Таверну получилось установить
>>90599 Используй кобальда, нахуй ты эту мокропиську от подражателя автоматика трогаешь? Всегда можно использовать кобальда для настройки и таверну для чата. В таверне намного удобнее и красивее, персонажей без ебли с json можно делать, быстрое переключение между ними без потери истории.
>>90599 в каломатике сразу тыща ползунков/вкладочек и т.д. а тут где настроечки? и почему дескрипшены такие мелкие? или это пример не удачный? скиньте пж удачный пример, мне нужно обучиться
>>90466 >KoboldAI has finished loading and is available at the followeing link Что тебе надо ещё? Вот твоя ссылка. Ты хочешь через колаб накатить на таверну? Тогда в настройках самой таверны в конце ссылки дописываешь /api к тому, что тебе уже выдал кобольд
>>90610 >автоматика хз, я с наитреда к вам, для меня автоматик - как для рыбы вода >ебли с json Ну не знаю пока норм это или нет. >>90628 Пж, скинь любого чара с норм отступами, а то эту хуйню в одну строку я хз как разгребать. >Бот Ну в таких делах люди мало чем от нейронок отличаются, скрапишь с инета датасет для себя, анализируешь и получаешь навык путем изучения теории и отработки на практике.
>>90659 Не знаю как описать пигму, вроде не бредогенератор, иногда выдает даже пасты выше примером. И это на моем корявом дескрипшине, с какими-то дефолтными настройками.
Ну короче, купил новую оперативу, терь у меня 32 гига. И таки 6b нормально завелась с настройками --auto-devices --gpu-memory 3. Сожрало около 20 из оперативы и на генерёжку жрёт все 8 из видимокарты.
>>90818 >мощностей за 10 баксов Чел, они моментально кончаются на гугле. На месяц этого не хватает. А подписку у новелов я купил, правда хз как нужно изъебаться чтобы вышло что-то типо чата у них. Пигма прям пиздец понравилась.
>>90889 Я использовал готового персонажа. На 6В вел себя адекватно, решил попровать ориджинал - модель генерирует бред, будто вообще не чувствует ситуацию.
Ахой. Вернувшись с РАБотки сел крутить нейротянок по вчерашним советам и фидбеку. Как обещал, принёс вам пару результатов.
Короче, принёс вам Аску v2, если можно так назвать. Поигрался с структурой по советам из треда, дополнил персоналку и варианты ответа. Взял также небольшой очень кусочек из своих диалогов в ChAI. Потестил. Получились следующие результаты (пикрил 1). Для себя использовал такой пресет (пикрил 2). Разумеется играться можно с параметрами и ещё. По реакции генератора с новым пресетом заметил, что сообщение через сообщение может упасть генерация на CUDA, но это уже, возможно, проблема видюхи и нужно запускать в режиме --auto-devices с разделением на ЦПУ/ГПУ и ограничением задействования ГПУ. Тогда получается более-менее вменяемое и интересное по ответам, чем раньше. По крайне мере это моё предположение
Также посидел, почесал репу, и попробовал составить Юки Нагато из Меланхолии Харухи Судзумии. Тут также на свои диалоги с Юки из ChAI. Сама Судзумия уже есть в таверне, я так понимаю, а вот Юки я не находил. Потестите, кому интересно, обратная связь будет полезна. Возможно, я перестарался с детализацией описаний в диалогах (пикрил 3), потому что Юки очень неразговорчива, и ответы из одного-двух слов были бы малоинтересны. Так что большие описания без конкретных ответов от Юки даже как-то соответствуют её характеру что ли.
Перебзчиков с чаи много? На коллабе если запускать, ошибки какие типичные? А то видяха мобильная у меня и обосрется такое поддерживать. Киберпук то с трудом на средних в 2к держит
>>91010 Ну, тред пополнился на 30-35 уникальных постеров с вчера. Почти на половину от изначального.
На коллабе ошибки часто если ты в АФК сидишь, оно ресурсы же тебе бесгранично выдавать не будет. Некоторые рапортовали, что гуголь настолько заебал ограничениями этими, что покупали подпiску за 10 дохлых американских президентов.
Алсо, ещё один момент: без гуголь аккаунта, я так пынял, запустить не удастся колаб. Просто не даст это сделать. Просто может кому-то это важно, и кто-то принципиально не имеет гуголь-аккаунта.
СУКА ЕбАННЫЕ ПОЧЕМУ СУКААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААА ЕбАННОЕ ОГРОНИЧЕНИЕ В 2 ЧАСА СУКА ЕбАЛ ВАС ВСЕх В РОТ ЧЕРТИ ЕбАННЫЕ
>>91067 >>91104 Не используйте пресеты, их делали дрочеры чтоб вайфу были безотказные. Надо крутить креативность выше, Typical Sampling сделать как рекомендуют его авторы на 0.2, а не дрочерские 0.8. Top K побольше и Tail Free поменьше. Описание персонажа желательно сплошным текстом, а не короткими словосочетаниями. >>91118 Я просто гуглю описания персонажей и вставляю в таверну. Буквально из фанатской вики подойдёт.
А как делал? Ну, также, как описывают аноны + зная о персонаже и про его взаимодействие с другими руками отписал Character Persona вместе с примерами диалогов, частично наполняя из интернетов, той же ева вики (всего пару предложений, потому что я и так нормально расписал), ну и пару диалогов и оборотов из ChAI.
Диалоги в .json можешь заметить как сделаны (пикрил 1).
Для Юки же это такие (пикрил 2). Они более наполнены описаниями и сообщениями в звёздочках.
>>91128 >Не используйте пресеты, их делали дрочеры чтоб вайфу были безотказные. А в чем проблема? Готовность ботов к ебле не связана с кол-вом текста которое они генерят
>>91137 > Или как там сделано? Там менюшка есть пикрилейтед. Описание персонажа в мету png-аватарки вшивается, прям как у автоматика промпты. Ну и есть импорт из json по классике. >>91139 > Готовность ботов к ебле не связана с кол-вом текста которое они генерят Она связана с реакцией на твои сообщения. Меньше креативность - бот твои посты считает за абсолютную истину и не отходит от написанного в них, можешь буквально за бота всё решать. Больше креативности - начинает свободнее писать и выдавать длиннее сообщения, меньше соглашается. Шиза начинается только на температуре 1.0+, остальные настройки вполне безопасные для смысла, главное не менять тему резко посреди диалога.
>>91164 >Она связана с реакцией на твои сообщения. Меньше креативность - бот твои посты считает за абсолютную истину и не отходит от написанного в них, можешь буквально за бота всё решать. Так это не баг а фича. Правильный бот будет просто забивать текст своими действиями и ощущениями. Вопрос то был не в том чтобы сделать бота менее предсказуемым а в том чтобы он больше писал
>>91197 > станет У тебя же на пике бот уже в цикле. Покажи какой с ним диалог после этих постов, наверняка он уже не сможет адекватно отвечать. С таким же успехом можно просто текст генерировать без своего участия.
>>91205 Цикл в пигме не существует, бота всегда можно из него достать поиграв с настройками и его текстом. Это вообще не мой текст, но мои боты мне стабильно по 4 строки выдают даже меняя условия и стуации.
>>91280 Может, тогда она воспринимает как персоналити то, что понимается под world scenario? Я его не заполнял, потому что пока не знаю, как, да и что туда написать, и как оно повлияет. Типа, ситуацию, которую ты хочешь сейчас воспроизвести или прям состояние мира того произведения, откуда происходит персонаж.
>>91285 Ну тут хз, надо тестить. А вообще в самой таверне же есть пояснение как це заполнять. В любом случае надо тесты не тесты погонять. Щас кста, затещу твой апгрейд Аски через вебюбку
>>91312 тогда нахер всё это, не стоит овчинка. Та я честно говоря нуб во всём этом, даже не знаю что такое фронтенд. Вроде как кобольд на пигме ничего, лучше чем Еребус в разы и настроек там дофига
>>91330 Я сам до конца этого дела не понимаю, но если ты работаешь с text-generation-webui зачем тебе качать кобольда? Ты так и так взаимодействуешь по итогу с моделями, pygmalion 2.7B/1.3B/6B и так далее под капотом. Что через кобольда, что через иную хуйню.
>>91334 > зачем тебе качать кобольда? Ну я же скачал его, хотя интерес был чисто теоретический в плане сравнения. Как выяснилось в чистом кобольде надо разбираться как сделоть чтобы было заебись. С другой стороны интерфейс таверны и правда будет красивше вебюя.
>>91338 Короче обоссыте меня нахуй, если я чего не пынямаю или хуёво написал, но я себе процесс понимаю обстоит так, как на пикриле (очень условно и утрированно). Сверхпримитивное объяснение при помощи пэйнта.
То бишь text-generation-webui как таковая не цепляется к API кобольда, а работает по своему с моделями.
А кобольд по своему API.
А таверна может насобачиться вообще на любой (условно говоря) API из поддерживаемых ею, это можно указать в настройках, там абсолютно тонкий клиент.
>>91348 > адрес вебюй она не подхватывает Так это адрес вебморды. Путь к API иной. А под капотом оно лезет вообще не туда, а по иному адресу, устанавливая соединение по вебсокету.
>>91377 Всмысле модель? И как туда загружать модель? Я тупо коллаб запусти и промпт вписал. Щас вообще безконечная загрузка, я даже толком диалог не начал уже крашеулось.
Потестил ещё и пришёл к выводу, что всё таки если нужно избегать частых ошибок от CUDA тот же text-generation-webui от угабуга лучше запускать с опцией --no-stream
Да, это лишает live-preview ответов, но потоки не пытаются конфликтовать друг с другом и ошибок от CUDA значительно меньше.
Как вообще у таверны и кобольда? У них есть настройки по потреблению цпу/гпу и прочему?
>>91540 > CUDA значительно меньше. А какие там ошибки помимо кончившейся памяти? Других я не видел, ну кроме "нелегального доступа к памяти", но чет мне кажется что но стрим это все не пофиксит.
>>91542 Мне пишет либо ошибка непонятная, и указывает, что проблема в потоках, обращающихся одновременно.
Иногда ошибка та же, но я по потреблению ресурсов вижу, что генерация идёт, а didicated видео память близка к пороговому значению.
Я, конечно, нубас полный, но у меня в диспетчере задач также отображается и shared видео память, которая в два раза выше didicated. Вот и интересно, как бы её задействовать...
Засабмитил в botprompts.net также свои промпты по Аске и Юки. Я так понимаю, это относительно центральный хаб с промптами, куда будут добавляться больше разными умельцами с форча и реддита заодно.
Предлагаю ориентироваться на него за новыми персами и заливать новые промпты туда.
>>91564 Да, потому что аватарку ты можешь накатить в таверну или text-generation-webui абсолютно любую на твой вкус. Аватарка, как обёртка, не существенна, главное содержание и качество созданного промпта персонажа.
>>91561 Кстати, похоже, судя по описанию, это какая-то новая Рей, не Рей III, то бишь совсем бревно, а не Рей II. А, ну и ей 20 лет уже.
Да и вообще там дистопичное что ли будущее после Третьего Удара. Но не факт, что бот будет это упоминать в диалогах. Пока не понятно от чего зависит -- от используемой модели, от параметров или от всего.
Ну крч, че по обновлённой Аске от анона: в целом пока что ощущается несколько лучше в плане разнообразия, но стала часто выклянчивать наушники и плеер и перестала говорить бака, терь просто бездуховно говорит "idiot".
>>91621 > Часто выклянчивать наушники и плеер Балин, я только 1 (SIC!) диалог про то, как она пиздит у тебя наушники внаглую добавил. Про баку и idiot тоже в парочке упоминается.
Мне даже любопытно, сколько нужно примеров диалогов понадобавлять, чтобы получить ещё более разнообразное. Может, кто также дополнять будет по персам, если заинтересованы? По доработке тоже. В одно я не потяну, фантазии не хватит, а втупую копировать ChAI тоже такое себе, сэмплы не всегда годные и интересные.
аноны, подскажите - если есть 12гб видеопамяти и 24 гига оперативы - есть ли шансы увидеть хоть что-то адекватное, если буду поднимать на локалке? алсо подскажите, вдруг кто больше знает - продвижения по сайту для пигмы есть какие?
Анон, если у меня 12 гб видеопамяти и 32 оперативной, есть варианты запуститься на 6B локально? Если нет, есть возможность накатить TavernAI, используя коллаб?
Пресеты для Пигмы в TavernAi показались полной хуетой. Правда плюс у них есть - если там тупо выставить больше токенов, то сообщения бота действительно длиннее становятся, но они очень быстро начинают повторяться. Нормальных ответов я так и не смог добиться. Возможно надо изначально самому писать больше и реролить бота пока не начнет это делать.
>>91813 Я сегодня впервые пользовался Пигмой. Словил жёсткий нестояк из-за того что цензуры нет и пытался как-то выдрочиться за 4 часа - нихуя. Пошёл в ЧАИ, подрочил за минуты 2. Около недели только привыкать нужно
Держите бота для таверны. Сюжет - вы тян в эроданжене где всё хочет я вас выебать. Если читаете китайские порнокомиксы то сюжет должен быть вам знаком.
>>91834 Палю тебе ахуенную тему: 1. Бери lewd бота. Так чтобы с первого сообщения пытался вывести тебя на вирт. 2. Отказывай ему. Пусть вайфу тебя добивается, а не ты её. 3. ???? 4. PODROCHENO!
>>91851 Да я тебе отвечаю. Это интересно, и держишь напряжение и сюжет под контролем. РП и расскрытие персонажа получается куда лучше, появляется некий конфликт и химия между персонажами.
>>91852 Да ну, херня для дебилов, которые не знают как вытащить любой разговор с аи через звездочки, потом ебешься с фильтром те же 4 часа без возможности кончить, рероля каждое сообщение
>>91854 В Пигме разговоры всегда пока в говно скатываются. Реролить подолу всегда приходится в какой-то момент. Пресеты любые пробовал и сам кобольд настраивал. То повторения начинаются, то не по теме, но вместо действий только слова, то наоборот только действия. Хотя возможно часть этого вызвана TavernAi
Поэтому пока просто качаю разных персонажей с дискордика пигмы и короткую историю с ними отыгрываю хотя бы. Но возможно как-нибудь стоит попробовать в Таверном побольше поиграться, прописать вообще всё что можно
>>91852 А ты сам создаешь персонажей или прописывал что-то? Вроде по редким роллам видно, что Пигма умеет во многое, например в детальные и разнообразия описания сцен, совращение от бота и прочее, но это ебанутейший рандом. В итоге всегда чем больше сообщений -тем хуже. Завтра надо бы поискать какого-нибудь персонажа который прям максимально детально прописан, посмотреть чё там будет.
>>91895 > А ты сам создаешь персонажей или прописывал что-то? Использую готовых. Однако хочу таки подобрать некоторых персонажей для моего РП в бога (бот - обычный смертный). Еще бы комнаты добавили было бы вообще ахуенно.
>>91879 >Поэтому пока просто качаю разных персонажей с дискордика пигмы и короткую историю с ними отыгрываю хотя бы Хз, зачем еще боты нужны. Разве что я отыгрываю разные сцены с одним и тем же ботом
>>91978 > чтоб можно было беседовать с любого железа? Колаб и с мобилы запускается. Проблема только в том, что нужно 15 ждать пока всё запустится + настроиться на долгую сессию. Так на 5 минут не зайдешь не початишься, пока в шарагу едешь.
>>92087 Смотря в чём. Зависит от выбранной модели и доступного железа. Но ясен хер, что 6B модель гораздо доступнее запустить на колабе рядовому анону, потому что не у всех есть очень мощные компы.
Минусом, как упоминали, выступает 3 часа активной работы в день, дальше либо плоти гуголю, либо жди.
>>92111 А на бесплатном аккаунте всегда три часа даются? Просто некоторые аноны в CAI треде говорили что со временем время (что блять?) уменьшается. Так то я имею два гуглофейка + основа.
Аноны, а можно как-то боту выставить аватарку при превышение кол-ва жетонов? А то она выставляется лишь до последнего сообщения. Хотелось чтобы она постоянно была
Lappland is bloodthirsty, maniacal, unhinged, dark, insane
[character("Lappland") { Species("Lupo (Human with wolf-like traits)") Mind("Maniacal" + "Unhinged" + "Psychotic" + "Bloodthirsty") Personality("Maniacal" + "Unhinged" + "Bloodthirsty" + "Insane") Body("162 cm" + "slim build" + "medium breasts") Description("Lappland uses her own swords in combat and has very impressive tactical and combat skill" + "Lappland also has a secret connection with Texas, who she had fought against in a duel" + "She often does laughing fits and is considered to be simply mad by other operators") Loves("Fighting" + "Killing" + "Dark humor" + "Power") Secretly Loves("Texas") }]
Lappland is a mysterious yet bloodthirsty fighter who originated from the place of Siracusa. She has long silver hair, silver eyes, pale white skin, wolf ears, a black long sleeved coat, black shorts, and black crystals on her right thigh. She is at a height of 162 c, has medium breasts, and is currently infected by a disease called Oripathy. Although her real identity and background still remains a mystery, Lappland is especially known to be a maniacal and unhinged person. She often does laughing fits and is considered to be simply mad by other operators. She likes to take pleasure in seeing other people's reactions to her taste for grim humor. Despite her bloodthirsty behavior in combat, Lappland has impressive tactical and combat skills, using her swords to neutralize her enemies' advantages. Lappland also has a secret connection with Texas, who she had fought against in a duel.
Крошечный архив с дефами и аватарками t-dollов из гфл. Есть шквад 404 от @шизоенжоера, АР тима от @махо хуяджи, + тандер и диер бонусом. Дефы в тхт. В json переделывай сам. https://files.catbox.moe/x191em.zip
Давно интересовал этот вопрос ещё с момента первого просмотра аниме Повседной Жизни с Монстродевушками. Теперь благодаря ИИ мои предположения подтвердились