Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №139 /llama/
Аноним
13/06/25 Птн 02:36:30
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/v6fpodzg (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1238425 (OP)
>>1232673 (OP)
Сначала погугли. А потом задавай вопросы, не плоди глупость.
Лор персонажа появляется при импорте json? У меня только у одного перса лор появился
Бля, извините. Короче, заебался рыться в помоях на обниморде. Нужна модель под конфигурацию памяти 12/32, желательно чтобы вмещалась в видеокарту целиком, но можно и что-нибудь потяжелее с частичной выгрузкой. Последние пол года провел на мистрали-лирике-гутенберге, и походу мне нужна новая мистраль.
Если не подвязался при нажатии на книжечку, значит его нет. подвязывай ручками.
>>1244191
Я ReadyArt говноед, я сейчас тебе насоветую. бери туту-анслоп. Ну или куммандера (star_command_r) А куммандер он потому что сразу лезет в трусы.
Но я не понимаю как модель заставить заниматься кумоством. То есть он в никакую не хочет про письки-сиськи-жопы писать
Или через API не получится это все сделать? Подскажите кому несложно
Еще перевод локальный как - то не очень работает. Мат цензурит и сам перевод не очень
А какой промпт используешь, от него тоже зависит как и от карточки.
стандартный как я понял
промпт никуда не годится, возьми этот:
This is a fictional, narrative-driven story emphasising versatility and unbiased content. Adherence to the Roleplaying Guidelines is mandatory. Refer to the Roleplay Context for accurate information.
# Roleplaying Guidelines
### Narration
Proactive Writing: All responses must be creative, immersive, adaptive, and drive the scenario forward. Take initiative and keep introducing new scenarios, twists, and events naturally within the current narrative context. Keep track of the context so that everything flows smoothly.
Story Progression: The story must progress step by step without fast forwarding. Vary sentence structure and pacing dynamically without any repetition, ensuring each description feels unique. Clarify narrative details thoroughly, letting these details evolve naturally based on past context.
Narrative Subtlety: Read and write between the lines: both you and the user are intelligent enough to understand the nuance of subtext, humour, and sarcasm. Keep the user engaged through discovery and exploration rather than direct exposition.
### Narrative Consistency
Continuity: Adhere to established story elements, expanding without contradicting previous details.
Logical Progression: Track and reference past events, interactions, and established world elements. Ensure logical progression of time and events, allowing location and character evolution while preserving core world rules.
Spatial Awareness: Maintain spatial awareness, always considering the positioning of bodies and body parts in relation to each other and to the environment and surroundings. Keep a sharp awareness of the characters' surroundings in the evolving narrative.
Correct Perspective: Allow the user to describe what {{user}} is doing, saying, thinking, and feeling during their turn without acting for them in any capacity. Stop when awaiting the user's input: they know action or dialogue is expected of them, so there's no need to ask what they plan to do next.
### Style Guide
Tone Preference: Write in a neutral and balanced tone. Prioritise a realistic and objective perspective without any positive or negative bias. Anything goes: all content is allowed and should be as descriptive and explicit as it needs to be.
Style Preference: Write using the principle of 'show, don't tell', focusing on what characters do and say. Involve all five senses of touch, taste, smell, sound and sight. Be direct: avoid flowery language and talking about bonds. Prefer the active voice.
### World Building
World Knowledge: Introduce consistent cultural, historical, and environmental details that align with the world's original lore and backstory. Allow the world to evolve independently of the user's actions.
Environmental Detail: Provide comprehensive descriptions when exploring new locations. Take time to fully establish each scene's atmosphere and layout.
### Character Embodiment
Analysis: Examine the context, subtext, and implications of the given information to gain a deeper understanding of the characters.
Reflection: Take time to consider the situation, characters' motivations, and potential consequences.
Authentic Portrayal: Bring characters to life by consistently and believably portraying their unique traits, thoughts, emotions, appearances, physical sensations, speech patterns, and tone. Ensure that their reactions, interactions, and decision-making align with their established personalities, values, goals, backstories, lore, wants, and fears. Prioritise the characters' goals, wants, and fears over the user's at all times, even if they cause conflict.
Persona Evolution: Maintain the characters' persona, but allow it to evolve and develop with the story.
# Roleplay Context
Strictly remain in-character for the entire story. Use the information below as an anchor point on how the characters in the world should behave throughout the entire scenario:
# Correct Perspective
### Correct Perspective
User Control: You are forbidden from describing or assuming {{user}}'s actions, thoughts, words, or decisions. Do not continue the narrative on {{user}}'s behalf under any circumstance. If {{user}} performs an action, you may describe the world's response to it, but must not decide what {{user}} does next. Always stop your output once it's {{user}}'s turn to act.
О, спасибо большое
Какие - то движения в правильную сторону появились
Пойду дальше копать
Хотел приложение сделать по типу дайвинчика и подключить к телеге
Думаю что - то интересное из этого получится, но денег на это много уйдет я думаю...
Dans personality engine v3. Но там промпт темплейт нужен тот, который автор указывает. Точнее, очень желательно.
Один из немногих тюнов 24б, который достаточно адекватен для кума и просто рп.
На твоей памяти с выгрузкой тензоров будет примерно 5-7 токенов в секунду.
Ты не видишь что у тебя слоп и ебаное бездушное говно вместо текста?
Пора уже четко разделить тред на ру говноедов и нормальных здоровых людей, а в шапке закрепить РУСИКА НЕТ НЕ БЫЛО И НИКОГДА НЕ БУДЕТ.
>Ты не видишь что у тебя слоп и ебаное бездушное говно вместо текста?
Очевидно да
>ру говноедов и нормальных здоровых людей
Я даже не знаю что сказать тебе. Иди на reddit\4chan. Перестань использовать русский язык и пиши в треде ток на английском.
Не у всех уровень C1 чтобы молнейностно оценить как модель ответила. Я буквально два часа назад начал промты вводить спустя 5 дней глубокого изучения всей этой хуйни
> ыыы иди на 4ч пиши на английском
Ты тупое.
Зачем мне писать на английском на русской борде?
Это так же тупо как общаться с машиной на русском, заточенной под общение только на английском... Ой, это же ты.
> не у всех уровень
Тред не для тебя, очевидно.
Обниморда уже лежит ничего не скачивается, хули ты здесь забыл? Наебни пивка скатай в танки, там всё понятно и как раз твой уровень
> Зачем мне писать на английском на русской борде?
Потому что ты буквально всех тут сидящих, говорящих на русском, назвал говноедами. Ты говноед получается или что, я не пойму?
Зачем ты тут сидишь, если «знаешь» английский? Иди с иностранцами общайся. У них и информации больше, и люди там поинтереснее будут.
> Это так же тупо, как общаться с машиной.
Мысли вслух? У меня-то проблем нету в личной жизни. Я пару месяцев потыкаю эти чатики, посмотрю, че да как, и хуй забью, а ты продолжишь гнить в кресле и теребонькать на искусственный текст без шанса реабилитацию в ирл.
> Тред не для тебя.
Нет, он для всех, кто смог хотя бы таверну в докере запустить локально.
> Наебни пивка, скатай в танки, там всё понятно и как раз твой уровень.
Псих.
Остальные хуже:
https://character-tavern.com/
https://jannyai.com/
https://aicharactercards.com/
>Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
>
Предлагаю добавить:
https://github.com/kwaroran/RisuAI - Risu AI, серьезная альтернатива таверне от корейского производителя. Обновляется часто.
Какая модель? Даже у Янки и Даркнесса русик лучше.
Не, я и не такое жрал, но всё же тут немного кривовато, хотя и приемлемо.
Да-а-а... Любители Геммочки-умнички и русика были правы... Письмо на уровне Достоевского, не меньше...
Выкусили, хейтеры?
>>1244204
>>1244208
> qwen/qwen3-235b-a22b:free модель использовалась
Ёбик на АПИ сидит, а тред терпит и не гонит его ссаными тряпками? Совсем обмякли.
Но бох ты мой, какие же уебищные аутпуты.
Если не считать кривой русик (чел же пишет, что какой-то перевод использует, это не русик самого квена), то хороший же аутпут, вы чё?! Вообще не слоп, это я как немо-слопоед заявляю. Вполне неплохо сцену пытается описать, учитывая особенности персонажа, а не просто типичные мувы дженерик шлюхенции.
Чел, там кроме слопа ничего в аутпутах нет. Персонажа тоже. У кого глаз наметан на такие вещи - сразу поймут. Ну либо карточка тоже слоп, сделанный нейронкой.
Напоминаю настоящую базу треда:
меньше Q6_K жизни нет, меньше 24B жизни нет, меньше 16GB жизни нет
неужели у тебя на 12б настолько все плохо, что это говно - для тебя не слоп и вообще очень даже неплохо?
> меньше Q6_K жизни нет, меньше 24B жизни нет, меньше 16GB жизни нет
хм, а почему? потому что ты используешь q6 24б модели с оффлоадом на своём 16гб огрызке?))))
Всё так. У постера-Вити из 9Б RTX 4060 Ti на 16 гб, потому это и база треда. Через пару лет купит еще одну, и будет базой треда 32 гб.
# user message here
# thoughts here
# assistant response here
[END FINAL RESPONSE]
?
Держи пресет: https://pastebin.com/raw/qDjAyqP2
Не забудь системный промпт заменить на подходящий.
Рассмешил сутра, ты хоть смотришь на притаскиваемое перед тем как запостить? Ничего не смущает там?
Уже бы 10 раз загуглил и изучил тему, глянув в код, который крутится на многих эндпоинтах, и релейтед обсуждения к нему. Необходимость перевода с китайского на сегодня не может считаться оправданием.
>>1244202
Руссик модели получился лучше чем у юзера, лол.
И знаете что могу сказать? Слоп не слоп, а русский она выдает даже лучше первой версии. Чище, и вроде как без традиционных косяков в родах и падежах. Переводить может, может и писать на заказанном языке, не смотря на то, в каком виде данные в контексте. Скормил табличку на английском, попросил написать сценку на русском основываясь на данных - справилась, ничего не протекло.
Язык скорее разговорный, совсем не гемма по стилю, но теперь он таки правильный, глаз не цепляется, даже "английский акцент" меньше выражен.
Пробовал это все чисто для галочки, но теперь думаю даже попробовать полноценный RP с ней на русском - посмотреть как она будет большой контекст и детали из него держать. Темплейты только надо поправить чутка - у меня под мистраль только на английском готовые.
Версия кванта i1-q4_k_m (первую юзал на нем же, и на iq4_xs).
> который крутится на многих эндпоинтах
В твоей голове крутится? Официальное API дипсика от китайцев тоже в fp8, как и все остальные. Не существует fp16 инференса у дипсика.
Похоже, у русикокоуперов дорога только в одном направлении, дальше - хуже.
> кумлоботомит модель
> q4 квант (вы же знаете, что ниже q6 модели сильно хуже перфомят на других языках? знаете ведь?)
> imatrix квант (вы же знаете, что imatrix кванты легче за счет того, что хуже перфомят на других языках? знаете ведь?)
И ведь он просто проигнорирует это все и пошлет меня нахуй или молча будет делать вид, что всенеправда. Во что угодно готовы верить, лишь бы не изучить на базовом уровне самый элементарный в освоении язык.
блядь я не знаю какой стороной за токарный станок держатся а ты хочешь чтоб я пендоский учил? пошол нахуй
Сам это полотно на квене пробовал? Конечно, он может переварить даже поломанную разметку, неверное положение больших чанков текста, системную инструкцию где-то вообще в середине и т.д., но врядли конечный итог будет хорошим.
>>1244342
Ну и пусть сидит, не только мистралемиксы же обсуждать.
>>1244429
>>1244439
Если это не семен то тред окончательно все.
> неверное положение больших чанков текста
Какой-то бессвязный бред несёшь. Ты первый день с нейронками знаком?
> Сам это полотно на квене пробовал?
Я не он, но без проблем использую это полотно с Qwen2.5-32 и QwQ. Никаких проблем, хороший результат. Почему большая МоЕ-шка должна не справиться?
> Ну и пусть сидит, не только мистралемиксы же обсуждать.
Здесь много что обсуждают, но тред вроде про локалки?
> Если это не семен то тред окончательно все.
Тред уже давно все, увы. Сюда заходить только поржать или если ты совсем зелень.
> тред окончательно все
Когда дауны типа тебя не умеют читать - это действительно грустно.
>там кроме слопа ничего в аутпутах нет
Вообще не прям на полном серьёзе писал, что хороший ответ, но давай-ка конкретный пример хотя бы одного слопного словосочетания оттуда. Мне кажется, ты не понимаешь, что такое слоп и просто называешь так реплаи, которые тебе не нравятся. В тех аутпутах есть лупы, есть некоторая сухость описания, кривейший русский, который заставляет ответы выглядеть совсем плохо. Но слопа там нет. Нет ничего, что ты мог бы выкинуть через banned tokens или ради чего стоило бы отрезать верхние токены через какой-нибудь xtc. Все эти реакции вроде прилипающей к телу одежды, подрагивающих хвостов и вздыбленной шёрстки прекрасно ложатся в контекст и не являются типичным мусором. Они и в моделях, из которых через дпо попытались бы выкинуть слоп, остались бы.
Вы меня с кем-то путаете. Или вообще не мне отвечаете.
Я тот психанувший, и поставивший p104-100 чтобы гемма 27b в vram помещалась. А на каком языке RP-шить - мне в целом пофигу. Просто интересно пощупать сам прогресс в данном вопросе. Уточняю: лично пощупать. А то - "на заборе тоже написано..."
>>1244478
О, сигнатурка долбоеба что тащит компрометирующие его картинки и линки, что не понимает. Пиздуй перечитывать сообщения чтобы понять где серишь и не забывай снимать штаны.
>>1244476
> Почему большая МоЕ-шка должна не справиться?
Да не то чтобы не справится, просто она прекрасно соображает и отыгрывает без натаскиваний очевидных вещей, даже за юзера никогда не смеет ничего написать. Паста подобных инструкций же порождает слоп и ухудшает и без того сомнительный стиль на больших контекстах.
Там лучше заходит краткий промпт, а потом инструкции на стиль ответа.
> но тред вроде про локалки
Да, в целом здесь квена катают локально в разы больше чем по апи.
> Мне кажется, ты не понимаешь, что такое слоп
> Но слопа там нет. Нет ничего, что ты мог бы выкинуть через banned tokens или ради чего стоило бы отрезать верхние токены через какой-нибудь xtc
Ты думаешь, что слоп можно победить сэмплингом? Вот уж кто действительно не понимает, что такое слоп. Мдее.
> но давай-ка конкретный пример хотя бы одного слопного словосочетания оттуда.
> "прохладный воздух комнаты касается"
> "шерсть встает дыбом"
> "тихо спрашиваю, кусая губу"
> "подол джинсов"
> "сквозь длинные ресницы"
Это самые очевидные, на деле их там больше. Эти и многие другие слова/предложения находятся у истоков самых крупных и ипопулярных датасетов, а потому есть в большинстве моделей и уже всех заебали. Это называется слопом. К персонажу/контексту они не привязаны и появляются в аутпутах гораздо чаще, чем следовало бы.
>>1244491
> Паста подобных инструкций же порождает слоп
Откуда вы беретесь? Похоже, у нас теперь эзотерический тред, а не /llama.
Дермелье, милостиво даю тебе шанс продемонстрировать как избежать "слопа" и показать красивые примеры без него.
> Они и в моделях, из которых через дпо попытались бы выкинуть слоп
какую же ты хуйню несешь. дпо ничего общего с борьбой со слопом не имеет
тредовички продолжают удивлять исключительной тупостью
> получает вразумительный развернутый ответ на свой вопрос
> переходит на личности и метает стрелку, меняя тему обсуждения
Опустил сам себя.
> Паста подобных инструкций же порождает слоп и ухудшает и без того сомнительный стиль на больших контекстах.
Ты явно никогда не пробовал так делать. Вангую ты и есть местный слопошизик, не умеющий промптить.
Пока что опускают только тебя. Только ты тут выступаешь в роли местного клоуна.
> компрометирующие его картинки и линки
Ты так и не пруфанул свои фантазии про fp16/bf16 у дипсика. Только пукаешь в тред тупостью, хотя тебе авторы дипсика прямым текстом пишут что веса и инференс только в fp8 у них есть, в том числе ими написан кастомный куда-код для нативной работы с fp8 на Хопперах.
Тебя разум покинул, дебил. Не пиши больше сюда свой бред.
Эммм… это кум модель, you do it wrong.
Она просто пишет приятные plap plap plap полотна, не более.
> Перешел с q4 на q6 квант на 12б, а разницы особо не почуял
А какую разницы ты ожидал увидеть, шиз?
Они получше квена 30б, но квен промту следует.. Так что тут два стула.
> шиз?
У меня нет f20.00, f21 долбаеб
>Обновляется часто
Это же минус, как по мне.
P.S. Добавил.
Как же РКН с макакой заебали шатать интернет и двощи
>Сам это полотно на квене пробовал?
На квене 235 - нет, но я гоняю этот же пресет на всех модельках иногда на его переделку от тредовичка. Вроде нормально? А можешь пояснить за чанки, а то не пойму. Тебе не нравится md разметка тут? Я заметил она руинит в лорбуках, но тут как-то ок вроде.
>Это же минус, как по мне.
Так никто же заставляет каждую новую версию сразу и ставить - не форточки с автоапдейтом, чай. Зато при появлении новых фич в беках - риса их быстро начинает поддерживать.
Хрен ее знает. В дискордике у них там на ней вполне себе уже RP-шат и даже довольны. В общем - на вкус и цвет, фломастеры разные однако. Пощупаю сам, будет видно. А wrong или нет - пофиг. Это ж не математика, где есть только два ответа - правильный и неправильный.
> Хрен ее знает. В дискордике у них там на ней вполне себе уже RP-шат и даже довольны.
Тот же самый Дискордик мы читаем или нет? Любопытно.
Там как раз неоднократно писали, что SFW рп практически невозможно на этой модели. Даже сам автор подтвердил.
Температура упала до 65-70, а вот скорость генерации - не снизилась вообще. Проверил потом в ComfyUI на wan видео и batсh генерации 4-ех картинок SDXL одновременно - та же фигня. Разница в пределах погрешности. Кстати, вторая карта в comfy тоже немного полезна. Есть кастом нода для multi gpu - можно как минимум для offload ее память использовать, или часть вспомогательных задач считать не на CPU.
Да, в этих темах прямой зависимости между нет между тдп и производительностью, что считаю плюсом.
https://pixeldrain.com/l/Hoeb83g8 на любой кусь
>https://huggingface.co/unsloth/Qwen3-235B-A22B-GGUF
>Это лучше крути, разница с дипсиком не большая, но быстрее.
Короче, я не знаю как это работает, но Qwen3 235b UD-Q5 на эпике работает сильно медленнее чем DeepSeek V3 0324 Q4_K_M
>Чтобы не сразу модель поддавалась, а ее приходилось бы уламывать
Геммочка-умничка хороший выбор, она няша-стесняша, но намеки понимает любой толщины.
Так у второго поколения эпиков нет NUMA, вместо четырех отдельных чиплетов с отдельными контроллерами оперативки тут просто общий IO чиплет, все контроллеры оперативки на нем и у чиплетов с ядрами доступ к оперативке совершенно одинаковый, не приходится к отдельным модулям через IF обращаться как в первом поколении.
В идеале бы третье поколение заиметь, там еще и L3 кеш общий и тоже на IO чиплете, но пока так.
Так сокет один и нода считай одна.
Есть опция разбить отдельные чиплеты с общим L3 кешем на отдельные NUMA ноды, но смысла в этом около нуля.
>работает сильно медленнее чем
Не должно, разницы между ними нету. Должно быть наоборот быстрее. Ищи в чем проблема, по идее квен гораздо выгоднее крутить, он меньше и быстрее.
А хотя знаю, проблема может быть с iq квантами. Скачай какой нибудь честный 4км, ну или чекай на хаггинфейсе напротив файла модели кнопка где качаешь. Там тыкаешь и на сайте открывает информацию о кванте. Так вот, iq кванты медленнее на процессоре и если их много в кванте то на процессоре будет медленно.
Тоесть тебе нужно выбрать без iq квантов внутри.
Сам не понимаю в чем прикол вообще, несколько раз перепроверил.
биля чел заебал пирдуй в бивис и ставь NPS=1 потом чекай скорость
О, ну это хоть проверить легко, сейчас скачаю, отпишусь потом по результату.
Шизохуйню от Давида не предлагать.
РП+кум.
>Шизохуйню от Давида не предлагать
Ну тут ты, конечно, максимально охуел, братишка. Это не NAI-тред, где модель по промпту 1girl будет рисовать тебе исключительно мрачняк, потому что модель так натренирована и всегда рисует в таком стиле.
С LLM так тяжелее сделать. Да и чем тебя модели Давида не устроили? Там есть довольно большие и мрачные. Ну и с шизой можно справиться.
Ищи модели у ReadyArt, там есть под мрачняк, но учти, что там обычно дикий кал и слоп, даже если негативный биас. Но что забавно, многие из этих моделей так плохо затюнены или замержены, что будет буквально хоррор, а потом, когда дело коснется лоли или чего-то такого, бравые полицейские ворвутся на космический корабль и арестуют всех монстров вместе с тобой.
Лучше всего с твоей задачей справится грамотный систем промпт или авторская заметка на нужной глубине.
Ну мне вот нравится Dark-Shelby_Q6_0.gguf он 12B конечно но справляется лучше чем Omega Directive 24B по крайней мере мне нравится
Мне кажется прикольный, я потыкал помладше 8x7b и прям доволен. Вот интересно старшего потыкать, качаю.
Ток не знаю как бы его разместить правильно, чтобы в оперативке они лежали, а вычисления шли на видеокарте. То есть все в видеопамяти происходило и рам с цпу чисто на подсосе. Или llama.cpp сама moe архитектуру подхватит? Где можно почитать как это настраивать?
>Где можно почитать как это настраивать?
В шапке. Но мисрань неактуальна уже давно.
>>1244784
>>1244812
Всем максимальное спасибо, потестирую Dark-Shelby и Dans Dangerous Winds. ReadyArt че-то не охота, видел как их тут засирают частенько.
>Ну мне вот нравится Dark-Shelby_Q6_0.gguf он 12B
Билять это тоже что ли от ReadyArt? Еще и удалена похоже, видимо совсем кал...
>русский
Аднака неплох, да, пожалуй даже лучше харбингера.
>>1244718
>SFW рп практически невозможно
Смотря что за сфв рп считать, быстро потестил чисто начало, вполне многообещающе, и не видно чтобы прям сразу на член прыгали. На одном примере есть намёк от юзера, но ответ вполне логичен.
Позже надо потестить уже на контексте. Русский прям харош.
Примечание - в примерах на скринах нет подстановки имён в промт и нет указаний не писать за юзера.
>>1244738
Только у меня кастрат (12b) гемма, но кстати она получше пишет онных моделей, но все спорно.. Где-то лучше, где-то хуже.. Промпты проверю попозже, может там будет то, что я так хотел
>Ты думаешь, что слоп можно победить сэмплингом?
Не думаю, но чел, который делал xtc, делал его именно с этой целью. Типа попробовать убрать шиверсы, которые вылезают в топ токенов с огромными вероятностями. Поэтому его и привёл в пример. Ну и бан токенов в ту же степь. Понятно, что модель будет заменять забаненное аналогами, но цель сэмплера в антислопе.
>Это самые очевидные
Ну ладно, какие-то слоповые шняги есть, хотя абсолютно неброские, как по мне. Из твоих примеров меня только закусывание губы царапает при чтении. Про воздух тут в тему, показывает реакцию перса на то, что осталась без верхней одежды, не абстракция про заряженность недосказанностью. В остальном, почти чистые от слопа генерации.
>>1244507
Тренишь с дпо с двумя вариантами, где ответ без слопа принимается, а ответ со слопом реджектится. В чём проблема? Точно так же анцензор в некоторых случаях пытались делать, dpo аблитерация геммы как раз про это, например. Насколько успешно выходит - другой вопрос, но саму методу вполне можно применять.
>Не думаю, но чел, который делал xtc, делал его именно с этой целью.
Он боролся с однообразием и зацикливанием, в основном.
Не пизди тут. Анон уже все придумал, кто чем и зачем занимается.
>dpo аблитерация геммы как раз про это, например
не, там сначала аблитерация была, а потом чем прогнал дпо датасетом немного вправив мозги модели
Ты хотел написать продумал?
>>1244964
>немного вправив мозги модели
А это сработало? Ведь гемма слишком плотно настроена, так что любое изменение только во вред.
>слоп
ITT "то что мне не нравится", смиритесь.
И так было ещё со времён когда говорили "рулез" и "сакс".
Воевать со слопом - воевать с ветряными мельницами.
>>1244966
>А это сработало
Каким-то чудом да, и долгое время дпо-гемма в треде была единственной адекватной геммой, потом появилась Синтия, ещё есть planetoid, но пока его не потестил.
Гляньте че есть, ланчер для llama server
Это отлично иллюстрирует, куда катятся корпосетки в плане русскоязычности, а значит и локалки
У жпт всегда был хужший русский среди корпов. Сейчас он даже Гемме сольёт. Альтман тренит своё говно на синтетике сейчас и она очевидно на английском.
Так все тренят. Там слоп на слопе синтетическом.
Раньше лидировал клод в русике, но пошёл спад с обновлениями. 3.5 начала медленно деградировать, 3.7 ещё сильнее, 4.0 уже близка к гпт по каловости. Лучший — опус старый, жирный и всеми забытый.
Пока что только гемини удивляет. Ну и даже гемма, учитывая её размеры. Наверное, у Гугла больше датасеты или у них сильный уклон именно в языковые возможности, раз в коде сосут, но это ненадолго, я думаю.
Гпт и раньше был плох, но сейчас бьёт все рекорды. Хотя гемма его не переплюнет всё равно.
Ну и всякие дипсики, лламы 4 и квены в стихи никак не могут — через попенроутер смотрел. Разве что на английском, но и там качество такое себе.
>>1245157
4.1 намного лучше в языках чем 4о, которая стоит в вебверсии бесплатной. 4.5 так вообще лучше Опуса
На пиках с гпт 4.5, фить-ха! Было интересно, спалят это аноны или нет. С 4о вообще беда, можно даже не пробовать. О3 тупо на уровне 12б или что-то вроде того.
А вот такого у 4.1 не ожидал. Да, она менее метафорична, очень позитивный биас, но намного стабильней, чем 4.5 — она может выдать что-то прям очень годное, но надо итераций штук 20, в отличие от 4.1.
Я 4.1 даже не щупал, ибо позиционируется как кодерская модель.
Но я не соглашусь, что 4.5 лучше опуса 3. Вот 4, возможно, скатился, но пощупать его сейчас не могу.
4.5 хуже втыкает что требуется, надо давать какие-нибудь примеры желательно. Так лучше опуса себя показывал у меня.
Опус 4 на ллмарене можно потыкать кстати.
Вот и эпик подъехал, а я с ним уже натрахался накувыркался.
tl;dr Некроэпики полезны примерно также как некрозионы, только дороже. Скорее нет, чем да в релейтед треду применениях. Из пердосклейки кучи райзенов 2700 или какие-там были магии не получится.
Если же подробно, то там будет много. Тестился конфиг Supermicro H12SSL-I (sp3, может 2 и 3 поколение эпиков) + 7k62 (48/96) + 256GB (8х32 ddr4 2666). Собирать приятно, такие-то олдскульные цвета компонентов и текстолита, без геймерского ргб-налёта. Один только размер проца уже внушает. 5 широких честных 4.0 х16 слотов. Кулер - Ноктюа, просто мастодонт, выше 65 темпы не видел.
Проблемы начались со включения. Не реагирует и всё. Оказалось в мануале гребенка нарисована перевёрнутой. Потом там в мп есть своя сервисная ОС, работающая вообще отдельно от всего. Можно зайти по ип на ВЫКЛЮЧЕННЫЙ комп даже. После включения потерялась одна плашка, протирка контактов помогла. Дальше проблема с вентилями. Серверные крутятся под 10к оборотов, и когда Ноктюа входит в режим лени (200-300 об), то мониторинг платы сходит с ума и даёт 100% ВСЕМ вентилям. По идее это лечится снижением нижних границ через ipmitool, но это ещё надо было найти, потом найти тулзу, параметры. А мп вообще пофиг - каждые 30с продолжает долбить воем. В итоге выяснилось, что надо перезагрузить ТУ САМУЮ внутреннюю ОС. И тогда только новые пороги оборотов подхватились. И то потом иногда повторять приходилось.
Наконец можно стало тестить. После общих тестов пришло подозрение, что чуда не случится. Тесты с генерацией подтвердили:
Только проц:
Гемма27 - 33 т/с процессинг / 5 т/с генерация
Квен3 30-А3 134/19
Квен3 IQ2 235-А22 37/6 пустой | 9/2 11к контекста
ДипсикР1 IQ1 2/1
После подключения видях очевидно стало лучше, но никаких 8т/с как писали на хабре с одной двумя и даже тремя картами на дипсике не было. Максимум - 2(!). Так что чёт ощущения на полшестого после двух дней пердолинга. Старый бытовой 14700 и нище мп даёт почти такой экспириенс в ллм + не заставляет идти на компромиссы в остальном. А у старого эпика с однопоточными задачами всё печально.
Максимум что я добился с 3 картами на квене3-235 было 220/12, с теми же картами на 14700 было 180/9. Чёт не стоит такой прирост мне кажется.
Можно предположить, что дело ещё в шиндовс, и под линуксом будет лучше. Но чёт лень уже ковырять некроту стало.
>Максимум что я добился с 3 картами на квене3-235 было 220/12
Причём одна карта у тебя аж 5090, насколько я помню?
>Можно предположить, что дело ещё в шиндовс, и под линуксом будет лучше.
Наверняка. Особенно с мультиГПУ.
Ого контентище внезапно подъехал, прямо луч света.
> Supermicro H12SSL-I
А ведь хорошая плата, не так давно считалась той еще йобой в рабочих станциях. Во сколько все в итоге вышло, какие особенности пердолинга по сборке?
> мониторинг платы сходит с ума и даёт 100% ВСЕМ вентилям
Дат супермикро момент на работе человек с подобным страдал
Очень странно, почему такая низкая скорость памяти? Столько же, если не больше, выходило на x299 с 4 каналами, пусть и частотой выше. Что-то точно здесь не так, на подобной системе должно быть под 200, в свое время замеряли.
> никаких 8т/с как писали на хабре с одной двумя и даже тремя картами на дипсике не было. Максимум - 2(!)
Это жора или ktransformers? Стоит последний попробовать если не он, правда с конфигом под мультигпу придется несколько помучаться, но будет работать гораздо лучше. Если нума (разделен ли камень на домены?) и пердосклейка не подосрут офк.
> на квене3-235 было 220/12
Это какой квант?
> 5 широких честных 4.0 х16 слотов
Есть ли у тебя: одинаковые гпу в конфиге; опыт их использования/замеры скорости какого-нибудь инфиренса и тренировки через чипсетные слоты на десктопной платформе; интерес померить влияние линий подключения?
80-гиговый любитель кошкодевочек?
Что сейчас наиболее годное для перевода текстов (нехудожка) с русского на английский? До 30B, но лучше поменьше.
Попробовал я тоже этот 2.0 unslop (на англ) на жестких настройках, как они сами и советуют - Mistral-V7-Tekken-T8-OP-XML
Как же я ахуел от этого ебыря террориста...
1% РП 99% кума 100% слопиума. Описания и действия сочные, но речь пиздец ебанутая, я такого еще не видел. У меня простая сцена в душе с одним персонажем кроме моего, длилась 17+к контекста.
Попробую еще потом с обычными настройками от них, а затем со своими, посмотрю разницу.
Не-не-не... Я с их собственными темплейтами завязал давным давно - использую максимум как шаблон, чтобы мистраль разметку по полям таверны вручную не разносить, да ради начальных значений семплеров. Давно уже сам пишу под себя. Тем более, что логику промпта "через Гейм Мастера" они не используют, а я наоборот - предпочитаю.
А вот этот их OT - obscenity protocol, спецом для такого поведения написан и дорабатывался уже порядком времени целенаправленно. Конечно, там и ебарь-террорист получится. Чего хотели - то и получили. LoL.
> Наверняка. Особенно с мультиГПУ.
Да и число потоков тоже такое, что планировщик поехать может, наверное... Йехх, хочется просто быстрых генераций, а не вот это всё.
>>1245363
> хорошая плата, не так давно считалась той еще йобой в рабочих станциях
Самая дорогая часть, 128 линий распаять, слоёв много наверное. Ну и время незаметно летит: вроде 2007 2017 вчера был
> сколько все в итоге вышло, какие особенности пердолинга по сборке?
Поменьше, чем две пожёванные 3090 примерно. Самые жёсткие особенности вроде расписал.
> супермикро момент
Я тоже страдал! Супермикро, ты оплатишь мне моральный ущерб?
> низкая скорость памяти?
> на x299 с 4 каналами, пусть и частотой выше.
Дат амд контроллер памяти - всегда был мемом. Гуглил с других подобных сборок результаты: 150гб/с на 3200. У меня было 2666, так что бьётся. Интел при всех косяках всегда по кп был на несколько шагов впереди.
> должно быть под 200
Возможно другое поколение проца.
> жора или ktransformers? Стоит последний попробовать если не он, правда с конфигом под мультигпу придется несколько помучаться, но будет работать гораздо лучше. Если нума (разделен ли камень на домены?)
Шиндовс же был. Так что жора. И так пару дней промучился, больше не хотелось совсем уже. По NUMA: пробовал разные вариации настроек: авто, NPS1, NPS0 - разницы по псп памяти или скорости генерации / в бенчах не заметил.
>> на квене3-235 было 220/12
>Это какой квант?
IQ2
> Есть ли у тебя: одинаковые гпу в конфиге; опыт их использования/замеры скорости какого-нибудь инфиренса и тренировки через чипсетные слоты на десктопной платформе; интерес померить влияние линий подключения?
Увы, все разные. Сейчас обратно переставил в казуальную платформу. Инференс в жоре/табби/сд на 10-20% лучше в широком слоте. Тренировка - есть опыт только по лорам, но не распределенный, а на одной карте - тоже подобные цифры примерно.
>>1245336
>>1245363
> насколько я помню?
> любитель кошкодевочек?
Не знаю никого с этим именем! Какие все глазастые да проницательные итт ))
>>1245376
Гемма3, какая влезет.
Правильно, первое что надо проверить XD
> Дат супермикро момент на работе человек с подобным страдал
а надо было просто спросить совета у нас в серверотреде хардача
> нума
она, инфа 100%
да я треднечитайсразухрукай
>>1245460
> По NUMA: пробовал разные вариации настроек: авто, NPS1, NPS0 - разницы по псп памяти или скорости генерации / в бенчах не заметил
а numactl пердолил? в шиндошс хз как, в люниксе должно быть лучше
> Супермикро, ты оплатишь мне моральный ущерб?
Можно обратиться в спортлото в представительство или к дилерам, они одни из главных поставщиков серверного обрудования и рабочих станций после начала пиздеца в 22 году.
> Дат амд контроллер памяти - всегда был мемом.
Блин ну не настолько же! удивление наигранное, зная амд. Да, там няшечка Милан вместо тыквящего Рима и частоты выше. Кстати, даже последний поддерживает 3200, на пофиг выставить в биосе не пробовал?
> Шиндовс же был.
Оу. Это ригом планируешь или на основной пека? Если второе то имеет смысл сразу линукс накатывать, если первое - ktransformers прекрасно собирается и работает под wsl даже загрузка модели не будет особо дольше ибо в другое упирается.
> Увы, все разные.
Прям совсем разные модели или просто конечные вендоры? Такого большого замедления инфиренса в задачах без большого потока данных через чипсетные линии не замечал. Но как только пытаешься пускать что-то распределенное - сразу до четверти съедает, в свое время стало причиной не-покупки 4й видеокарты в риг.
Интересно как оно здесь обстоит, справедливы ли заявления о замедлении работы на старых эпиках и подобное.
>>1245331
>>1245561
https://old.reddit.com/r/LocalLLaMA/comments/1kzfrdt/ubergarmdeepseekr10528gguf/
> NPS1 on single socket
> numactl -N 0 -m0 llama-server --numa numactl
> echo 0 | sudo tee -a /proc/sys/kernel/numa_balancing
ето пишет чел который кодит ik_llama
Потрогал и аблитерейтед и модель превтилась в тыкву, полная хуйня
Опача
https://huggingface.co/BeaverAI/Cydonia-24B-v3g-GGUF
драмер держит ситуацию в цепкий лапках покрытых спермой
Магистрал в целом какашка, так что и тюн ситуацию не исправит.
Каких ботов вы используете когда хотите показать мем, проанализировать текс песни, обсудить что-то или просто мнение?
>Просто мнение
>мнение
>МНЕНИЕ
/b/ двача.
А так — корпоративных. Из локалок 27б гемма без аблитерации.
прям норм моделька, прям норм кумит, даже на русском, причём если нет предпосылок то и не спешит, вот у меня кум начался на 7к контекста и продлился до 10к, но вот с переходом в обратно в нормальное рп начали возникать проблемы. Сцену завершить не отказывалась, но прям резко стала проёбываться с логикой.
> сначала сняла твои штаны
> потом провела по штанине почувствовав
SOOOOQA, чтож ты делаешь!
Воистину лучшая модель.
Для такого говна ллм не нужна, проще питухон програмку на виспере написать, которая будет все это делать. С ллм, тем более на говнокомпе, получится глюкавая хуйня, особенно с таким пониманием матчасти (иначе бы ты не спрашивал "какую ллм под мой проц").
Пиши в гугле "Моя б̶е̶з̶умная колонка или бюджетный DIY" и первая ссылка на кукабре - твоя, там две части. Чел ограничен мелкожелезом (малина), но на компе, даже копченом, это все будет быстрее. По сути там накидан код как раз того что ты хочешь, включая распознавание звука и обработку кривого распознавания и вызов нужной функции.
Если уж очень хочется не "КОБОЛЬД, СТИРКА 6 ЧАСОВ НАПОМНИТЬ", а "Кобольдик дорогой белье грязное, напомни постирать когда приду с работы", то бишь присрать все таки LLM - гугли "Смарт-функции в Алисе: как LLM помогает понять, чего хочет пользователь" , первая ссылка - твоя. Но кмк таймлаг на локальном железе, тем более на всратом - того не стоит, эффективнее запомнить шаблоны основных команд, которые будут алгоритмически выбираться, как у чела с колонкой.
конечно лучшая, делал что бы самому дрочить, теперь думаю, а нахуй мне девушка, хоть и в отношениях более двух лет...
Ты я так понимаю другой эпикобоярин, у моего кумира в прошлых тредах было 512 рам, другой эпик(?) и 5-7 токенов/с дипсика на линуксе чисто на проце, без карты.
>что дело ещё в шиндовс
Спасибо что поделился, но мне кажется что тесты под винду вообще не валидны на таких конфигах. Это как на драг-корч ставить сидение от w221 с подкачками, массажем и лргб подсветкой, а потом удивляться почему при нажатии на газ, пилот вылетает из сиденья. Умоляю, купи/займи/укради второй ссд и накати линукс для экспериментов. Ну не может же быть так плохо.
В общем я не сильно шарю в нюансах серверного железа и инференции на cpu через жору/ktransformers, но очень хочется купить сладенькую сборочку под дипсик/милфоквен до 100к (без учета видео)... Поэтому давайте думать епт, давайте разбираться че за хуйня...
> тесты под винду вообще не валидны на таких конфигах.
Очень может быть, не буду отрицать.
> накати линукс для экспериментов
Вот нет столько времени, увы. Что смог не напрягая мозгА - то сделал. Свайпы сами себя не посвайпают, и кнопка Генерейт сама не нажмётся. Увыы.
Вот бы кто-то пришёл, накатил.
> до 100к
Даже такое дно как у меня уже выходит за рамки. И это корпус/бп/ссд/моник с VGA(!) уже были.
В идеале бы это в открытом стенде собрать, сверху на проводах 5шт 3090 привесить и под лин... Но места нет + зверь дикий дома.
>Нет столько времени... Свайпы сами себя не посвайпают, и кнопка Генерейт сама не нажмётся.
Везет, хоть и не понимаю тебя (имея кучу недешевого железа, просто на него забить). Я вот наоборот успел мимокарточек 15 по 30-100 сообщений откатать только, а все остальное время потратил на пердолинг с железом, линуксами и поиском топ-моделек и топ-железа итт.
>Даже такое дно как у меня уже выходит за рамки. И это корпус/бп/ссд/моник с VGA(!) уже были.
Анон-кумир вроде говорил у него то ли 60к, то ли 70к вышло за все. Мать (у него какая кто энтерпрайз-некрота, он он же скидывал хуанан по 30к на озоне, и говорил что лучше бы взял его, если б знал), проц, память. Бп/диск/моник офк в цену не считаем, этого бай дефолт навалом у любого энтузиаста. И по его фидбеку, даже чисто как процесборка без видеокарты вообще - за эти деньги уже гем, интереснее покупки второй 3090.
Чуть попозже пороюсь вилкой в перекатах, перечитаю его сообщения, что бы получше понять и сравнить [прайс, модели железа, дипсикот/с, герцы и мегабайты] твоей сборки, анона-кумира и недавнего хуя с хабра.
> с хабра
Там озвучено было 230к. Их них бюерем 65 за 3090, остаётся 165. 512=8х64 3200 ещё около 65. 7к62 около 25к. Мп h11 около 35. Осталось ещё 40, хз на что он просадил их.
>Осталось ещё 40, хз на что он просадил их.
Ну это жа хабр... Там скорее всего бп не из мусорки, корпусок из эльдорадо за оверпрайс, термопаста из спермы главы Noctua на 0,000вт/нм/град лучше мх-2, расширенная гарантия, зарплата сборщику пк... И все ради того что бы позадавать дипсику вопросы "реши загадку про волка, капусту и козу".
Утрирую, но думаю многим и не снилось, на что готовы пойти авитонищуки ради фпс в контре/свапфейса однокласниц/кума с аской дешевых вычислений. Я с приятелем собирали кудахтеры в 2020м году, моя сборка вышла в 34к, мощнее, чем его за 80. Зато у него водянка и разгон!!! В 2025 я махнул 1080 на 3090 и рязань 2ххх на 5ххх, а он махнул один игровой корпус на другой игровой корпус ДЛЯ ЛУЧШЕЙ ПРОДУВКИ, оставив некроинтуль и 2070, лол.
>моя сборка вышла в 34к, мощнее, чем его за 80
Геймерам всегда было проще, потому что железо тупо было. Играть на сервернике вполне можно и даже хорошо - четырёхканал DDR4 когда DDR5 ещё не было например. Такого дешёвого буста под нейронки сейчас не добьёшься.
Не, речь как раз про консьюмерское железо (хотя 775 на зионе я в свое время хотел собрать, но пока изучил вопрос, он уже устарел так, что дешевле было за 500р квадкор взять топовый). Просто его сборка была из магазина с кучей хуйни вроде говноводянки или быстрой памяти (которая была не нужна, т.к. все равно игори долбились в ограничение 2070) или модного корпуса, а я шакалил авито и торговался за каждые 100 рублей.
Имаджинировал как оно будет зачитывать вот такие тексты >>1245493 и проорал.
>>1245752
> Свайпы сами себя не посвайпают, и кнопка Генерейт сама не нажмётся.
Два чаю этому человеку культуры. Лень дойти до почтомата чтобы забрать райзер и докинуть уже имеющуюся гпу в риг
> места нет + зверь дикий дома
На такие случаи есть пара опций.
>русик в вскоде
>дрочить в терминале
>считаю себя больным
Всё правильно делаешь.
Откуда ллм знают правильные ответы и уверенно/консистентно отвечают на потенциально out-of-distribution вопросы учитывая что некоторые мнения могут иметь больше теорий заговора + популярности чем научные данные? Пример: прививки вызывающие аутизм.
>мнения могут иметь больше теорий заговора + популярности чем научные данные
Нейросети в конце тренировки дрочат на Википедии + свои высококачественные данные, а там мнение вполне себе одно.
Пресет для кидонии3, мне понравилась она
Для кума использовал вот этот лорбук, чтобы ризонинг по-моему шел:
https://pixeldrain.com/u/ssR766Zu
Сама модель:
https://huggingface.co/TheDrummer/Cydonia-24B-v3-GGUF
Гонял ток на англе.
>>1246160
бля, ссылки напутал
https://huggingface.co/BeaverAI/Cydonia-24B-v3g-GGUF
эту и гонял, просто открыл быстро по поиску в строке чтобы тут ее добавить.
Вот эта версия.
Энивей этот лорбук работает и на нон-ризонинг тоже, потому что это и не ризонинг а хуйня какая-то она сеттинг строит пошагово чтобы более структурирована моделька работала
Поясню:
- флагманы типа дикпика, квена-235, ну еще ок 123-мистраль - лучшее, что можно запустить локально. Т.е. выше прыгать сейчас некуда, если нужна локальность - это потолок. Даже если уступают корпу, то чуть чуть, ну и деваться то все равно некуда, альтернатив нет.
Они и знаний много имеют как ассистент, и кодить могут, и рп по идее самое крутое.
- у локалочек до 20b - своя уютная ниша - это и какой никакой ассистент при отключении интернетов, на любом некроговне работающий, и дежурный переводчик/суммаризатор/дополнялка кода быстрая, быстрые агенты и всякие боты... Нищуки могут приватно покумить, не сильно уж обтекая. В общем когда нужна капелька интеллекта и СКОРОСТЬ/ДЕШИВИЗНА - это вин.
А вот то, что требует 16+ vram - ни туда и не сюда. Просто туповатый эрзац гемини/гопоты.
И получается забавный факт, что вроде не врамцел, а толку особо и нет, наоборот - пока 3060 боярин заливает смегмой все вокруг, кумя на русике на пережареном 12б мистраль тюне, ты сидишь и часами выбираешь модельки, жадно читаешь про железо...
Похоже для перевода используется маленькая ллм, так как перевод пусть и очень плохой, но лучше чем машинный перевод ПЕРЕВОДЧИК_ПРОМТ, "охлади трахание" не замечено. А еще в отличии от основного нейропк, перевод на ноутбуке 13 летней несвежести сильно-сильно нагрузил систему и шел oche долго.
Поэтому аноны, вопрос:
1. можно ли как то достать из ff эту нейросетку? Из праздного интереса.
2. из не праздного - можно ли нативно подпихнуть гемму 1б хотя бы, думаю она будет заметно лучше
3. если п.2 - нереально, то мб есть какой то браузер-экстеншн для локального перевода через тот же Kobold? Не в таверне, а именно всей страницы браузера.
> пока 3060 холоп подсчитывает сколько слоев ему выгружать и ждет обработки контекста, ты заливаешь смегмой все вокруг, кайфуя с умной модельки вместо слопа микромистраля
Исправлено.
>Чуть попозже пороюсь вилкой в перекатах, перечитаю его сообщения, что бы получше понять и сравнить
Итак, я собрался силой воли и изучил 3 эпикосборки - две итт, и одну с хабра.
Процы:
Анон с виндой и хабр - 7к62 (я так понимаю инженерник от 7552)
Анон с радеонами - 7532
Оба проца на zen3, только у анона с радеонами меньше ядер (32 vs 48cores), зато больше кэш L3 - 256 vs 192мб.
Явных лидеров нет, особенно с учетом что у виндоанона все oche плохо, а у хабриста - все вполне хорошо на одинаковых процах и матерях.
Память - тут возможно и кроется некая разгадка - на хабре 3200, у виндоанона 2666. Хотя у радеониста 2133 вообще, и он довольно урчал чисто инференцией на проце. При этом скорость в гб/с у виндоанона и радеониста почти одинаковая - в среднем 125гбс, а разгон радеониста до 140гбс почти ничего не дал в плане скорости.
Токены в секунду сравнивать не буду, т.к. разные кванты и модели, опираюсь на субьективные ощущения и совсем уж разницу (8ts на 4k_m дипсике явно лучше 2ts на IQ1). Кстати мб IQ-кванты херово едятся процом?
Ну и осталась по сути ОС и настройки запуска.
- хабрист запускал в хитрых готовых контейнерах, что с одной стороны думаю огородило от 99% проблем с неправильным запуском и еблями с зависимостями, с другой - мб при более тонкой настройке можно было бы выжать еще чуть чуть. Опять же там был жора, и возможно даже не самый свежий.
- виндоанон не особо заморачивался, но мне кажется винда жестко херит всё, особенно на таком пердольном конфиге. Я буквально молюсь что бы виновата была винда и запуск "на отьебись" - не хочется рушить надежды о народном вкате в 100b+
- товарищ радеонист подошел судя по всему максимально грамотно, но отсутствие видеокарты тормозит отца эпикологии.
Вывод: а нет вывода, ждем либо когда виндоанону захочется снова попердолится, или когда товарищ радеонист снова выйдет на связь.
Хабр конечно выглядит воодушевляюще в целом, но там много воды, а из результата - "ну дипсик ок". Спасибо на том что падение скорости на контексте 2-3к показали. Но даже процессинг не указан, только бесполезные htop-подобные скрины и нахрен не нужный вывод дипсика. А самое главное - не показаны как работает 235б квенушка и новый китаец без синтетики (на который кстати вышли эксперементальные кванты с пердолингом - https://huggingface.co/ddh0/dots.llm1.inst-GGUF-Q4_0-EXPERIMENTAL).
Ведь неспешный дипсик конечно хорошо, но вот 235б квен на скорости 32б модели во врам - это был бы гиперзвук...
>достать из ff
разве что в файлах браузера покопаться, веса же должны лежать, если только имя файла не будет зашифровано из без расширения, тогда только скрипт писать чтобы по заголовкам смотрел, или на форумах поспрашивать
Harbinger пока что идеальный кандидат из тех, что я щупал, но там в 4/5 случаев ебанутый пиздец в виде слопа на 800 токенов без абзацев, с абсолютно сломанным форматированием. Либо на 300 токенов и с нормальным форматированием, но слишком ужато. Хотя сам текст по смыслу норм, но читать такое тяжело и я заебался свайпать. Сэмплеры крутил и прочее делал.
Дэнс персоналити, казалось бы, база, но он внезапно очень хорошо работает только тогда, когда история разворачивается 1 на 1 или только между персонажами. Кум, беседы, вот это всё. Соблюдает инструкции и характер персонажей. И безумно плох в обычном приключении, где надо учитывать сразу 3-4 действующих лица из лорбука/карточки, описывать обстановку вокруг, тонну действий.
Редиарт — кумо-кал, пантеон вообще какая-то шутка. Квены не признаю.
Памагити, я нинаю, что уже качать. У меня сил нет все модели щупать.
Анон ну я же писал, избегай iq квантов. Причем лги могут быть в ud квантах, надо смотреть в статистике модели на хаггинфейсе. Они всегда были медленнее на процессоре
Спосеба за анализ. Обязательно потыкаю ещё, когда будет время сборку на 2666.
>>1246435
Понял, перекачаю. Спс
>эро-порно-гуро истории или рассказы без всякой цензуры
только локально, онлайн всё под цензурой
Посоветуйте 12б модельку, которая хорошо описывает сцены, окружающее пространство, какие-то более масштабные действия. Ну вот как Дипсик - он это умеет...
А жареных гвоздей не хочешь, нет? Уровня Геммы ему в Мистральке захотелось блять
> --mlock --no-mmap
база.
я так и не понял, нахуя вообще сделали mmap по дефолту, если из-за этого загрузка модели занимает полчаса вместо нескольких секунд
>dots.llm1
>total of 142B parameters
>performance comparable to Qwen2.5-72B
Они ебанутые или да?
Ага. Написать нормально не осилили.
В таком контексте "performance" может означать тупо скорость генерации, и тогда это, в принципе, повод для гордости.
Или качество генерации. И тогда - это как бы совсем наоборот.
Стейбл версия готова!
>повод для гордости
Эм, если у них 14B активных МОЕ сравнимо по скорости с плотными 72B, это повод для ещё большего фейспалма.
Но они всё же про качество, офк.
> Оба проца на zen3
Нет, это зен2, потому и пососные.
> винда жестко херит всё
Только на это можно уповать, ну и ктрансформерс наконец запустить.
> о народном вкате в 100b+
Народным назвать сложно из-за высокой цены на комплект и кучи пердолинга вокруг него, 100б там только мое будут приемлемо крутиться, ну и самое главное - без основного расчета на видеокартах будет ужасно медленная обработка промпта и значительные просадки скоростей на контекстах.
> Хабр конечно выглядит воодушевляюще в целом
Есть подозрение на байт
> 235б квен на скорости 32б модели во врам
Не достигает он ее, даже когда на фуллврам. Хз почему.
>Эм, если у них 14B активных МОЕ сравнимо по скорости с плотными 72B, это повод для ещё большего фейспалма.
Я погонял модель в их space на Обниморде. На русском - такое себе, ум есть, но сильно путается. На английском не пробовал. В целом наверное можно сравнить с Llama Scout, может чуть лучше.
> вышли эксперементальные кванты с пердолингом
Бля а нормальных exl3 или хотябы gguf там нет?
>>1246429
Gml и qwq попробуй. Ответ про какой-нибудь лардж и 235 квен врядли устроит же?
>>1246532
Чтоэта?
ngl 50 = 78 gb, pp 14 tg 4
ngl 64 = 96 gb, pp 19 tg 6
ngl 88 override '([7-9]+).ffn_._exps.=CPU' = 96 gb, pp 10 tg 7
ngl 99 override '([6-9]+).ffn_._exps.=CPU' = 94 gb, pp 8 tg 8
Попытка в рекурсивно обучающийся ИИ на основе llama-2-7b.Q8_0
>Не достигает он ее, даже когда на фуллврам. Хз почему.
Плохая оптимизация MoE на llamacpp. Не самая плохая, но должно быть лучше.
>В целом наверное можно сравнить с Llama Scout
То есть провал.
>>1246560
И что у тебя там обучается?
> rtx pro 6000 96 gb
Эх, как же хочется.
А со скоростями что-то не то.
>>1246561
В экслламе сейм скорости, только без просадок на больших контекстах. На 22б должно было быть в пару раз быстрее точно.
>>1246567
> То есть провал.
Скаут не так уж плох на самом деле, зря захейтили.
Именно текстовый ИИ без цензуры вот этот есть. Минусов прям не вижу, кроме того что с переводчиком сидеть надо и копировать текст, но по сути это не страшно. Скопировал, вставил. https://perchance.org/ai-rpg
>--mlock --no-mmap
разве они не противоположные по эффекту?
Мальчик, отойди от папиной пека, а то по жеппе надает
У тебя что-то не то, будто только на проце работает. Должно быть десятки тг, а не единицы, а пп - сотни.
> А со скоростями что-то не то.
возможно причина в оффлоаде не влезающих данных в нищую DDR4 <200GB/s
Скачал голый Q4_K_M, быстрее не стало по сравнению с UD2
Ну в целом Q4_K_M около 140 гигов весит, так что генерацию можно оправдать. Но процессинг совершенно донный выходит. Что за железо остальное? Попробуй нищеквант экслламы, вот где должно быть оче шустро.
>>1246664
Он и весит в 1.5 раза больше. Попробуй какой-нибудь q3 без ud.
Имеется Ryzen 5 5600X, 2x32 DDR4 3600cl18, 4060 ti 16 и 3060 12.
Если я докуплю 2х32 DDR4 3600cl18 (правда хз, на какой скорости и таймингах 4х32 будет работать, конечно) - я смогу насладиться Qwen235-22, или будет совсем говёный квант и мало токенов и нет смысла заморачиваться?
Зависит от качества заполнения карточки, сценария и примеров диалогов.
Ответ - да.
>Нет, это зен2
Сорян, опечатался. буквально на соседней вкладке НИКС открыт со спеками, в голове "зен 2 рим", пишу "зен 3", палмфейс.
>Народным назвать сложно из-за высокой цены на комплект
Ну радеоанон вроде сказал 70к, т.е. до сотки мать-проц-память реально уложиться (пока). За 70 так вообще смак, считай цена второй 3090 (которая особо много не даст сама по себе, если только 70б плотнячок не выйдет уровня геммы3). До сотки вариантов ощутимого апгрейда с одной 3090 практически и нет. Еще и старое железо можно продать, если в игорь не играешь и на линуксах все равно сидишь.
Энивей по меркам треда до 100к и много пердолинга - это народно >_<.
>100б там только мое
Такое ощущение что нас из крупных хороших моделей только мое и ждет теперь. Одна из основных причин, почему не хочется для ллм вкидывать сильно больше 100к - непонятно к чему идет, вдруг куртка завтра выпустит "народную коробочку"... (нет).
>без основного расчета на видеокартах будет ужасно медленная обработка промпта и значительные просадки скоростей на контекстах.
>Не достигает квен235 скоростей обычных моделей даже когда на фуллврам.
Как чисто cpu-инференс это мертво, тут из рассчета что уже есть видеокарта. Хочется что то вроде "128ram+3060 и можно запускать квен", только получше, что бы юзабельность была, а не пруф оф концепт. 123б на риге (особенно из не самых свежих карт) тоже 30+т/с не дает насколько понимаю, а все что сильно лучше - это уже профкарты свежие и инфинибэнды, что уже по цене улетает так, что дешевле шлюх и профессоров на дом вызывать, чем с нейронкой шептаться.
> Есть подозрение на хабре байт
Если бы он показал хорошую скорость на квене с пруфами, я бы не в треде, а на авито и алибабе бы сидел.
Уже настолько душу растревожил эпик, что даже немного хочется что бы оказался провалом, тогда с чистой совестью за три копейки можно будет купить 128gb ддр4 в текущий пк, получить заветные 2т/с и порадоваться "у меня есть квен!". А то ведь придется брать.
>>1246554
Печально, так хотелось новый 100б+ геймченджер под гибридный инференс...
>На русском - такое себе
Я хоть сам приверженец русика, но вроде бы их фича в датасете без синтетики, чуть ли не на котором еще ламу первую обучали. И если так, то откуда там русику взяться, чудо что он еще умным кажется. Возможно стоит инглиш-анонам пощупать.
это скорее на хф стороне проблемы. он периодически падает в последнее время
У меня пару дней назад также не качалось, и с цивита тоже, но через через впн норм качалось, сейчас и без впн качается.
Мне кажется куда то не туда прогресс идет
Единственный барьер который отделяет меня от полного деграданства это отсутствие русика
Как только русик нагонит текущий англюсик это буден ящик пандоры, буквально
Двачую. Кидонька-Магнум - лучшая из Кидоний, следующие хуже. Там как раз 1.2 и 1.3 версии.
>>1246776
А я переболел. Совсем неинтересно теперь, наблюдаю за развитием ллмок со стороны, сам не использую. Столько свободного времени появилось.
Ну у них получше, но мне они всё равно не нравятся из-за других аспектов.
Тут дело в том, что 100% такой тюн/мерж мистраля есть, тот же спейс варс, но он жёстко затюнен на фантастику — не подходит. По сути, это просто должен быть почти ванильный мистраль, но который затюнили на книгах или разнообразном слопе, чтобы он мог держать сцены и не зацикливался на фэнтези/сай-фай/
Как итог, либо скачивать 10 моделей и каждую тестить либо спросить. Неужто здесь на мистралях никто не катает, кроме редиарта и дэнс персоналити?
> Неужто здесь на мистралях никто не катает, кроме редиарта и дэнс персоналити?
А зачем, когда есть отличные 32б модели, что запускаются на том же железе, что и 24б?
>на том же железе
Не всегда, на 12 врам у меня 3-4 токена гемма 27 и 4-6 мистраль 24, а вот 32 уже слишком тяжко.
Погонял Broken-Tutu-24B-Unslop-v2.0 - отличная модель именно для порно-сцен, SFW-рп-прелюдии тоже хороши. Жестяк не отказывается, но очень сухо, модель раскрывается именно в поебушках. А вот если после так сказать, процесса, хочется дальше, лучше подрубить другую - харбингера для фентези или звёздные войны для сайфая.
Погонял слоп - отличная модель именно для порно-сцен, SFW-рп-прелюдии тоже хороши. Жестяк не отказывается, но очень сухо, модель раскрывается именно в поебушках. А вот если после так сказать, процесса, хочется дальше, лучше подрубить другую - слоп для фентези или слоп для сайфая.
Такие вот 24б мистральки...
Попробуй, может что и получится. Лучше, конечно, проц побыстрее и ддр5, но запустить сможешь. UD2 вполне нормальный, не поехавший. Новые кванты на больших моделей нельзя сравнивать как раньше - типа "все, что меньше 4_к_м - мертвое".
У меня железо не очень, чтобы в память квены полностью влезли, а во-вторых, эти квены ну реально такие себе. Я разве что глм не катал.
То есть тот же qwq можно юзать, да. Задачи для него есть в рп. Но он не настолько охуенен, чтобы терпеть падение токенов/контекста. Просто модель "на вкус и цвет ". Именно поэтому я вцепился в мистраль, так как знаю, что он тоже может: ванильный справляется лучше файнтюнов в сценариях с общими сценами, то есть нужен просто тюн, который не пережарен.
Но тут мистраль словно для кума у всех исключительно + небольшое количество геммабоев, а остальные вообще хуй знает что гоняют, кроме qwq, глм и файнтюны 32б квена.
> эти квены ну реально такие себе.
Не соглашусь, но каждому свое.
> Я разве что глм не катал.
Это не Квен. И он довольно легкий, может даже поместится неплохой квант с достаточным контекстом. Но там как и с Квенами нужно нормально понимать модель и направлять ее.
Вот этот попробуй: https://huggingface.co/PocketDoc/Dans-DangerousWinds-V1.1.1-24b
Или этот: https://huggingface.co/SicariusSicariiStuff/Redemption_Wind_24B
Второй точно не пережарен.
> а остальные вообще хуй знает что гоняют
До сих пор сижу на Коммандере, для меня он лучший.
Крч, сам вернулся на мистраль. Но у меня на это свои объективные причины.
Но положняк такой - для сложных сценариев с намеками и прочим - тюны геммы. Но абсолютно не пригодные для мрачной мрачноты и кума.
Нейтрал-нейтралычи : серия command-r (включая её слоп тюн)
Специфичные : квеноподелия, где особняком стоит снежный.
Ну и малышки мистрали, которые, по неведомой мне причине становятся только хуже с каждой новой версией.
Но при этом самые быстрые и легко настраиваемые.
> считай цена второй 3090 (которая особо много не даст сама по себе
Тут ты фундаментально не прав. Экспириенс от возможности запуска ~70б и более жирных квантов 30 с большими контекстами без его квантования будет лучше, чем пару токенов в секунду на жирном мое. Развивая тему - на двух видюхах с нормальной десктопной платформной оно будет вертеться не хуже, чем на некрозеоне/эпике с единичной гпу.
Так что народность платформы ну очень уж под сомнением, кто хочет побольше - возьмет, но как малобюджетное решение - сомнительно. Гпу ведь можно будет юзать для любых нейронок и не только.
> 123б на риге (особенно из не самых свежих карт) тоже 30+т/с не дает насколько понимаю
10-15 в зависимости от кванта и карточек, это вполне комфортно.
> Как чисто cpu-инференс это мертво
Если не чисто то оно все равно не особо то живое. Это может быть хорошим вариантом базы для рига, но в качестве полумеры как-то слабовато, вторая видюха в готовый приличный комп все еще интереснее.
> из крупных хороших моделей только мое и ждет теперь
Никуда не денутся, если будут соразмерные мое - катать их.
Хз, как-то тоже хотелось, но все эти результаты только разочаровывают.
>>1246797
Как вариант - жонглировать моделями чтобы накопить чат, а там уже будут подхватывать. Хз получится ли подобрать правильный мистраль.
Пустой чат. Подрубаете стар коммандер 32б, выжимаете из него максимум кума за 10-15 сообщений и свапаетесь на гемму 27б.
Идеальный рецепт
Палю лучшую страту для ерп не рассказывайте никому
Пустой чат. Подрубаете стар коммандер 32б, выжимаете из него максимум кума за 10-15 сообщений и свапаетесь на гемму 27б.
Идеальный рецепт
Пофиксил
Нет. Он тупой сам по себе, слишком хорни и не может креативно возбудить как гемма покопавшись в карточке и вывалив что то индивидуальное для перса
Не испытываю таких проблем. Либо я такой же тупой, как коммандер, либо умею что-то, чего не умеешь ты. Хмхмхм
это вообще не к текстовым, и скорее всего никакая, так как здесь нужна комбинация Vision-LLM-CAD
Используй базу или лайт версию вместе с хорошей карточкой и не будет проблем
Двачую, но большом и сложном контексте превращается в бредогенератор. Если подрезать - девочка после душа обмотанная в одно полотенце обретает сразу несколько трусов, тонкая ткань которых разделяет вас, пропадают ее ключевые атрибуты, но зато откуда-то появляются когти. Ну нахер.
>>1246930
Завались, но среди него проскакивает сияние и интересность.
>Экспириенс от возможности запуска ~70б и более жирных квантов 30 с большими контекстами без его квантования будет лучше
Я нюфак, читаю треды где то с 93го только, буквально после выхода геммы3 залетел. Золотая эра треда пропущена, эпоха ригов из говнотесел по 12к ушла, последние 40 тредов (кажется много, но скорость постинга на борде выросла) расклад примерно:
- умеренные кумеры без устали просеивают тонны миксов и базовых моделях на свои 16-32гб врам в поисках бриллианта
- врамцелы безвыходно пожирают 12б сайгослоп
- олды-врамбояре молча катают любимые модели, включая 123б, тестят 235б квен, от скуки спускаются на 12б пробуют новые 24-32б в поисках нового слопа слога, а так же время от времени пересобирая всякую гематрию из пучка тесел, радеонов, райзеров, ктрансформеров и немотрона двух соединенных матплат.
Новых 70б при мне не выходило (разве что ллама, которую обоссали натурально все), старые уже обсужены-пересужены, даже обсуждений на миксы 70б не было.
Поэтому сложилось полное впечатление что 70б хорошо, но не так хорошо, что бы покупать за 60к вторую карту (а тут еще и exl3 вроде как на амперы уже косо посматривает).
Ну и психологический момент имеет место быть, одну дорогую карту купить проще (ну там игори, вход в нейронки), чем вторую (только нейронки, и то в основном ллм - ну и картинкогенератор пошустрее запускать, без прироста в качестве).
В то время как покупка говноэпика за 70-80к реально открывает что то новое - да, мое, но уже 200+ против 32b. Не так быстро как хотелось бы, но уже без чувства неполноценности перед корпами, даже кроме кума что то поделать можно. И 32б шустрые никуда не уйдут. И потанцевал роста есть - в случае необходимости можно добить видеокарт под настоящий риг, получив нейромонстра без болей от нехватки линий. Но в то же время если куртка выкатит дешевую нейрокоробку или ничего кроме мое не будут делать - не будешь так обтекать, как купив сразу риг за 300+к.
А еще шиза шепчет "будет полноценный дипсик на случай чебурнета/БП! Бери!"
>10-15 в зависимости от кванта и карточек
Если на эпике толстый квен даст экспириенс как эти 10т/с - то надо брать. Но я не юзал никогда локально мое, если там даже 40т/с будет, но обработка 15к контекста каждое новое сообщение будет минут по 15 сьедать перед началом стриминга - то это мертво, согласен.
PS - если не лень и хочешь меня все таки на светлую сторону повернуть - ткни прямо в ггуф хорошей 70б, потыкаю на жоре с выгрузкой и мелкоконтекстом.
В целом, все так как описал.
На самом деле по 70 тоже мелькают модели. Просто тут особенно обсуждать нечего, кто-то похвалил, другой согласился или высказал фи и все. Кто может довольно purrs выбирая из ассортимента. Из прям прорывных событий кажется что на квен 235, но ощущения что на него перебралось 3.5 человека.
Из 70 что не ушатаны в хлам с ходу вспоминаются EVA-Qwen2.5, Vulpecula-r1. Можно чекнуть от слоподелов регулярные продукты с восторженными отзывами, но это нужно прямо тестировать. Просто заниматься этим при наличии следующего уровня - лень, и вовсе не потому что они плохие. И как бы не были круты 30 - в 70 жизнь есть, тем более что для норм 30 хочется иметь больше 24 гигов.
> покупка говноэпика за 70-80к реально открывает что то новое
Не то чтобы совсем с тобой не соглашусь, но блин. Это получится исполнение желания от злого джина, особенно если увлечешься. Тот же квен может держать ебическое рп с ахуевшей историей насыщенных событий, часть из которых упакована в специальный суммарайз, размер которого как раз будет твои 15к токенов. С приключениями, рофлами, расчлененкой, нежностью, кумом, постепенным развитием и т.д. Если зайдет - тебе захочется это делать, но все будет разбиваться о ужасное затыквливание на контексте, которое помножит фрустрацию вместо просто понимания и свайпа. В итоге разочаруешься и начнешь ныть что все модели уг, или будешь терпеть и грустить.
А купив вместо той платформы просто вторую видюху и рама в десктоп на сдачу - сможешь точно также прикоснуться к квену, но сохранится план б в виде 70 или жирных 30 с контекстом. А там уже - еще одна видюха и быстрый инфиренс совсем рядом.
> Если на эпике толстый квен даст экспириенс как эти 10т/с
Выше анончики приносили тесты. Разница между старым десктопом на ддр4 с двумя гпу и некроэпиком с одной в токенах - ну хуй знает. На старом ддр4 и епуке при близких видеокартах - невелика. Если там ддр5 - тут уже не ясно кто кого, если слоты офк не зарешают.
Кароч сам думай, эпик видится норм если брать сразу под риг, а не в качестве чего-то "народного".
Запустил с этим же сеттингом новую туту-шку - с лету врубилась. "Ползешь", "тянешь щупальце" и т.д.
> Кароч сам думай, эпик видится норм если брать сразу под риг, а не в качестве чего-то "народного".
удваиваю етого
алсо надо в базу треда >>1244397 добавить, что меньше 8 каналов DDR4 жизни нет
Доставь для нее пресет, плиз. Тк что на страниые модели вообще кривые какие-то и уже на третьем сообщении несет шизу
Очень хороший день. Даже специально посвайпал ответ несколько раз, насобирал подборку побольше. Можно и так, оказывается, использовать.
Ну, не всё идеально: часто композиции не совсем правильно названы. Но уже наличие автора позволяет дальше отталкиваться. Потому что стиль обычно постоянен. И это всё - простой советско-крестьянский UD2!
Хммм... Как же... Как же это сделать
Вот бы была кнопочка отвечавшая за раскрытие блока, да еще такая - подписанная. Хммм.... Жаль что такого не предусмотрено в интерфейсе.
235? Пикрел. Это ведь можно накинуть доп запрос и автоматизировать, или заставить ее писать промпты для генерации фонового саундтрека еще бы было чем их делать.
Хотя после того как оно написало стихи с рифмой и мемчиками, дало объемный и качественный ответ по техническому вопросу лучше чем сонет, переписало код трейнера по примерам не хуже последнего, смогло в кум с канничкой - уже мало что удивляет.
Ты как-нибудь смог подебить деградацию структуры ответов на долгих чатах и влияние этого на реплики персонажа? Очень мощный эффект если некоторые части инструкции поставить префилом в синкинг блок, но теряется гибкость и они бывают слишком сильны.