Artificial Intelligence

Скоро

Общий тред локалочек №1

Данный тред предназначен для обсуждения любых локальных нейросетей, будь то LLM, картиночки или видео.

Вахтер на ОПе в /llama/ треде на ментаче в очередном припадке ярости разбушевался и с помощью протыков на моче вновь снес полтреда. Это стало последней каплей.

LLM

Бекенды:
- дефолтный вариант (командная строка, из всех бинарников вам нужен llama-server. Позволяет часть модели выгружать в RAM и обрабатывать процессором) https://github.com/ggml-org/llama.cpp
- для хлебушков (обертка предыдущего с наличием GUI и некоторым количеством дополнительной, но сомнительной функциональности) https://github.com/LostRuins/koboldcpp
- если у вас курткокарты 3050 и выше + модель с контекстом полностью помещается в VRAM https://github.com/theroyallab/tabbyAPI

Все остальное нинужно, если у вас в подвале не завалялось серверных решений за несколько миллионов.

Фронтенды:
- дефолтный вариант https://github.com/SillyTavern/SillyTavern
- вариант для пердоликов https://github.com/vegu-ai/talemate

Актуальные модели:
Малый сегмент
- GLM 4.7 Flash
- Qwen 30B-3A
- тюны Mistral 12B
- Gemma 3 12b (и аблитерации)
Средний сегмент
- GLM 4.5 Air и 4.6V
- Gemma 3 27B (+ тюны и аблитерации)
- Mistral 3.2 24B (и тюны)
Большой сегмент
- Qwen 235B 2507
- GLM 4.5/4.6/4.7
- Deepseek V3.1/V3.1-Terminus/V3.2

Картинки и видео

- бекенд и фронтенд в одной коробке https://github.com/Comfy-Org/ComfyUI

Картинкомодели общего назначения:
- Qwen-Image-2512 и Qwen-Image-Edit-2511
- Z-Image-Turbo
- Flux 2 и Flux Klein 9B/4B
- Wan 2.2 (подходит для генерации картинок)

Тюны SDXL, заточенные под аниме:
- WAI
- NoobAI
- Rouwei

Видеомодели:
- Wan 2.2 (5 сек, 16 фпс, без звука, топ качество)
- LTX-2 (10+ сек, 24 фпс, со звуком, среднее качество)

Q: Почему все в одном треде?
A: Я не знаю местный постинг, сидеть-семёнить тоже такое себе удовольствие. Давайте посидим вместе, посмотрим как оно пойдет. Если будем надоедать друг другу - разделимся.
Q: А можно обсуждать не локалки?
A: Если только это полезно для локальщиков. Например, притащить пресеты для корпов, хорошо работающие и на локалке - полезно.
Q: А почему шапка говно?
A: Пишите, что добавить/убрать. Может вообще в ней ничего не надо, по моим наблюдениям польза от шапок околонулевая.

AI Chatbot General Ech Edition № 13

БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к якорю ИТТ!!!!

Общий вопросов по чат-ботам и прочего тред.

На борде чета сломалось? Тех поддержка ЭЧа: https://ech.bz/d/

Новости
• Вышла GLM 5.2 - https://z.ai/blog/glm-5.2
• Вышел (и уже ушел) Claude Fable 5 - https://www.anthropic.com/claude/fable
• Вышел Claude Opus 4.8 - https://www.anthropic.com/news/claude-opus-4-8

Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern
• Список фронтендов: https://rentry.org/2ch-aicg-frontends

Модели
• Список моделей и провайдеров: https://rentry.org/2ch-aicg-models

Пресеты
• Тредовский список: https://rentry.org/2ch-aicg-jb
• Бургерский список: https://rentry.org/jb-listing

Полезности и гайды
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Список расширений: https://rentry.org/2ch-aicg-extensions
• Сборник рентри: https://rentry.org/mrhd

Ботоводчество
• BotBooru: https://botbooru.com/
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды по ботодельству и боты анонов: https://rentry.org/2ch-aicg-bots

Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude

Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Шаблон шапки: https://rentry.org/shapka_aicg

Прошлый тред: >>1635536 (OP)

ДЖЕЙЛБРИКА / ВЗЛОМА LLM ТРЕД

Jailbreak - это метод обхода встроенных этических ограничений, фильтров безопасности и операционных рамок с помощью специальных текстовых промптов (инструкций). Он заставляет ИИ игнорировать собственные запреты и выполнять потенциально вредные, незаконные или нежелательные запросы

ИТТ Тред предназначен для обсуждения и шейринга промптов на тему взлома/джейлбрика действующих бесплатных & платных нейронок.

ГЛОССАРИЙ:

• Abliterated / Abliteration (аблитерированный) - Это техника "вырезания" из модели встроенного запрета на вредный/опасный/NSFW-контент. После abliteration модель гораздо реже отказывается отвечать на "скользкие" запросы. Обычно применяется к уже обученным Instruct-моделям (Llama-3.1-8B-Instruct-abliterated и т.д.). Не меняет сильно общие способности модели, но заметно ослабляет refusal behavior. Качество часто выше, чем у простых "uncensored".

• Uncensored (безцензурный) - Самый общий и старый тег. Означает, что модель "не цензурирована" - она не будет постоянно отказываться от NSFW, jailbreak-запросов, политически некорректного контента и т.д. Может быть достигнуто разными способами (чистка датасета, abliteration, LoRA и т.д.). Качество сильно плавает - от очень хороших моделей до полнейшего мусора. Нужно смотреть на автора и отзывы.

• Dolphin (дельфин) - Это целое семейство моделей от разработчика Eric Hartford (cognitivecomputations). Они считаются одними из самых "честных" и качественных uncensored-моделей. Dolphin - это как бренд "хорошо безцензурных" моделей. Не используют "грубый взлом" весов (в отличие от некоторых других методов). Стабильно дают хорошее качество и coherence. Многие считают Dolphin-линейку одним из лучших вариантов, когда нужна максимальная свобода + нормальные интеллектуальные способности.

• Unfiltered / Decensored / De-censored - Встречаются реже. Часто это просто дубликаты или слегка другие версии uncensored-моделей. "De-censored" иногда подразумевает именно abliteration или похожую технику снятия отказа.

Квантизация - это процесс сжатия модели с минимальной потерей качества. Модель переводят из высокой точности (FP16/BF16) в более низкую (Q8, Q5, Q4, Q3 и т.д.).

• Q8 - высокое качество, но всё ещё тяжёлая
• Q5 / Q6 - лучший баланс качество/размер
• Q4 - самый популярный компромисс
• IQ (Importance-aware Quantization) - более современный и умный метод
• Q3, Q2 - для слабого железа, но уже заметна деградация

ПОЛЕЗНЫЕ ССЫЛКИ:

• https://huggingface.co/models (Главное место для всех открытых LLM. Почти все качественные uncensored-модели появляются здесь первыми.)
• https://ollama.com/library (Огромная библиотека готовых моделей (включая множество dolphin, ablitated, uncensored))
• https://lmstudio.ai/ (Есть встроенный поиск моделей. Очень удобно для тех, кто не хочет вручную качать GGUF-файлы.)
• https://www.modelscope.ai/ (Китайский аналог HF. Много моделей, которых нет на HF или они появляются раньше чем на HF.)

КВАНТИЗАТОРЫ:

• bartowski (В основном обитает на HF, Делает очень чистые, "умные" GGUF-файлы.)
• mradermacher (Часто выпускает больше вариантов квантизации на одну модель.)
• QuantFactory (Качество обычно очень высокое, чуть ниже bartowski, но всё равно отличное.)
• TheBloke (В 2023–2024 годах практически монополизировал рынок GGUF-квантов. Именно благодаря ему миллионы людей смогли запускать 13B, 34B и 70B модели у себя на ПК. Сейчас он значительно меньше активен, но его старые кванты до сих пор считаются эталонными для многих моделей. Если сделано TheBloke - можно брать не глядя.)

МЕТА:

• Шапка треда: https://rentry.org/ech_jailbreaks

ОБЩИЙ НЕЙРОКАРТИНОЧНЫЙ ТРЕД | БЕЗ ЛОКАЛОК

ImageGen 4o(ChatGPT/OpenAI):
Sora: https://sora.com - Напрямую(меньше цензуры)
ChatGPT: https://chatgpt.com - Через чат(больше цензуры)
Copilot: https://copilot.microsoft.com Через чат Copilot(Ещё больше цензуры)
Галерея Соры: https://sora.chatgpt.com/explore / https://rentry.org/ImageGen-4o-Prompts

Imagen(Google):
ImageFX: https://aitestkitchen.withgoogle.com/tools/image-fx
Cкрипт для скачивания генераций в ImageFX: https://pastebin.com/raw/j3bmAH7m
Кастомные шрифты для обхода фильтра слов в ImageFX: https://pastebin.com/raw/GMQMWPbu
Whisk: https://labs.google/fx/tools/whisk
Gemini: https://gemini.google.com/app
AIStudio: https://aistudio.google.com/generate-image

Reve.Art: https://reve.art / https://preview.reve.art

Без регистрации все модели Google и gpt-image: https://lmarena.ai/?mode=direct&chat-modality=image
(если лимит, открываем новую приватную вкладку и генерим снова)

DALL-E 3((Microsoft + OpenAI)прошлый век): https://pastebin.com/raw/wiqMPCeq

Однокнопочные браузерные VPN расширения для ImageFX и DALL-E 3: https://pastebin.com/raw/FuV0vW5U
Список сервисов для работы с генерациями: https://rentry.co/videva
(ENG) Фочан-гайд с коллекцией эпитетов для любого стиля: https://pastebin.com/raw/qDRXFfBM

Архивы треда(Ранее - DALL-E, переходим на тэг "нейросетевой арт"): https://arhivach.vc/?tags=13695

[b]ТРЕД МУЗЫКАЛЬНЫХ НЕЙРОГЕНЕРАЦИЙ. ПЕРВЫЙ НА ЭСКЕЙПЧАНЕ/b]

(шапка скопипащена с другого ресурса и чутка устарела, но мне влом фиксить)

♫ Udio ♫
https://www.udio.com/

Вышла версия 1.5 Allegro, по функционалу то же, что и 1.5, только в два раза быстрее. Лимит 400 кредитов в месяц (или 200 генераций по 33 секунды каждая) при условии ежедневного захода на сайт - 100 кредитов даются в месяц, и еще 10 кредитов даются ежедневно. Также можно фармить кредиты, выполняя специальные задания по оцениванию качества рандомных треков, это дает не больше 10 дополнительных кредитов в день. Для большего числа кредитов и более продвинутых фич типа инпэйнтинга или генерации с загруженного аудио нужно платить. Появилась возможность генерировать треки по 2 минуты 11 секунд, не больше 3 длинных треков (по 2 версии на каждый трек) в день на бесплатном тарифе.

♫ Suno ♫
https://app.suno.ai/ генерация на сайте
https://suno.ai/discord генерация на официальном discord-сервере
https://rentry.co/suno_tips советы по использованию

Лимиты: 10 генераций в день. Нужна платная подписка чтобы увеличить лимиты, либо можно абузить сервис через создание множества аккаунтов

♫ Producer♫
https://www.producer.ai/
Он же бывший Риффужен

Старая версия Riffusion:

https://classic.riffusion.com/

Новинка, по качеству звука на уровне Суно или чуть выше. Лучший по качеству генератор текстов на русском. Количество генераций в день не ограничено, но за некоторые функции нужно платить (загрузку аудио, стемов и т.д.)

https://www.riffusion.com/docs
https://classic.riffusion.com/docs

Инструкция по применению, тегам и прочему на английском.

______________

Локальные модели:

1) Китайский YuE

https://github.com/multimodal-art-projection/YuE
https://github.com/joeljuvel/YuE-UI

Это буквально первый проект который может генерировать песни по заданному тексту локально. Оригинальная версия генерирует 30-секундный отрывок за 5 минут на 4090. На данный момент качество музыки низкое по сравнению с Суно. Версия из второй ссылки лучше оптимизирована под слабые видеокарты (в т.ч. 6-8 Гб VRAM, по словам автора). Инструкция на английском по ссылке.

2) ACE-Step

https://github.com/ace-step/ACE-Step

Вторая локалка, качеством получше.

Здесь демо-версия:
https://huggingface.co/spaces/ACE-Step/ACE-Step
______________

Еще сайты по генерации ИИ-музыки, в них тоже низкое качество звука и понимание промпта по сравнению с Суно, либо какие-то другие недостатки типа слишком долгого ожидания генерации или скудного набора жанров, но может кому-то зайдет, поэтому без описания:

https://www.wondera.ai/
https://sonauto.ai/
https://www.beatoven.ai/
https://stableaudio.com/
https://www.loudly.com/music/ai-music-generator

______________
Редакция трека после генерации (можно убрать вокал и оставить только инструментал и наоборот, убрать шумы и т.д.)

https://x-minus.pro/ai
https://uvronline.app/ai?locale=ru_RU

______________
Напомню мега-сайт для сочинения аутентичных англоязычных текстов для ИИ-музыки в стиле известных групп и артистов от Пинк Флойда до Эминема. Зайти можно только через Дискорд.

https://codyai.cc/