Гиперсети (hypernetworks) представляют собой интересный и довольно элегантный подход в глубоком обучении. Вместо того чтобы напрямую оптимизировать веса основной нейронной сети, мы обучаем отдельную, обычно гораздо меньшую сеть — гиперсеть, — которая генерирует эти веса для целевой модели. Идея была впервые подробно описана в 2016 году в работе Дэвида Ха, Эндрю Дая и Юргена Шмидхубера под названием «HyperNetworks».
Основная мысль проста, но глубока: параметры основной сети перестают быть статичными обучаемыми переменными и становятся выходом другой сети. Это позволяет создавать динамические, контекстно-зависимые веса, адаптирующиеся под разные задачи, входные данные или даже отдельные примеры. Такой механизм открывает интересные возможности для параметрически эффективной тонкой настройки, особенно когда нужно сохранить большую часть знаний предобученной модели.
Несмотря на теоретическую привлекательность, гиперсети остаются относительно редким инструментом в повседневной практике машинного обучения по сравнению с более поздними методами.
Почему гиперсети появились и в чём их сила
Классическая тонкая настройка всей модели требует огромного количества вычислительных ресурсов и часто приводит к катастрофическому забыванию. Методы вроде DreamBooth или полного fine-tuning на нескольких изображениях могут серьёзно искажать поведение модели на других доменах. Гиперсети предлагают альтернативу: вместо изменения миллионов или миллиардов параметров основной сети мы обучаем лишь небольшую генерирующую сеть.
В контексте диффузионных моделей (в частности, Stable Diffusion) гиперсети чаще всего применялись для персонализации под конкретный стиль или персонажа. Разработчики NovelAI одними из первых активно использовали этот подход в 2022–2023 годах, когда другие техники только начинали набирать популярность. Гиперсеть обычно прикреплялась к слоям внимания (attention layers), что позволяло довольно точно контролировать визуальный стиль при относительно небольшом объёме обучаемых параметров.
Главное преимущество — возможность получать очень выразительные адаптации при сохранении компактности самого файла с дообученными весами. В некоторых реализациях размер гиперсети составлял всего несколько мегабайт, при этом качество генерации под конкретный стиль нередко превосходило ранние версии других методов. Важно помнить и соблюдать этику: использовать ботов только с согласия человека на фото.
Сравнение с современными лидерами — LoRA и её производными
Сегодня доминирующим методом параметрически эффективной тонкой настройки считается LoRA (Low-Rank Adaptation), предложенная в 2021 году. LoRA добавляет низкоранговые матрицы к весам и обучает только их, оставляя исходные параметры замороженными. Это даёт очень хорошее соотношение качество / размер / скорость обучения.
Гиперсети в прямом сравнении обычно проигрывают по нескольким пунктам:
- Гиперсети изменяют все веса основной сети. Даже если сама гиперсеть маленькая, на этапе инференса она должна выполнить проход через себя для каждого слоя, к которому применяется. Это добавляет ощутимую вычислительную задержку — иногда в 1,5–3 раза по сравнению с замороженной моделью + LoRA. LoRA же добавляет лишь небольшие матричные умножения, которые современные фреймворки оптимизируют очень хорошо.
- Сложнее объединять несколько дообученных адаптаций. LoRA-файлы легко складываются, вычитаются, масштабируются и смешиваются линейно. С гиперсетями такой удобный «математический» мердж гораздо труднее реализовать, поэтому сообщество практически отказалось от их использования в пользу составных LoRA.
- Меньшая предсказуемость результатов. Качество генерации при использовании гиперсетей иногда оказывается выше, чем у LoRA того же размера, особенно при очень специфических стилях (аниме, определённые художники). Однако воспроизводимость и стабильность обучения ниже — гиперсети чувствительны к гиперпараметрам и инициализации сильнее, чем низкоранговые адаптеры.
Тем не менее в 2023–2025 годах появились гибридные подходы: LoRA-based hypernetworks, HyperAdaLoRA и другие, которые пытаются объединить сильные стороны обоих методов.
Когда гиперсети всё ещё могут быть полезны
Несмотря на доминирование LoRA, существуют ниши, где гиперсети сохраняют преимущество:
- Когда требуется очень сильная и нестандартная адаптация стиля, которую сложно выразить низкоранговыми обновлениями. В некоторых тестах 2022–2023 годов гиперсети показывали более точное воспроизведение сложных художественных манер при том же объёме обучаемых параметров.
- В сценариях continual learning, где одна гиперсеть может генерировать разные наборы весов для разных последовательных задач без переобучения основной модели.
- При исследовании мета-обучения и генерации архитектур — здесь гиперсети остаются естественным инструментом.
Заключение
Гиперсети — это мощный, интеллектуально красивый и до сих пор недооценённый инструмент тонкой настройки нейросетей. Они позволяют взглянуть на проблему адаптации модели с другой стороны: вместо модификации весов мы учим способ их генерации.
Сегодня, когда LoRA и её производные (DoRA, AdaLoRA, LoHa и т.д.) захватили практически всё сообщество, гиперсети превратились в нишевый, но всё ещё актуальный метод. Их стоит держать в уме как альтернативу в случаях, когда стандартные низкоранговые адаптеры дают недостаточно выразительный результат, или когда исследователь хочет поэкспериментировать с динамическими, контекстно-зависимыми весами.
Возможно, скоро мы увидим возрождение интереса к гиперсетям — особенно если удастся совместить их выразительность с вычислительной эффективностью и удобством современных PEFT-методов.
Вопрос-ответ
1. Что такое hypernetwork в контексте глубокого обучения?
Hypernetwork — это нейронная сеть, которая вместо того чтобы напрямую обучать веса основной (целевой) модели, обучается предсказывать эти самые веса. Другими словами, все параметры основной сети становятся выходом другой, обычно гораздо меньшей по размеру сети — гиперсети. Такой подход позволяет сделать веса динамическими: они могут зависеть от входных данных, от номера задачи в последовательности continual learning, от идентификатора пользователя, от текстового описания стиля и т.д. Идея впервые была систематически исследована в 2016 году в работе «HyperNetworks» Ха, Дая и Шмидхубера, хотя отдельные предпосылки встречались и раньше. Главное философское отличие от классического обучения — мы перестаём рассматривать веса как статичные обучаемые числа и начинаем относиться к ним как к функции, которую можно генерировать другой сетью. Это открывает путь к гораздо большей гибкости, но одновременно делает систему более сложной в оптимизации и вычислительно дорогой на этапе инференса.
В практическом плане гиперсети чаще всего применялись (и до сих пор применяются) как способ параметрически эффективной адаптации очень больших предобученных моделей, особенно в генеративных задачах. Вместо того чтобы трогать миллиарды параметров Stable Diffusion или LLaMA, мы учим компактную гиперсеть (от сотен тысяч до нескольких миллионов параметров), которая потом генерирует дельты или полные веса для нужных слоёв. Это позволяло в 2022–2023 годах получать очень сильную персонализацию под конкретного персонажа или художника при размере файла в 3–15 МБ — то есть на 1–2 порядка меньше, чем полный fine-tune и часто сопоставимо или даже лучше ранних версий LoRA.
Самое интересное, что гиперсети теоретически могут моделировать практически любые зависимости между входом и целевыми весами, включая нелинейные и очень сложные. Именно поэтому в некоторых узких задачах они до сих пор показывают качество, которое современные низкоранговые методы воспроизводят с трудом или вообще не воспроизводят без значительного увеличения ранга и объёма обучаемых параметров.
2. В чём главное отличие гиперсети от LoRA?
Основное различие заключается в том, как именно модифицируются веса основной модели. LoRA добавляет к исходным весам небольшую низкоранговую поправку вида W + BA, где B и A — тонкие матрицы, и обучает только их. При этом на инференсе мы просто делаем дополнительное матричное умножение, а исходные веса остаются совершенно нетронутыми и замороженными. Гиперсеть же полностью генерирует веса (или их значительную часть) заново на каждом проходе: она принимает какой-то conditioning-вектор (эмбеддинг стиля, ID персонажа, timestep и т.д.) и выдаёт на выходе целые тензоры весов для attention-слоёв, conv-слоёв или даже линейных слоёв.
Из-за этого LoRA почти всегда быстрее на инференсе — иногда в 2–5 раз, особенно на слабом железе. Гиперсеть же вынуждена каждый раз прогонять себя через несколько слоёв, чтобы сгенерировать веса, а это дополнительные FLOPs и задержка. С другой стороны, выразительная способность гиперсети потенциально выше, потому что она не ограничена низким рангом и может создавать нелинейные, контекстно-зависимые трансформации весов. Именно поэтому в 2022 году, когда LoRA только появилась, многие пользователи NovelAI и Automatic1111 отмечали, что гиперсети лучше схватывают очень специфические аниме-стили и сложные художественные приёмы там, где LoRA того же размера давала заметно более размытый или усреднённый результат.
Ещё одно важное отличие — в удобстве композиции. LoRA-файлы можно складывать, вычитать, умножать на коэффициент, делать линейные комбинации — это стало основой всей экосистемы merge-моделей. С гиперсетями такие операции либо невозможны, либо требуют очень хитрых архитектурных решений, поэтому сообщество практически полностью перешло на LoRA и её производные, оставив гиперсети в нише экспериментальных и очень специфических применений.
3. Какие именно слои чаще всего модифицируют гиперсети в Stable Diffusion?
В подавляющем большинстве публичных реализаций 2022–2024 годов гиперсети применялись исключительно к слоям внимания (attention layers) — причём чаще всего только к cross-attention, а иногда и к self-attention одновременно. Именно cross-attention отвечает за связь между текстом промпта и визуальным содержимым изображения, поэтому вмешательство именно в эти слои даёт самый сильный контроль над стилем, цветовой палитрой, уровнем детализации и общей эстетикой. Модификация conv-слоёв или feed-forward блоков встречалась гораздо реже, потому что они отвечают за более низкоуровневые признаки и их изменение часто приводило к артефактам или полной деградации генерации.
Типичная архитектура гиперсети для Stable Diffusion выглядела так: несколько линейных слоёв с достаточно большой скрытой размерностью (обычно 512–2048), активации SwiGLU или quick-GELU, и на выходе — генерация весов размером с конкретный attention-тензор (чаще всего проекции Q, K, V). Веса подавались либо напрямую, либо в виде дельт (W_new = W_old + hypernet_output), причём второй вариант был стабильнее при обучении. В некоторых продвинутых реализациях гиперсеть генерировала не сами веса, а параметры LoRA-матриц — получался гибрид Hyper+LoRA, который иногда называли HyperLoRA или AdaHyperLoRA.
Интересно, что самые качественные гиперсети часто обучали не на всём датасете, а на очень маленьком наборе из 10–30 изображений одного стиля/персонажа с очень агрессивным регуляризационным расписанием и большим количеством регуляризационных изображений (class prior). Это позволяло добиться почти идеального запоминания стиля при минимальном забывании базовой модели.
4. Почему гиперсети оказались менее популярными, чем LoRA, несмотря на более раннее появление?
Гиперсети появились раньше (2016 год против 2021 года у LoRA), но их широкое распространение тормозили сразу несколько фундаментальных проблем. Во-первых, вычислительная стоимость на инференсе: чтобы сгенерировать веса для хотя бы одного attention-слоя, гиперсеть должна выполнить полный прямой проход, иногда с несколькими скрытыми слоями и размерностью в тысячи нейронов — это добавляет десятки-сотни миллионов операций на каждый шаг диффузии. В 2022–2023 годах, когда видеокарты с 8–12 ГБ VRAM были нормой у большинства пользователей Stable Diffusion, такая задержка превращалась в заметное замедление генерации (с 3–5 итераций в секунду до 1–2), что для энтузиастов было критичным. LoRA же добавляла лишь лёгкие матричные операции, которые почти не ощущались по скорости.
Во-вторых, обучение гиперсетей гораздо более капризно. Они склонны к mode collapse (генерация почти одинаковых весов независимо от conditioning), к взрыву/исчезновению градиентов при попытке сделать их слишком глубокими или широкими, и к сильной зависимости от инициализации. Сообщество Automatic1111 и ComfyUI быстро обнаружило, что для достижения стабильного результата приходится использовать очень маленькие learning rate (часто 1e-6–5e-7), сложные расписания warmup + cosine decay, огромное количество регуляризационных изображений и иногда даже gradient clipping по модулю. LoRA в этом смысле оказалась гораздо более дружелюбной: её можно было обучить с lr 1e-4, за 1000–3000 шагов на 10–20 картинках и получить предсказуемо хороший результат почти всегда.
В-третьих, экосистема. LoRA мгновенно породила культуру merge’ей, LyCORIS, контрольных сетей на основе LoCon/LoHa, инструментов вроде supermerger и kohya_ss с удобными пресетами. Гиперсети же остались в основном в руках нескольких энтузиастов (в основном из NovelAI-комьюнити в 2022 году), и после 2023 года новые публичные реализации почти перестали появляться. Пользователи просто голосовали ногами за более быстрый, стабильный и легко комбинируемый метод.
5. Можно ли комбинировать несколько гиперсетей одновременно?
Теоретически да, но на практике это крайне сложно и почти никогда не даёт аддитивного эффекта, как с LoRA. Самый простой способ — последовательно применять несколько гиперсетей к одним и тем же слоям: сначала первая генерирует веса, потом вторая модифицирует уже полученные и т.д. Но каждый такой проход добавляет значительную задержку, а главное — веса начинают конфликтовать. Если одна гиперсеть хочет сделать персонажа в стиле определённого художника, а вторая — в другом стиле, то результат чаще всего получается либо усреднённым и размытым, либо с сильными артефактами (двойные глаза, смешение черт лица, странные текстуры).
Более продвинутые пользователи иногда пробовали обучать одну «мастер-гиперсеть», которая на вход принимает несколько conditioning-векторов (например, эмбеддинги двух разных стилей) и сама решает, как их смешать. Но такие эксперименты требовали огромного количества данных и вычислений, а результат редко превосходил просто обучение одной гиперсети на смешанном датасете. В отличие от LoRA, где можно взять 0.7 × styleA + 0.4 × styleB и получить довольно предсказуемый результат, с гиперсетями линейная интерполяция почти никогда не работает — потому что они генерируют нелинейные функции от conditioning к весам.
Поэтому в реальной практике большинство людей, которые всё ещё используют гиперсети в 2025–2026 годах, предпочитают применять только одну за раз, тщательно подбирая её под конкретную задачу, а для многостилевых генераций переходят на LoRA + ControlNet + IP-Adapter + региональные промпты.
6. Какой типичный размер файла гиперсети для Stable Diffusion?
В период пика популярности (2022–начало 2023) самые распространённые гиперсети весили от 2 до 12 мегабайт. Самые маленькие — около 1.8–3 МБ — обучались только на cross-attention проекциях Q и K (иногда только на одной из них) и имели скрытую размерность 320–640. Средний «сладкий» диапазон — 4–8 МБ — позволял уже модифицировать и Q, и K, и V, иногда с небольшой скрытой сетью в 1024–1536 единиц. Самые тяжёлые публичные гиперсети доходили до 15–25 МБ, когда авторы пытались вмешиваться сразу в несколько десятков слоёв (включая некоторые feed-forward и даже первые conv-слоя U-Net).
Для сравнения: качественная LoRA того же периода обычно занимала 10–150 МБ в зависимости от ранга (r=4–128) и от того, применяется ли она ко всем слоям или только к attention. Но важно понимать, что размер LoRA линейно растёт с рангом и количеством модифицируемых матриц, тогда как у гиперсети размер определяется в первую очередь архитектурой самой генерирующей сети, а не количеством весов основной модели. Поэтому даже очень маленькая гиперсеть (3–5 МБ) могла давать выразительность, сравнимую с LoRA ранга 64–128 (70–150 МБ).
Сейчас, в 2026 году, если кто-то и выпускает новые гиперсети, они чаще всего попадают в диапазон 5–10 МБ — это компромисс между качеством и скоростью инференса на современных видеокартах.
7. Влияет ли глубина гиперсети на качество результата?
Да, и довольно сильно, но с быстро убывающей отдачей. Первые публичные гиперсети 2022 года почти всегда были двух- или трёхслойными (MLP с одним или двумя скрытыми слоями). Они работали приемлемо, но часто страдали от недостаточной выразительности: стиль схватывался лишь частично, персонажи получались похожими, но не точными. Когда авторы начали увеличивать глубину до 4–6 слоёв (с остаточными связями или без), качество заметно подскочило — особенно в воспроизведении сложных текстур, освещения и композиционных приёмов.
Однако после 5–7 слоёв дальнейшее углубление почти всегда приводило к обратному эффекту: сеть начинала переобучаться на conditioning-эмбеддингах, теряла обобщающую способность и генерировала веса, которые работали идеально только на обучающих примерах, но давали мусор на чуть изменённых промптах. Кроме того, каждый дополнительный слой увеличивал время инференса на 15–40 %, что становилось критичным. Поэтому золотая середина, которую чаще всего можно встретить в качественных моделях — это 4–5 слоёв с размерностью 1024–2048 и SwiGLU/GEGLU-активациями.
Интересно, что некоторые исследователи пробовали заменять обычные MLP на более продвинутые блоки (mixture-of-experts внутри гиперсети, gated cross-attention в самой гиперсети), но такие архитектуры пока остаются экспериментальными и редко появляются в открытых релизах.
8. Можно ли использовать гиперсети для других моделей, кроме Stable Diffusion?
Безусловно, и это один из самых перспективных направлений их применения. В 2016–2018 годах гиперсети активно экспериментировали именно для классификации и небольших трансформеров: например, генерировать веса для разных задач в few-shot learning или для разных доменов в continual learning. В языковых моделях гиперсети пробовали применять к attention и feed-forward слоям LLaMA-подобных моделей — в частности, для персонализированных чат-ботов или стилизации ответов под конкретного автора.
В 2024–2025 годах появились работы, где гиперсети использовались для быстрой адаптации vision-language моделей (типа CLIP или LLaVA) под новые визуальные концепции без полного дообучения. Также есть примеры в аудио-генерации (генерация весов для diffusion-моделей голоса) и даже в 3D (адаптация NeRF или Gaussian Splatting под конкретный объект). Главное преимущество в этих доменах — возможность делать conditioning не только на тексте, но и на аудио-эмбеддингах, 3D-примерах, видео-фреймах и т.д.
Проблема в том, что для очень больших моделей (70B+, как современные LLM) полный проход гиперсети через все слои становится непомерно дорогим, поэтому сейчас чаще применяют «локальные» гиперсети только к последним слоям или только к attention-блокам определённой глубины.
9. Как гиперсети связаны с meta-learning?
Гиперсети — один из естественных инструментов meta-learning, потому что по сути они учатся быстрой генерации хороших весов для новой задачи. В классическом MAML (Model-Agnostic Meta-Learning) мы учим начальные веса так, чтобы несколько градиентных шагов давали хороший результат на новой задаче. Гиперсеть идёт дальше: она полностью заменяет эти несколько шагов одним проходом через себя, принимая на вход описание задачи (например, несколько примеров или их эмбеддинги) и сразу выдавая подходящие веса.
В ранних работах (2017–2019) гиперсети часто использовали именно в контексте few-shot classification: сеть-гипер принимала support-set и генерировала классификатор для query-примеров. В генеративных задачах эта идея трансформировалась в «style-conditioned weight generation», что и привело к буму персонализированных гиперсетей для Stable Diffusion в 2022 году.
Сегодня связь с meta-learning сохраняется в работах по test-time adaptation и prompt-tuning 2.0: гиперсеть может служить своего рода «весовым промптом», который адаптируется к каждому новому входу без градиентных обновлений основной модели.
10. Какие основные недостатки гиперсетей на инференсе?
Самый очевидный и болезненный — это дополнительная задержка. Даже оптимизированная гиперсеть на 4–5 слоёв с размерностью 1024 добавляет примерно 20–60 % ко времени одного шага диффузии на RTX 3090/4090. На слабых картах (RTX 3060 12 ГБ и ниже) это легко превращается в 2–4× замедление по сравнению с чистой моделью или моделью+LoRA. Вторая проблема — повышенное потребление памяти: хотя сама гиперсеть маленькая, во время инференса приходится держать и её веса, и сгенерированные веса для нескольких десятков attention-слоёв одновременно, что иногда приводит к out-of-memory даже там, где обычная LoRA пролезала.
Третья сложность — отсутствие хорошей поддержки в большинстве inference-движков. В ComfyUI и Automatic1111 гиперсети поддерживаются через специальные расширения, но они часто ломаются при обновлениях torch или xformers. В A1111 после 2024 года поддержка гиперсетей стала почти заброшенной — разработчики сосредоточились на LoRA, ControlNet, IP-Adapter и подобных. Четвёртый момент — нестабильность результатов при изменении силы (strength): если у LoRA сила 0.6–0.8 почти всегда даёт пропорциональный эффект, то у гиперсетей промежуточные значения часто приводят к странным промежуточным состояниям — полуразмытым стилям, артефактам и потере coherentности.
11. Существуют ли современные (2025–2026) улучшения гиперсетей?
Да, хотя их немного и они остаются нишевыми. Самое заметное направление — гибриды с LoRA: HyperLoRA, LoRA-guided Hypernetwork и подобные. Идея в том, чтобы гиперсеть генерировала не полные веса, а низкоранговые матрицы LoRA, которые потом добавляются к основной модели. Это позволяет сохранить выразительность гиперсети, но сильно сократить вычислительную стоимость инференса — потому что после генерации матриц B и A всё работает как обычная LoRA.
Ещё одно интересное направление — conditional hypernetworks с более богатым conditioning: вместо простого текстового CLIP-эмбеддинга используют комбинацию T5-XXL, OpenCLIP, эстетическихスコアров, depth-карт и даже промежуточных латентов. Такие модели иногда называют «adaptive hypernetworks» и они показывают очень хорошие результаты при персонализации под сложные сцены (несколько персонажей в конкретном стиле + определённое освещение).
Также в 2025 году появились попытки сделать гиперсети более лёгкими за счёт дистилляции: сначала обучают большую гиперсеть, потом дистиллируют её знания в маленькую LoRA-подобную структуру. Получается компромиссный вариант, который быстрее обычной гиперсети и выразительнее обычной LoRA.
12. Как правильно подобрать learning rate для обучения гиперсети?
Для большинства реализаций 2022–2024 годов оптимальный learning rate лежал в диапазоне 5e-7 – 5e-6. Это на 1–2 порядка меньше, чем для LoRA (обычно 1e-4 – 5e-5). Причина в том, что гиперсеть напрямую влияет на миллионы весов основной модели — даже небольшое изменение её параметров приводит к огромным изменениям в генерируемых весах, поэтому градиенты нужно сильно приглушать. Самая частая стратегия — начинать с 1e-6, делать 300–500 шагов warmup до пикового значения (например, 3e-6), потом cosine decay до 1e-7 или ниже.
Многие авторы также использовали per-layer learning rate: для ранних слоёв U-Net (где признаки более общие) lr делали в 2–5 раз меньше, чем для поздних attention-слоёв. Ещё один трюк — layer-wise gradient scaling: градиенты для весов, которые генерируют проекции V, масштабировали сильнее, чем для Q и K, потому что V сильнее влияет на визуальную семантику. Если не делать таких тонких настроек, сеть либо взрывается (NaN в весах), либо коллапсирует в постоянный выход.
В 2025–2026 годах некоторые используют адаптивные оптимизаторы типа Sophia или AdaFactor специально для гиперсетей — они позволяют начинать с чуть большего lr и меньше страдать от нестабильности.
13. Можно ли обучать гиперсеть без регуляризационных изображений?
Можно, но результат почти всегда будет хуже, особенно если обучающих примеров меньше 30–50. Без class prior (регуляризационных изображений того же класса, например, «аниме-девушка» для обучения на конкретной аниме-персонажке) гиперсеть быстро переобучается и начинает генерировать веса, которые идеально воспроизводят обучающий набор, но полностью ломают генерацию на любых других промптах. Типичные симптомы — сильное вырождение в oversaturation, потеря способности рисовать другие персонажи, артефакты на фоне.
Лучшие практики 2022–2023 годов предполагали соотношение 1:3–1:10 между целевыми и регуляризационными изображениями. Часто брали 10–20 целевых картинок и 100–300 регуляризационных, сгенерированных базовой моделью по общим промптам. В 2024–2025 годах появились более умные способы регуляризации: вместо случайных картинок используют промежуточные латенты из базовой модели или даже специальные negative embeddings, которые штрафуют нежелательные паттерны.
Без регуляризации гиперсеть может сработать только в очень узких случаях — когда стиль настолько уникален и далёк от базовой модели, что переобучение на 5–10 примерах не ломает ничего другого (редко).
14. В чём разница между «full» hypernetwork и «delta» hypernetwork?
Full hypernetwork генерирует абсолютные значения весов слоя целиком: на выходе получается тензор точно такого же размера, как исходный вес attention-проекции. Delta-вариант (гораздо более популярный) генерирует лишь разницу: W_new = W_old + hypernet_output. Delta-подход оказался стабильнее по нескольким причинам. Во-первых, он сохраняет большую часть исходных знаний модели — даже если гиперсеть выдаст нули, мы получим поведение базовой модели. Во-вторых, масштаб генерируемых значений обычно гораздо меньше (дельты в диапазоне ±0.1–0.5 вместо полных весов ±1–3), что сильно упрощает оптимизацию и предотвращает взрывы.
В-третьих, delta-вариант позволяет использовать меньшую силу (strength 0.3–1.0), аналогично LoRA, что даёт больше контроля. Full-вариант же обычно требует strength близкой к 1.0, иначе результат становится либо слишком слабым, либо полностью искажённым. Почти все публичные гиперсети для Stable Diffusion после середины 2022 года — это именно delta-версии, full почти исчезли из обращения.
15. Как гиперсети работают с несколькими персонажами в одном изображении?
Очень плохо в большинстве случаев. Потому что conditioning обычно один на всю картинку — один вектор стиля/персонажа. Если в промпте два разных персонажа, гиперсеть применяет одни и те же веса ко всем токенам и ко всей композиции — в результате оба персонажа получают черты одного и того же стиля, часто сливаются или один «побеждает» другого. Есть обходные пути: использовать региональные промпты + ControlNet + отдельные гиперсети для разных регионов (через Regional Prompter или аналогичные расширения), но это сильно усложняет workflow и почти всегда даёт худший результат, чем несколько LoRA с разными весами.
Некоторые продвинутые реализации 2024–2025 годов пробовали multi-conditional hypernetworks: на вход подаётся не один, а несколько conditioning-векторов + маска, указывающая, какой вектор применять к какому токену. Но такие модели пока редки, тяжело обучаются и требуют специального inference-пайплайна.
Поэтому для сцен с несколькими разными персонажами/стилями сообщество практически полностью перешло на LoRA + IP-Adapter FaceID + ControlNet OpenPose / Tile.
16. Существует ли что-то вроде «merge» для гиперсетей?
Прямого аналога supermerger для LoRA пока нет и вряд ли появится в ближайшее время. Самый близкий способ — обучить новую гиперсеть на смеси выходов двух предыдущих. То есть берём две готовые гиперсети A и B, генерируем с их помощью веса для большого количества случайных conditioning-векторов, а потом учим третью сеть C предсказывать взвешенную комбинацию этих весов. Это работает, но требует огромного количества промежуточных данных и вычислений — по сути, дистилляция.
Другой способ — линейная интерполяция самих гиперсетей (взять 0.6A + 0.4B по параметрам), но из-за нелинейности гиперсети результат почти всегда хуже, чем у каждой по отдельности. Иногда люди просто переключаются между гиперсетями в процессе генерации (одна на первых 15 шагах, вторая на последних), но это тоже хак, а не нормальный merge.
В итоге большинство пользователей, которым нужна комбинация стилей, предпочитают делать это через LoRA.
17. Какой объём данных обычно нужен для хорошей гиперсети?
В 2022–2023 годах лучшие результаты получали на 10–40 качественных изображений одного стиля/персонажа. Реже — до 100, если стиль очень разнообразный (например, весь творческий путь художника). Важнее качества, чем количества: картинки должны быть разнообразными по композиции, ракурсам, освещению, но строго в одном визуальном ключе. Если добавить 5–10 «чужеродных» изображений — качество обычно падает очень сильно.
Для сравнения: DreamBooth того времени требовал 3–5 картинок, но сильно портил модель без регуляризации; Textual Inversion — 5–20; ранняя LoRA — 10–30. Гиперсети находились где-то посередине: им нужно больше примеров, чем DreamBooth, но меньше, чем полному fine-tune, и они меньше портили базовую модель при правильной регуляризации.
В 2025–2026 годах некоторые авторы показывают хорошие результаты на 3–8 картинках, но только при использовании очень продвинутых техник: prior-preservation loss, adversarial regularization, curriculum learning и т.д. Для обычного пользователя золотая середина остаётся 15–30 изображений.
18. Можно ли применять гиперсети к SDXL или Flux?
Да, и это уже делали. Для SDXL первые гиперсети появились примерно в середине 2023 года — в основном адаптация старых реализаций под двойной текстовый энкодер и увеличенное разрешение. Качество было заметно лучше, чем у SD 1.5, особенно в деталях лиц и сложных текстурах, но время инференса выросло ещё сильнее — до 2–5× замедления по сравнению с LoRA.
Для Flux (2024–2025) гиперсети тоже пробовали, но гораздо реже. Основная причина — Flux и так очень тяжёлый, а добавление гиперсети делает его практически непригодным для домашнего использования (генерация 1024×1024 за 30–60 секунд вместо 5–10). Поэтому сообщество почти полностью использует LoRA и LoKr/LoHa для Flux. Тем не менее, в исследовательских кругах гиперсети для Flux иногда показывают интересные результаты — особенно когда нужно очень точно воспроизвести крайне специфический стиль, который низкоранговыми методами не берётся даже при ранге 256+.
19. Есть ли будущее у гиперсетей в 2026 году и позже?
Скорее да, но в сильно изменённом виде. Классические «толстые» гиперсети, генерирующие полные attention-веса, скорее всего останутся нишевым инструментом для очень специфических задач. Основной вектор развития — гибридизация: гиперсети, генерирующие параметры более лёгких адаптеров (LoRA, DoRA, (IA)^3 и т.д.), гиперсети с динамической глубиной/шириной, гиперсети на основе state-space моделей или Mamba-подобных блоков для ускорения.
Ещё одно перспективное направление — использование гиперсетей не для стиля, а для task-specific knowledge injection: например, быстро добавлять в большую языковую модель новые факты, правила или предпочтения пользователя через conditioning на коротком описании. Здесь вычислительная цена окупается, потому что инференс языковых моделей и так очень долгий.
Если в ближайшие 2–3 года произойдёт прорыв в ускорении матричных операций или появятся новые архитектуры с динамическими весами «из коробки», гиперсети могут вернуться в мейнстрим. Пока же они остаются красивой, мощной, но не самой практичной идеей в арсенале PEFT-методов.
20. Стоит ли новичку в 2026 году пробовать обучать гиперсети?
Если вы только начинаете и ваша цель — быстро получить персонализированные картинки, то нет — лучше сразу начать с LoRA (или LyCORIS/DoRA). Обучение гиперсети требует гораздо больше экспериментов, понимания внутреннего устройства U-Net, терпения к нестабильным результатам и мощной видеокарты (минимум 16–24 ГБ VRAM для комфортной работы). Большинство гайдов и пресетов в kohya_ss и подобных инструментах заточены именно под LoRA.
Но если вы уже уверенно работаете с LoRA, пробовали ControlNet, IP-Adapter, regional prompting и хотите пойти дальше — попробовать воспроизвести очень сложный, почти невозможный для LoRA стиль — то да, стоит поэкспериментировать. Начните с готовых реализаций (например, hypernetwork-ext в A1111 или специализированных форков ComfyUI), возьмите маленький датасет 15–20 картинок, установите lr 1e-6, используйте delta-вариант и много регуляризации. Даже если результат будет неидеальным, вы очень глубоко поймёте, как именно модель «думает» о стилях и весах.
Гиперсети — это не про скорость и удобство, а про исследовательский интерес и поиск пределов выразительности при фиксированном размере адаптера. Для таких экспериментов они до сих пор остаются одним из самых интересных инструментов.