> solutions / web3

DevOps на контракте для Web3, валидаторов и роллапов

Планируете запуск тестнета в следующем квартале? А SRE с Cosmos SDK не можете найти уже который месяц, и тот, кого нашли, просит опционы в придачу? Мы поднимем валидаторов в 3 регионах за 5 дней, с алертами на slashing и подписанным SLA по аптайму.

Стек у нас уже собран: Cosmos SDK, Geth, Reth, OP Stack, Arbitrum Orbit, Polygon CDK, EigenDA, Celestia. Под ваш протокол настраиваем то, что удерживает валидатор в строю: следим за подписями, ставим distributed lock против double-sign, разводим ключи через HSM/KMS и пишем раннбуки под Sev-1 - slashing, потеря пиров, расхождение fork choice.

Наша ниша - эксплуатация L2 после запуска. Conduit, Caldera и Altlayer помогут поднять sequencer, но дальше, когда его надо мониторить, перезапускать, мигрировать и проводить hard-fork cutover, вы остаётесь один на один с инфраструктурой. Вот это мы и закрываем.

[ План деплоя за 48ч ]

стек, которым оперируем

Это подсет под Web3, а платформенный слой у нас везде одинаковый.

Web3: Cosmos SDK Geth Reth OP Stack Arbitrum Orbit Polygon CDK EigenDA Celestia

Platform: Kubernetes Terraform Ansible Prometheus Grafana Loki OpenTelemetry PagerDuty

что разворачиваем

Конкретные deliverables под Web3-команды. Каждый отдаём под ключ - то есть с репозиторием, IaC и раннбуками.

[ Валидатор-сет в 3 регионах ] →

Cosmos SDK / Geth / Reth, key isolation на HSM/KMS, distributed lock против double-sign, slashing-алерты, миссед-блок дашборды, плейбук фейловера.

[ RPC-фронт + load-balancer ] →

Geth / Reth read-replicas с per-method rate-limit'ом, кеш горячих запросов, p95 latency SLO, гео-роутинг для глобального трафика.

[ Sequencer для L2 (OP Stack / Orbit) ] →

Sequencer + batcher + proposer как отдельные процессы, наблюдение L1 finality, плейбук переключения, hot-standby в другом регионе.

[ Incentivized testnet: 100 нод за 72ч ] →

Burst-поставка под программу incentives: подбор bare-metal, авто-онбординг, equal-load распределение по регионам, дашборд позиции в leaderboard.

[ DA-слой: EigenDA / Celestia ] →

Light node-ы с подписанным аптаймом, retrieval-латенси, плейбук на пропущенный header, синхронизация с консенсус-слоем.

что держим 24/7

После hand-off pager уходит к нам, а покрытие мы настраиваем под валидаторов и роллапы:

Мониторинг подписей: каждый missed block триггерит Sev-2, два подряд - Sev-1.
Авто-фейловер на hot-standby в другом регионе при peer drop >30s или disk pressure.
Эскалация на on-call инженера: p95 first response 15 мин для Sev-1.
Slashing-trigger watchdog: если distributed lock не отвечает, signing key уходит в read-only за <500ms.
Версионированные runbook'и для каждого протокола: hard-fork cutover, chain halt, fork choice mismatch, mempool flood.
Ежемесячный ops-ревью: что ломалось, что починили, что меняем в SLO.

сценарии миграции

Вот что переносим без даунтайма и без потери ключевого материала.

testnet → mainnet

Cutover validator-сета на mainnet с key-церемонией, синхронизацией стейта, контрольной точкой и rollback-планом.

cloud → bare-metal

Перенос валидаторов с AWS/GCP на Latitude.sh / OpenMetal: -40% costs на ноду в типовом сценарии, latency не страдает.

hard-fork cutover

Координированный апгрейд клиента под known fork height: pre-flight checks, canary-нода, rolling restart по регионам.

sequencer cross-region

Перенос L2 sequencer'а на другую юрисдикцию или провайдера без drop'а блоков: hot-standby promote + DNS-cutover.

RPC сплит на гео-кластеры

Разнос RPC по регионам под рост трафика: anycast / гео-DNS, cache warm-up, per-region rate-limit'ы.

смена клиента (Geth → Reth)

Параллельная синхронизация, контроль чек-сумм по блокам, плавный switch без missed slot'ов.

кейсы

Всё анонимизировано: имена по NDA не раскрываем, но цифры здесь реальные.

ZK rollup · 6 мес · validator ops + RPC · slashing: 0 · аптайм: 99.97% за 90д

Cosmos L1 · 12 мес · 7 валидаторов в 4 регионах · missed blocks: <0.02% · governance-голоса: 100%

OP Stack L2 · 4 мес · sequencer + batcher + RPC · 0 пропущенных batch'ей с момента запуска

Incentivized testnet · 8 недель · 50 нод burst · top-5 оператор по аптайму

SLA tiers

Три уровня покрытия. Для валидаторов и sequencer'ов рекомендуем Silver и выше: slashing-риски не терпят 5×8.

Tier	Response p95 (Sev-1)	Coverage	Incident report	Engineer hours / мес
Bronze	30 мин	Business hours, 5×8	В течение 48ч	40
Silver	15 мин	24/7 on-call ротация	В течение 24ч	80
Gold	5 мин	24/7 с выделенным инженером	В течение 12ч	160+

FAQ

Кто держит валидаторские ключи?

Вы. Мы строим HSM/KMS workflow так, что ключи не покидают ваш контроль: подписываем процессом через signer-демон с distributed lock, а сам материал не кастодируем. Опционально можем поднять MPC-сетап (CGGMP-21 / FROST), если протокол это поддерживает.

Что с slashing? Кто компенсирует?

Архитектурно мы исключаем double-sign через distributed lock: signing key уходит в read-only, если consensus с другим инстансом не достигнут. Финансовая ответственность зависит от тира - в Gold обсуждается slashing-страховка, в Bronze/Silver работает shared model. За 3 года ops в текущей команде у нас 0 slashing-инцидентов.

Сколько занимает burst на 100 нод под incentivized testnet?

Supply window - 72ч от подписи до первой ноды live, а регионально-распределённое поднятие закрываем за 5-7 дней. Пришлите спецификацию протокола и регионы, и мы ответим с конкретным окном за 24ч.

Поддерживаете ли appchain'ы на Cosmos SDK?

Да, это один из основных стеков, с которыми мы работаем. Сюда входят кастомные модули, IBC-релэи, governance-голоса и миграции upgrade-handler'ов между major-версиями. CometBFT, CosmWasm и IBC v2 у нас тоже в работе.

Можно ли передать вам существующий валидатор-сет на эксплуатацию?

Да. На onboarding закладываем неделю: инвентаризация, импорт IaC (если он есть) или регенерация через Terraform, перенос ключей через ceremony и передача pager'а. Если что-то критично сломано ещё до старта, то сначала фиксим, а потом подписываем SLA.