FedSQ доказал: федеративное обучение работает не так, как все думали

Десять лет федеративное обучение считалось «красивой теорией для реального мира» — способом обучать модели на распределённых данных без их централизации. Google использует его в Gboard, Apple — в Siri. Но всегда с оговоркой: качество страдает, сходимость медленная, результат непредсказуем. Индустрия смирилась: хочешь топовую модель — собирай данные в дата-центре.

FedSQ ломает эту парадигму через Fixed Gating — механизм, который решает главную проблему федеративного обучения: неэффективное усреднение весов между участниками. Вместо простого averaging алгоритм использует фиксированные «ворота», которые определяют, какие части модели обновлять от каждого клиента. Результат: на benchmark CIFAR-10 FedSQ показал сходимость на 40% быстрее стандартного FedAvg при сохранении точности.

Но реальный переворот — в масштабе. Исследование показывает, что с ростом числа участников FedSQ не деградирует, а улучшается. Это противоречит всему, что мы знали о федеративном обучении. При 1000 участников алгоритм достигает 94.2% точности против 89.7% у традиционных методов. Централизованное обучение на тех же данных дало 94.8% — разница статистически незначима.