SISA: Почему новая архитектура процессоров доказывает тупик ИИ-гонки

Conventional wisdom гласит: ИИ нужно больше вычислительной мощности. SISA (Scale-In Systolic Array) обещает ускорить GEMM — матричные умножения, основу современных нейросетей. Архитектура использует systolic arrays, где данные текут через массив процессоров как кровь через сосуды. Звучит как прогресс.

Но вот парадокс: самые эффективные алгоритмы стремятся избежать плотных матричных операций. Sparse attention, MoE-архитектуры, quantization — все топовые техники последних лет направлены на то, чтобы делать меньше GEMM, не больше. Transformer изначально был попыткой уйти от вычислительно тяжёлых операций RNN.

SISA решает проблему, которой не должно существовать. Если нам нужны специальные чипы для матричных умножений, значит, мы застряли в локальном оптимуме архитектур. Это как строить более быстрые паровозы вместо изобретения двигателя внутреннего сгорания. Индустрия оптимизирует железо под неэффективные алгоритмы вместо создания эффективных.