Квадраты против гигантских моделей: трафик предсказывают без дорогого внимания

Обычная архитектура для больших транспортных сетей сталкивается с комбинаторным ростом связей. Если модель сопоставляет каждый элемент с каждым, число взаимодействий увеличивается как O(N²): удвоение длины последовательности или числа пространственных точек может приблизительно учетверить стоимость внимания. Для городских сенсорных сетей, где одновременно учитываются координаты, время, погода и состояние дорог, это быстро превращается в ограничение не только для обучения, но и для оперативного прогноза.

SqLinear строится вокруг переворота этой привычной схемы. Вместо попытки соединить все точки напрямую метод раскладывает пространство наблюдений на сбалансированные квадратные области. Внутри такой структуры модель сохраняет локальные зависимости, а обмен информацией между областями организует линейным способом. Так авторы переходят от квадратичной оценки O(N²) к O(N), утверждая, что для крупномасштабного прогноза взаимодействие не обязано быть полным, чтобы оставаться информативным.

Именно здесь находится главный вывод работы, а не просто очередное сокращение вычислительного бюджета. «Linear interaction is sufficient» — линейного взаимодействия достаточно, когда оно соответствует физической структуре задачи. Дорога не взаимодействует одинаково со всеми датчиками города: ближайшие перекрёстки важнее удалённого района, а пространственная близость задаёт полезный порядок зависимостей. Сбалансированное разбиение превращает это свойство из внешнего правила в часть самой архитектуры.

Для индустрии это меняет критерий прогресса. Модель не пытается компенсировать плохое представление данных увеличением числа слоёв, параметров и связей. Она сокращает область поиска заранее — без отказа от пространственно-временного контекста. В заявлении SqLinear нет обещания, что квадратичное внимание исчезнет из всех задач; тезис гораздо точнее: в прогнозировании трафика избыточная связность может быть не признаком интеллекта, а источником лишних расходов.