PayPal ускоряет ИИ не инновациями, а хитрыми трюками предсказаний

Общепринятая мудрость гласит: ускорение ИИ-агентов — это про более мощные модели и лучшие алгоритмы. PayPal, казалось бы, подтверждает тренд, внедряя EAGLE3 с тонко настроенными Nemotron моделями для своего коммерческого агента. Техническое исследование обещает значительное ускорение обработки запросов.

Но копни глубже — и картина меняется. Speculative Decoding, ключевая технология в решении PayPal, работает не через улучшение самих моделей, а через предугадывание их ответов. Система генерирует несколько вариантов токенов заранее, надеясь угадать правильный. Это как ускорять калькулятор, заранее вычисляя популярные примеры.

Эмпирическое исследование PayPal показывает: реальный прирост скорости достигается не за счет более умных алгоритмов, а за счет статистических трюков и кэширования. Когда крупнейшие tech-компании переходят к таким методам, это сигнализирует о фундаментальном пределе: мы выжали из текущих архитектур всё, что могли.