
ML Drift Google: как ускоряется локальный AI в Chrome и на устройствах
ML Drift унифицирует GPU-выполнение локальных AI-моделей на разных устройствах. Разбираю его место между LiteRT, WebGPU и Chrome Built-in AI и показываю, что…
Тема блога
On-device AI — подход, при котором модели искусственного интеллекта выполняются непосредственно на смартфоне, компьютере или другом пользовательском устройстве без обязательной отправки данных на удалённый сервер. В разделе собраны материалы о локальном инференсе, аппаратном ускорении, технологиях выполнения нейросетей, преимуществах и ограничениях ИИ на устройствах.
Материалы

ML Drift унифицирует GPU-выполнение локальных AI-моделей на разных устройствах. Разбираю его место между LiteRT, WebGPU и Chrome Built-in AI и показываю, что…
On-device AI — это подход к использованию искусственного интеллекта, при котором вычисления нейросетевой модели выполняются непосредственно на конечном устройстве: смартфоне, ноутбуке, настольном компьютере, носимой электронике или встроенной системе. Вместо обязательной отправки запроса в облачный дата-центр приложение использует локальные вычислительные ресурсы для обработки данных и получения результата.
Ключевое понятие здесь — on-device inference, или локальный инференс. Так называют выполнение уже подготовленной модели для решения конкретной задачи: распознавания речи, анализа изображения, классификации текста, генерации ответа или обработки сигналов. Обучение модели и её последующее использование — разные процессы. Для работы on-device AI необязательно обучать нейросеть непосредственно на устройстве.
Локальное выполнение позволяет уменьшить зависимость приложения от сетевого соединения, сократить передачу пользовательских данных и использовать аппаратные возможности конкретного устройства. При этом результат зависит от модели, процессора, доступной памяти, программного окружения и других технических ограничений.
Основу on-device AI составляет модель машинного обучения, подготовленная для выполнения в подходящей программной среде. Она может поставляться вместе с приложением, загружаться при первом использовании или предоставляться операционной системой.
После получения входных данных приложение передаёт их в среду выполнения модели — inference runtime. Эта среда организует вычисления и взаимодействие с аппаратными ускорителями. Полученный результат возвращается приложению без обязательного обращения к внешнему серверу.
Для разных задач используются разные архитектуры моделей. Компактная модель компьютерного зрения может определять объекты на изображении, модель распознавания речи — преобразовывать аудио в текст, а языковая модель — обрабатывать запросы и генерировать текстовые ответы.
Локальные нейросети используют вычислительные ресурсы устройства. Центральный процессор (CPU) обеспечивает универсальное выполнение операций. Графический процессор (GPU) подходит для параллельных вычислений, широко применяемых в машинном обучении.
NPU (Neural Processing Unit) — специализированный вычислительный блок, предназначенный для ускорения нейросетевых операций. Его применение может улучшать производительность и энергоэффективность поддерживаемых моделей, однако наличие NPU само по себе не гарантирует ускорение любой нейросети.
Конкретный способ выполнения зависит от совместимости модели, доступных операторов, драйверов и программной среды. Если специализированное ускорение недоступно, отдельные системы могут использовать CPU или другой поддерживаемый вычислительный механизм.
Модели, рассчитанные на облачные серверы, не всегда подходят для мобильных устройств и обычных компьютеров. Основные ограничения связаны с оперативной памятью, пропускной способностью памяти, вычислительной мощностью, энергопотреблением и допустимым нагревом оборудования.
Для локального выполнения применяют квантование весов, оптимизацию вычислительного графа, сокращение избыточных операций и другие методы уменьшения вычислительных затрат. Квантование позволяет использовать числовые представления меньшей точности, но влияние такой оптимизации на качество необходимо проверять для конкретной модели и задачи.
Размер модели — лишь один из факторов. Для генеративных моделей важны также объём рабочего контекста, память под промежуточные состояния и скорость обработки входных и выходных токенов.
Если модель, необходимые ресурсы и программная среда уже доступны локально, приложение может выполнять поддерживаемые AI-функции без интернет-соединения. Это полезно для мобильных инструментов, автономных устройств, обработки документов и сценариев с нестабильной связью.
Однако локальное выполнение модели не означает, что всё приложение полностью автономно. Для первоначальной загрузки модели, установки обновлений, синхронизации или получения внешней информации интернет по-прежнему может потребоваться.
On-device AI позволяет обрабатывать часть пользовательских данных непосредственно там, где они создаются и хранятся. Например, приложение может анализировать локальный текст или изображение без отправки исходного содержимого в облачный сервис.
Это сокращает необходимость передачи информации сторонней инфраструктуре, но не делает систему автоматически безопасной. Вопросы доступа к данным, хранения результатов, разрешений приложения и защиты самого устройства остаются актуальными.
Кроме того, приложение с локальной моделью может отдельно использовать аналитику, синхронизацию и облачные функции. Поэтому конфиденциальность необходимо оценивать по фактическим потокам данных, а не только по наличию on-device inference.
Локальное выполнение устраняет сетевой обмен с сервером из основного вычислительного пути. Это может уменьшать задержку для небольших моделей и задач, требующих оперативной реакции: обработки камеры, распознавания команд или интерактивных функций интерфейса.
Тем не менее локальная обработка не всегда быстрее облачной. Мощный сервер способен выполнять сложные вычисления быстрее пользовательского устройства. Сравнивать решения нужно по полному времени обработки конкретной задачи, включая подготовку данных, запуск модели и формирование результата.
Главное ограничение on-device AI — доступные ресурсы конечного оборудования. Крупные модели могут требовать больше оперативной памяти, чем предусмотрено на смартфоне или недорогом ноутбуке. Даже если модель удаётся загрузить, скорость генерации и обработки данных может быть недостаточной для комфортного использования.
Продолжительная вычислительная нагрузка увеличивает энергопотребление и нагрев. На мобильных устройствах это способно приводить к ускоренному разряду аккумулятора и ограничению производительности при повышении температуры.
Одна и та же модель может работать по-разному на устройствах с различными процессорами, графическими ускорителями и операционными системами. Поддержка нужных операций, доступность NPU и поведение драйверов непосредственно влияют на возможность аппаратного ускорения.
Разработчику приходится учитывать неоднородность оборудования, проверять совместимость моделей и предусматривать альтернативный путь выполнения там, где это технически возможно.
Компактные локальные модели подходят для многих специализированных задач, но не всегда сопоставимы с более крупными облачными системами по качеству рассуждений, объёму контекста и универсальности.
Локальная модель также не получает автоматически актуальную информацию из интернета. Для работы с изменяющимися данными приложению необходим отдельный механизм получения информации, обновления ресурсов или подключения внешних источников.
Мобильные устройства используют локальный искусственный интеллект для обработки изображений, распознавания речи, работы с камерой, анализа пользовательского ввода и других функций, которые можно реализовать непосредственно на устройстве.
В генеративных сценариях локальные модели могут применяться для обработки и преобразования текста, кратких ответов, персональных инструментов и вспомогательных функций. Фактическая доступность зависит от устройства, операционной системы и конкретного приложения.
На настольных компьютерах и ноутбуках on-device AI используется для обработки локальных документов, текста, аудио, изображений и других данных. Такой подход полезен, когда требуется контролировать передачу информации или уменьшить зависимость от облачного API.
Для сложных генеративных сценариев необходимо отдельно оценивать требования модели к памяти, скорость выполнения и целесообразность использования GPU или NPU.
Веб-приложение также может выполнять модель на пользовательском устройстве. Для этого применяются браузерные вычислительные возможности, включая WebAssembly и WebGPU, либо специализированные API для поддерживаемых локальных AI-функций.
При использовании собственной модели разработчик отвечает за её формат, доставку, загрузку и выполнение. При использовании встроенного браузерного AI API часть этих задач может выполнять сам браузер.
Важно разделять уровни такой архитектуры: API приложения, AI-модель, inference runtime и аппаратный backend. WebGPU предоставляет доступ к GPU-вычислениям, но сам по себе не является нейросетевой моделью или полноценной средой инференса.
Отдельный пример развития этой инфраструктуры — ML Drift Google, GPU-движок для выполнения локальных AI-нагрузок. Его архитектура и взаимодействие с LiteRT, WebGPU и Chrome Built-in AI рассмотрены в материале «ML Drift Google: как ускоряется локальный AI в Chrome и на устройствах».
Локальные модели применяются в камерах, носимой электронике, датчиках, робототехнике и других устройствах, которым требуется обрабатывать данные рядом с источником их возникновения.
Для таких сценариев особенно важны энергопотребление, компактность модели, надёжность и возможность выполнять необходимые функции без постоянного подключения к удалённой инфраструктуре.
Оба подхода связаны с приближением вычислений к источнику данных, но обозначают не совсем одно и то же.
On-device AI предполагает выполнение модели непосредственно на конечном устройстве, которое используется для соответствующей задачи.
Edge AI — более широкое понятие. Оно охватывает выполнение искусственного интеллекта на периферии сети, включая пользовательские устройства, локальные шлюзы, промышленные контроллеры и расположенные рядом вычислительные узлы.
Следовательно, on-device AI можно рассматривать как один из вариантов edge AI, но не всякая периферийная обработка является выполнением модели непосредственно на устройстве пользователя.
При облачном подходе основная обработка запроса выполняется на удалённой инфраструктуре. Пользовательское приложение передаёт данные серверу и получает сформированный результат.
При on-device AI вычислительная нагрузка переносится на конечное оборудование. Это меняет требования к архитектуре приложения, передаче данных, обновлению моделей и поддержке различных устройств.
Облачная архитектура удобна для ресурсоёмких моделей и централизованного обслуживания. Локальное выполнение может быть предпочтительнее для автономных функций, обработки чувствительной информации и задач с ограниченной сетевой доступностью.
Локальное и облачное выполнение необязательно исключают друг друга. В гибридной архитектуре приложение может обрабатывать часть запросов непосредственно на устройстве, а задачи, требующие дополнительных ресурсов или внешних данных, направлять на сервер.
Такой подход позволяет распределять вычислительную нагрузку, но требует прозрачных правил маршрутизации запросов. Если приложение предполагает локальную обработку чувствительных данных, необходимо явно определить условия, при которых информация может покидать устройство.
Архитектуру следует выбирать исходя из практической задачи, а не только доступности определённого AI-фреймворка. Для распознавания объектов, обработки речи, генерации текста и поиска могут потребоваться разные модели и вычислительные механизмы.
При выборе модели важно оценить её размер, потребление памяти, качество результата, поддержку целевых платформ, допустимую задержку и возможность аппаратного ускорения.
Для развёртывания локальных моделей существуют специализированные инструменты, в том числе LiteRT и платформенные средства машинного обучения. Конкретный стек зависит от операционной системы, формата модели и требований приложения.
Производительность локального AI необходимо проверять на целевых устройствах. Результаты тестирования на мощной рабочей станции нельзя автоматически переносить на мобильный процессор или другой GPU.
Для генеративных моделей полезно отдельно оценивать время обработки входного контекста, задержку до первого токена, скорость последующей генерации и потребление памяти.
Для мобильных и встроенных систем дополнительно важны длительная нагрузка, нагрев, энергопотребление и поведение приложения при нехватке ресурсов.
Локальная архитектура требует продумать доставку моделей, проверку их целостности, хранение файлов, обновления, совместимость версий и действия при недостатке ресурсов.
Если приложение обрабатывает персональные или конфиденциальные данные, необходимо разграничить локальные вычисления и сетевые функции. Наличие on-device AI не отменяет требований к защите пользовательской информации.
В этом тематическом разделе собраны публикации о технологиях выполнения искусственного интеллекта непосредственно на пользовательских устройствах. Основной акцент — на архитектуре локального инференса, аппаратном ускорении и взаимодействии программных компонентов, которые позволяют использовать AI-модели без обязательной передачи каждого запроса в облако.
Материалы помогают разобраться, какие задачи решают отдельные технологии, где проходят границы между AI-моделью, runtime и вычислительным backend, а также какие ограничения необходимо учитывать при разработке мобильных и веб-приложений.
Для более широкого обзора подходов к локальному выполнению искусственного интеллекта предусмотрен родительский раздел «Локальный AI». Текущая страница посвящена именно выполнению моделей на конечном устройстве и технологиям, которые обеспечивают этот процесс.