Google сделала карманный переводчик на Raspberry Pi
Голосовой переводчик на Raspberry Pi 5 может распознавать речь, переводить фразы на другой язык и сразу выдавать результат без подключения к интернету. После первоначальной установки вся обработка проходит прямо на небольшом одноплатном компьютере. Wi-Fi или мобильная сеть во время разговора не нужны.
В основе устройства лежит открытая модель Gemma 4 от Google. В публикации Android Authority указана версия E4B, однако актуальный репозиторий проекта на GitHub называет gemma4-e2b. Скрипт установки также загружает E2B. Для сборки разработчики рекомендуют Raspberry Pi 5 с 8 ГБ оперативной памяти. Модель рассчитана на локальную работу на устройствах с ограниченными вычислительными ресурсами и умеет обрабатывать текст, изображения и звук.
Все компоненты поместили в корпус, который можно напечатать на 3D-принтере. Переводчик получил небольшой сенсорный экран, микрофон, динамик, кнопку записи речи и регулятор выбора языка. Пользователь выбирает нужный язык, нажимает кнопку и произносит фразу. Через несколько секунд перевод появляется на экране и воспроизводится через динамик.
За одной кнопкой скрывается последовательность из нескольких операций. Сначала микрофон записывает голос. Система Moonshine STT распознаёт речь и превращает звук в текст. Затем Gemma 4 получает расшифрованную фразу и переводит её на выбранный язык. Готовый текст передаётся системе moonshine-voice TTS, которая синтезирует голос и отправляет звук на встроенный динамик. Таким образом Raspberry Pi самостоятельно выполняет распознавание речи, перевод и озвучивание, не отправляя запросы на внешний сервер. Исходный код проекта опубликован на GitHub.
Для запуска Gemma используется LiteRT-LM, среда Google для локального выполнения больших языковых моделей на пользовательских устройствах. После загрузки модели Raspberry Pi хранит необходимые данные в собственной памяти и выполняет вычисления на месте. Сервер в дата-центре для каждого запроса не требуется. От качества соединения с интернетом скорость обработки тоже не зависит. LiteRT-LM поддерживает Gemma 4 и Raspberry Pi.
На небольшом дисплее работает специально созданный интерфейс, рассчитанный примерно на разрешение 480 × 320 пикселей. Экран показывает исходную расшифровку и переведённую фразу, поэтому результат можно прочитать, если озвучивание неудобно или вокруг слишком шумно. Интерфейс предназначен для разговора двух людей с разными языками. Для каждого собеседника предусмотрена собственная область экрана, а направление перевода можно менять во время разговора.
Программную часть разрабатывали с помощью Google Antigravity. На Raspberry Pi одновременно работают LiteRT-LM с загруженной моделью, локальный программный интерфейс на Python и экранная оболочка переводчика. Установочный сценарий подготавливает нужные пакеты, настраивает программное окружение, загружает модель и собирает интерфейс. После настройки переводчик можно запускать автоматически при включении Raspberry Pi, без ручного ввода команд в терминале.
Интернет требуется только для первоначальной подготовки устройства: необходимо скачать модель и программные компоненты. После установки распознавание речи, перевод и синтез голоса работают локально. Переводчик поэтому можно использовать в дороге, за пределами зоны мобильной связи или в помещениях без доступного Wi-Fi. Локальная обработка пригодится и в ситуациях, когда запись разговора нежелательно передавать внешнему облачному сервису.
Офлайн-перевод сам по себе существует давно. Например, Google Переводчик позволяет заранее загрузить языковые пакеты и переводить текст без подключения к сети. Набор доступных без интернета функций зависит от языка и режима работы. Проект на Raspberry Pi интересен другой схемой: один компактный компьютер последовательно записывает голос, распознаёт слова, переводит фразу, выводит текст на экран и синтезирует речь. Смартфон или удалённый сервер в процессе не участвуют. Google также описывает офлайн-перевод в справке Переводчика.
Собрать устройство можно самостоятельно. В репозитории проекта опубликованы исходный код, сценарии установки, файлы интерфейса и STL-модели деталей корпуса для 3D-печати. Разработчики распространяют код по лицензии Apache 2.0 и отдельно указывают, что Gemma Translator остаётся экспериментальным проектом, а не официально поддерживаемым коммерческим устройством Google.