Deepgram приобрела Daily, разработчика Pipecat, для создания открытой инфраструктуры голосового ИИ

Deepgram объявила в четверг о приобретении Daily — стартапа, создавшего и поддерживающего Pipecat, один из самых широко используемых открытых фреймворков в области голосового ИИ. Финансовые условия сделки не раскрываются, но обе компании обязались сохранить Pipecat как проект с открытым исходным кодом.

Pipecat — это фреймворк, который управляет потоками голоса и видео в реальном времени наряду с такими компонентами, как распознавание речи (speech-to-text), большие языковые модели и синтез речи (text-to-speech), одновременно снижая задержку. Daily также предоставляет хостинговую инфраструктуру для голосовых и видеозвонков. Компания привлекла более 62 миллионов долларов от инвесторов, включая Tiger Global, Highfield Capital, Nat Friedman, Lachy Groom и Kevin Weil. Deepgram, в свою очередь, ранее в этом году достигла статуса единорога после раунда серии C на 130 миллионов долларов. Примечательно, что обе компании окончили один и тот же набор Y Combinator в 2016 году.

Сооснователь Daily Квиндла Крамер (Kwindla Kramer) рассказал, что фреймворк Pipecat возник из экспериментов по коммуникации между ИИ и человеком через голос и текст, которые начались примерно во время запуска GPT-4. Он отметил, что его привлекла личная приверженность генерального директора Deepgram Скотта Стивенсона (Scott Stephenson) идее сохранить Pipecat навсегда открытым и нейтральным по отношению к поставщикам, а также то, что инженерные культуры обеих организаций хорошо совпали.

Стивенсон сказал, что Deepgram давно хотела заняться открытым исходным кодом и определила фреймворк для оркестрации голосовых агентов как подходящую точку входа. Он подчеркнул, что хочет, чтобы разработчики использовали те модели, которые лучше всего подходят под их задачи, даже если это модели конкурентов.

Вместе с приобретением Deepgram запускает Real-Time Context Standard (RCS) — открытый протокол для голосовых агентов, разработанный совместно с командой Pipecat. RCS определяет метаданные, включая сигналы аудиоконтекста — например, обнаружение шёпота, — инструкции для языковой модели и указания о том, как должен звучать ответ.