Deepgram придбала Daily, розробника Pipecat, для створення відкритої інфраструктури голосового ШІ

Deepgram у четвер оголосила про придбання Daily — стартапу, який створив і підтримує Pipecat, один із найпоширеніших відкритих фреймворків у сфері голосового ШІ. Фінансові умови угоди не розкриваються, але обидві компанії зобов'язалися зберегти Pipecat як проєкт із відкритим кодом.

Pipecat — це фреймворк, який керує потоками голосу та відео в реальному часі разом із такими компонентами, як розпізнавання мовлення (speech-to-text), великі мовні моделі та синтез мовлення (text-to-speech), одночасно знижуючи затримку. Daily також надає хостингову інфраструктуру для голосових і відеодзвінків. Компанія залучила понад 62 мільйони доларів від інвесторів, зокрема Tiger Global, Highfield Capital, Nat Friedman, Lachy Groom та Kevin Weil. Deepgram, зі свого боку, раніше цього року досягла статусу «єдинорога» після раунду серії C на 130 мільйонів доларів. Варто зазначити, що обидві компанії випустилися з того самого набору Y Combinator у 2016 році.

Співзасновник Daily Квіндла Крамер (Kwindla Kramer) розповів, що фреймворк Pipecat виник з експериментів зі спілкування між ШІ та людиною через голос і текст, які почалися приблизно під час запуску GPT-4. Він зазначив, що його приваблювала особиста прихильність генерального директора Deepgram Скотта Стівенсона (Scott Stephenson) ідеї тримати Pipecat назавжди відкритим і нейтральним щодо постачальників, а також те, що інженерні культури обох організацій дуже добре поєдналися.

Стівенсон сказав, що Deepgram довго хотіла залучитися до відкритого коду і визначила фреймворк оркестрації для голосових агентів як правильну точку входу. Він наголосив, що хоче, щоб розробники використовували ті моделі, які найкраще відповідають їхнім потребам, навіть якщо це моделі конкурентів.

Разом із придбанням Deepgram запускає Real-Time Context Standard (RCS) — відкритий протокол для голосових агентів, розроблений спільно з командою Pipecat. RCS визначає метадані, зокрема сигнали аудіоконтексту — наприклад, виявлення шепоту, — інструкції для мовної моделі та вказівки щодо того, як має звучати відповідь.