音声の実験：speech-to-speechアーキテクチャ | Part 1

ブラウザサンドボックス内のWebRTC接続上で会話AIをデプロイすることは、概ね解決済みの問題だ。SIPトランク上でステートフルなミッションクリティカルなデータベース操作を実行するためにデプロイすることは、そうではない。

この領域で構築しているなら、レイテンシーの計算はすでに理解しているだろう。標準的なASR → LLM → TTSカスケードは、離散的なモダリティ境界ごとにシリアライゼーション税を支払う。VADエンドポインティング、APIネットワークホップ、TTFT、TTS生成バッファを考慮すると、プロダクションで一貫した500ms未満のTime-To-First-Audio（TTFA）——我々のターゲット閾値——を達成するには、大規模な構造的最適化が必要だ。

このカスケードを完全にバイパスするため、最初のアーキテクチャ実験としてフロンティアのネイティブspeech-to-speech（S2S）モデルを評価した。

潜在空間の魔法

ネイティブS2S（GPT-Realtime APIを支えるアーキテクチャのような）の理論的な魅力は、離散的なテキストボトルネックの排除だ。ニューラルオーディオコーデック（例：SoundStream）を介してオーディオを直接トークン化し、それらの音響トークンをジョイントマルチモーダル潜在空間にマッピングすることで、モデルはオーディオを自己回帰的に生成する。

ここでの初期実験は本当に魅力的だった。モデルが潜在空間で生のアコースティックペイロードを直接処理するため、明示的なSSMLマークアップやプロソディ予測モデルを必要とせずに、非語彙的なニュアンス——呼吸、咳、笑い、微妙なケーデンスの変化——を捉えることに成功した。

リアルに感じる。人間は実は完璧で無菌的な音声AIを期待していないことにすぐ気づいた。有機的な不完全さにより良く反応する。S2Sモデルがこれほど自然に聞こえ始めると、美しく奇妙で馴染みのあるインタラクションが生まれる。この深いプレゼンス感はS2Sの否定しようのないスーパーパワーであり、非決定論的でオープンエンドな会話エージェントにとって、このエンドツーエンドアプローチは非常に魔法的なUXをもたらす。

プロダクションのボトルネック

しかし、DevRevエージェントは本質的にステートマシンだ。複雑なB2Bワークフローを実行し、特定のデータベースノードにクエリし、エンジニアリングwebhookをトリガーする。ネイティブS2Sアーキテクチャを決定論的なエンタープライズ制約に対してテストしたところ、システムは致命的な制限を示した。

1. 明示的な語彙グラウンディングの欠如（WER問題）

カスケードパイプラインでは、ASRレイヤーを厳密に制御できる。語彙バイアシング、LMシャローフュージョン、または厳密なデコーディング制約を適用して、企業固有の略語を完璧に書き起こすことができる。

ネイティブS2Sは明示的な中間テキストボトルネックなしでオーディオを処理する。我々の実験では、非常に専門的な技術用語（例："My Sev-1 ticket for the Postgres cluster is dropping payloads"）を話すと、S2Sモデルはドメイン固有のエンティティに対する統計的な脆弱性を示す傾向があった。明示的な語彙グラウンディングがないため、モデルは略語の音響特徴を誤解し、論理的推論が行われる前にコンテキストベクトルを汚染してしまう。

2. セマンティック密度とインストラクションドリフト

オーディオトークンはテキストトークンよりもはるかに多次元のデータを含み、セマンティクスとともにピッチ、トーン、環境ノイズを捕捉する。結果として、トークンあたりのセマンティック密度ははるかに低い。

テキストネイティブのLLMは広範なRLHFを通じてロングコンテキスト推論と複雑なシステムプロンプトへの厳密な準拠に高度に最適化されているのに対し、我々が評価したS2Sモデルは長い時間ウィンドウにわたって厳密な行動アラインメントを維持することに苦戦した。テストでは、S2Sエージェントは「インストラクションドリフト」と我々が観察したものを示し、マルチターンサポートコール中に厳密な条件付きルーティングロジックやポリシー制約に準拠できなかった。

3. 構造化生成と「アラインメント税」

我々のスタックでS2Sにとって最終的なディールブレイカーとなったのはファンクションコーリングだった。顧客の問題を解決するために、エージェントはバックエンドwebhookをトリガーするための厳密にフォーマットされたJSONペイロードを出力しなければならない。ネイティブS2Sアーキテクチャは現在、一貫した構造化データ生成に苦戦している。

モデルアラインメントでこれを修正しようとすると、重大なアーキテクチャ上のトレードオフが生じる。トレーニング中に（RLまたは教師ありファインチューニングを介して）S2Sモデルに厳密なJSON文法への準拠を強制するために重いペナルティを課すと、潜在空間のバリアンスがフラットになる。モデルは巨大な「アラインメント税」を支払う——最初にS2Sアーキテクチャを馴染みのある魅力的なものにした高忠実度のプロソディ、感情的バリアンス、流暢な音響エントロピーを失い、しばしばロボット的または劣化した出力に崩壊する。

4. フルデュプレックス問題

真のフルデュプレックス通信は、高速なVADだけの問題ではない。システムがインバウンドのオーディオトークンを処理し、生成用に分離されたKVキャッシュを維持し、文の途中の割り込みからのセマンティック更新をストリームすることを要求する——同時に自己回帰的なオーディオ出力を生成しながら。我々が評価したS2S実装では、モデルはコンテキストウィンドウをクリアしたり深刻なアコースティックアーティファクトを導入したりすることなく、これらのセマンティック衝突をうまく処理することに苦戦した。

最終的に、現状のS2Sを落とすという我々の決定は、単一の譲歩不可能なメトリクスに帰着した：音声駆動アクションの信頼性と安全性。AIエージェントがエンタープライズの代理として動作する場合——データベースの変更、ユーザー状態へのアクセス等——ハルシネーションされたポリシーや不正なJSONペイロードは単なるUXの不具合ではない。クリティカルな安全性の失敗だ。ネイティブS2Sモデルがバックエンドアクションを安全に実行するために必要な決定論的信頼性と厳密な行動ガードレールを保証できるようになるまで、エンタープライズ顧客の前にデプロイすることはできないと我々は認識した。

Computer Voice実験デモ

実験の原則：サンクコスト・ファラシーの死

S2Sの幻想、テレコムの罠、動的パイプラインのハルシネーションを乗り越える中から得られるメタレッスンが一つあるとすれば、それはこれだ：AIの世界では、技術的優位性の半減期は週単位で測られる。500ms未満のエンタープライズグレードのオーケストレーションエンジンを構築することは、最初のホワイトボードセッションでアーキテクチャを正しく得ることではなかった。それは、コードの書き方の変化によって根本的に可能になった、容赦のない実験哲学を採用することだった。

これらの反復の途中で、Claudeを使ったエージェンティックコーディングが転換点に達し、我々のチームの評価では、特定のインフラタスクにおいてシニアエンジニアに匹敵するレベルで動作し始めた。これは単にボイラープレート生成を加速しただけではない。心理的なサンクコスト・ファラシーを殺すことで、アーキテクチャのリスクプロファイルを完全に逆転させた。

人間のエンジニアがレガシーSIPインターコネクトと3週間格闘したり、複雑なWebRTC C++バインディングを書いたりすると、そのアーキテクチャを生かし続けようとする。構築に苦痛を伴ったからだ。しかしAIエージェントが同じ複雑なインフラを短時間でスキャフォールド、テスト、デプロイできると、サンクコストは劇的に低下する。コードは驚くほど安くなった。

我々は高速ループのためにエンジニアリングしなければならない：高速フィードバック、高速実行、高速イテレーション。セルフホストのAsteriskサーバーを構築し、まばたきもせずに捨てた。AIが十分速く構築したので、捨てても痛くなかったからだ。フロンティアS2Sモデルを評価し、エンタープライズの信頼性要件を満たさないと分かったら次に進んだ。複雑なLLM推論スキーマを書き、静的YAMLペルソナの方が良いと分かったら引き剥がした。

自分のスタックに執着することはできない。会話AIで勝つチームは、初日に最もエレガントなアーキテクチャを書くチームではない。AIエンジニアリングエージェントを活用して、仮説、デプロイ、失敗、ピボットのサイクルを誰よりも速く回すチームだ。

我々はS2Sの将来について非常に楽観的であり、ネイティブオーディオモデルの将来の反復がアラインメント税を克服すると期待している。我々の推測的な予測では、チェーンされたハイブリッドパイプラインが今後1年ほどで実用的になる可能性があるが、この分野の進歩のペースを考えると、特定のタイムラインは不確実だ。

しかし今日、それらは決定論的なエンタープライズオーケストレーションには現状不適格だ。ネイティブS2Sの500ms未満のTTFAを達成しつつ、テキストネイティブLLMの厳密なJSON準拠の推論を備えたソリューションが必要だった。

Part 2では、フォールバックパイプラインの背後にあるトレードオフ、続くレイテンシーの課題、パフォーマンスを維持するために行ったインフラ変更について掘り下げる。