聞きながら話せる全二重（full-duplex）の連続音声対話基盤モデル、Haru-4Bを公開しました。音声を入力として受け取り、音声で応答するspeech-to-speechのモデルです。

Haru-4Bが目指すのは、人とAIの自然な対話です。LLMや音声合成で生成した合成対話ではなく、大規模な実環境の音声から、相づち・割り込み・ターンテイキングといった会話の振る舞いを学習しています。エージェントやアシスタントを操作するのではなく、人と話しているような感覚でAIと対話できることを目標としています。

Haru-4Bは事前学習済みのベースモデルとして公開します。 リアルタイム音声対話の研究やファインチューニングのベースモデルとしてご活用いただけます。モデルの重みはHugging Face、コードはGitHubで公開しています。

Haru-4Bの特長

  • 超低遅延の対話: MacBookで約65 msのEnd-to-End遅延を実現しました。
  • 7.5 Hzのネイティブ全二重speech-to-speech: 音声とテキストのストリームを同期させ、133 msごとに入力音声と出力音声を同時に処理します。
  • 1ステップの連続音声生成: 軽量なMLPヘッドとMeanFlowによる1ステップのサンプリングで音声を生成します。追加の音響用Transformerを必要としません。
  • 4,000万時間の実音声: LLMやTTSで合成したターン制の対話データを用いずに、大規模な多言語事前学習を実施しました。
  • 多言語対応: 学習データは160以上の言語にわたり、主に英語・スペイン語・ポルトガル語・ドイツ語・フランス語・中国語・日本語・ロシア語・韓国語の9言語で構成されています。
  • 長時間の全二重学習データ: 最長60分の全二重対話データで学習しており、長い会話の流れも学習しています。
  • キャラクターと声の制御: テキストプロンプトと参照音声によって、人物設定・話し方・声質のカスタマイズが可能です。
  • 事前学習済みベースモデルの公開: モデルの重み（Hugging Face）・コード（GitHub）・デモを公開しています。

日本語対応の全二重音声対話オープンモデル

日本語で使えるオープンな全二重音声対話モデルとしては、J-Moshi 1 が初めて公開され、続いてLLM-jp-Moshi 2 が公開されました。どちらも、英語の全二重音声対話モデルMoshi（7Bパラメータ）3 をベースに、約7万時間の日本語音声対話データ（J-CHAT 4 など）で追加学習したモデルです。

Haruは、日本語に対応したオープンな全二重音声対話モデルとして2番目のモデルシリーズです。モデルサイズは4BパラメータとMoshiベースのモデル（7B）より小さい一方、4,000万時間以上の音声で事前学習しており、学習データの規模を大幅に拡大しています。また、ベースLLMには、英語中心のLLM（MoshiのHelium）ではなく、多言語に対応したより新しいLLMであるQwen3.5-4B 5 を採用しました。学習データとベースLLMの両方を改善したことで、より自然な対話を実現しています。

1. アーキテクチャ：7.5 Hzのネイティブ全二重

Haru-4BはQwen3.5-4B 5 をベースに、入力音声と出力音声を1つの言語モデルの中で同時に処理するよう設計しています。低いフレームレートの連続音声表現、同期したマルチストリーム処理、効率的な1ステップ生成を組み合わせたアーキテクチャです。

音声対話のモデル化の4方式：カスケード型、ターン制、インターリーブ型、マルチストリーム型

ネイティブ全二重のマルチストリームモデリング。 Haruは、ユーザーの入力音声、モデルの出力音声、モデルのテキストという3つのストリームを同期させて扱います 3 6。3つの埋め込みを要素ごとに足し合わせ、共有の言語モデルで処理します。これにより、3つのストリームのトークンを交互に並べることなく 7 8、聞くことと話すことを同時に行えます 9。交互に並べる場合と比べてコンテキスト長を1/3に削減でき、テキストのストリームも途切れません。

音声生成の3方式：離散トークン、反復的なフロー、1ステップの連続生成

7.5 Hzの連続音声トークン。 多くの音声言語モデルは離散的な音声トークンを用います。こうしたトークンは残差ベクトル量子化（RVQ）10 11 で作られることが多く、1フレームの音声を複数のコードブックのインデックスで表します。一方Haruは、わずか7.5 Hzの64次元の連続音響潜在表現を用います 12。1トークンがおよそ133 msの音声に相当し、離散コードブックを使わず、低いトークンレートで動くため、学習と推論でLLMが逐次処理するステップ数の削減が可能です。

1ステップの連続音声生成。 Haruは、言語モデルの隠れ状態から連続音響トークンを直接生成します。生成には、next-latent diffusionの枠組み 13 14 15 の中で軽量な多層パーセプトロン（MLP）を用います。生成ヘッドは主にFlow Matching 16 で学習し、学習と推論を効率化するためにMeanFlowで蒸留します 17 18。推論時には、各音響トークンを1回のサンプリングで生成します。フローの反復サンプリングも、音響用の追加のTransformerも必要ありません。

テキストの対応付けの2方式：トークン単位とチャンク単位

チャンク単位のテキストアライメント。 Haruはテキストと音声をトークン単位で対応付けるのではなく、テキストをチャンク単位で表します 6。各チャンクの後にはパディングが続き、発話の開始を予測するための専用のパディング終了トークンを置きます。これにより、テキストと音声で異なる時間解像度の差を吸収しつつ、ストリーム間の同期を保てます。事前学習済み言語モデルの知識が失われる破滅的忘却も抑えられます。

これらの設計により、大規模な音声事前学習を効率的に実施しました。また、推論も音声の自己回帰ステップが1秒あたり7.5回で済むため、ローカルのハードウェアでも低遅延のリアルタイムの全二重対話が可能になります。

2. 4,000万時間の実音声による事前学習のスケーリング

自然な対話の流れを学ぶには、大規模な実環境の音声が欠かせないと私たちは考えています。合成した会話と違い、実際の録音には自然に起こる割り込み・言いよどみ・相づち・発話の重なり・不規則な話者交替が含まれています。

Haru-4Bは、160以上の言語にわたる 4,000万時間以上の音声 で事前学習しており、そのうち9言語を主要言語としています。人間らしい会話のパターンを学ぶため、LLMで生成した対話やTTSで合成した音声は、学習データからあえて除外しています。

事前学習は2段階で行います。

Stage 1: シングルチャンネル音声の事前学習

まず、次のタスクを混合して学習し、Qwen3.5-4Bを音声に適応させます。

  • 音声認識：音声と言語の表現を結び付けます。
  • 音声とテキストの続き生成：連続音声のモデル化と生成を学びます。
  • テキストのみの継続学習：事前学習済み言語モデルの知識が失われる忘却を軽減します 19。

Sidonによる音声修復。 学習に使う音声の大部分は、Sidon 20 で処理して、クリーンな音声に復元しています。大規模な音声前処理を高速化するため、Sidon向けに最適化したTritonカーネルもオープンソースで公開しました：Sidon-Triton。

Stage 2: 全二重の事前学習

全二重データの再構成。 大規模な全二重学習には、話者ごとに同期した音声ストリームが必要です。しかし、実際の会話の録音データはほとんどが1チャンネルに混合しています。そこで、音声分離と音声修復を同時に高速で実施するモデル FastDialogueSidon を開発しました。FastDialogueSidonは混合した会話の録音を、時間的に整列した全二重のストリームに高速変換します。FastDialogueSidonのモデルおよび実装も公開しています：FastDialogueSidon。

長時間・大規模な全二重学習。 分離した全二重対話データを 1,300万時間以上 用いて学習しています。学習サンプルには 最長60分 の会話が含まれており、長い話者交替や発話の重なりを含む、長期的な会話の流れを学習しています。

キャラクターと声の指定。 学習サンプルごとに人物設定プロンプトを生成し、同じ話者の参照音声を条件として音声を生成します。これにより、テキストプロンプトと参照音声で、キャラクターの性格や声質の制御が可能です。

3. 効率的な大規模事前学習とリアルタイム推論

3.1. 前処理と学習の最適化

音声前処理の高速化。 数千万時間規模の音声を処理するには、膨大な計算資源が必要です。ニューラル音声コーデック・Sidon・FastDialogueSidonといった前処理モデルを独自のTritonカーネル 21 で最適化し、大規模なデータ前処理を大幅に高速化しました。

大規模分散学習。 Haru-4Bの事前学習は、NVIDIA B200 GPU 256基を約8日 かけて実施しました。学習基盤はMegatron-LM 22 をベースに、大規模な音声事前学習を効率化する最適化を実施しています。

3.2. リアルタイム推論の最適化

Apple Siliconでの超低遅延推論。 Apple M1 Max搭載のMacBookで、独自のMetalカーネルで最適化したネイティブのSwiftアプリを使い、約 65 ms のEnd-to-End遅延を実現しました。この値には、音響エンコード、言語モデルの推論、音声デコード、有線マイクとヘッドホンの入出力が含まれ、音声フレーム化による遅延は含みません。トークンレートが7.5 Hzのため、音声フレーム化によって最大133 msのアルゴリズム遅延が加わります。

int8の重みを使った場合の内訳は次のとおりです。

区間 遅延（int8）
入力（マイク → アプリ） 5.3 ± 0.0 ms
モデル1ステップ 34.2 ± 0.5 ms
ソケットと受け渡し 4.1 ± 0.3 ms
出力待ち（マージン15 msと余り） 13.3 ± 1.5 ms
出力（アプリ → ヘッドホン） 8.1 ± 0.2 ms
合計（p50） 65.2 ± 1.5 ms

GPUでの高性能な推論サーバー。 vLLM-Omni 23 24 によるGPUでの運用にも対応しています。NVIDIA B300 GPUでは、音声のエンコード・デコードと言語モデルの1ステップを合わせて約 15 ms で処理が可能です。

これらの最適化により、大規模な事前学習を効率的に実施できるだけでなく、Apple SiliconやGPUサーバーでも、低遅延なリアルタイム全二重対話が可能になっています。

4. デモ

2チャンネルで収録された対話データを学習せずに、分離した音声のみで事前学習したモデルで相づちや発話の重なりを含む自然な対話を実現しています。

経済についての雑談（日本語）。 待ち合わせをしていた大学の同級生と、経済について雑談する場面です。Haruは相手の話に合わせて相づちを入れながら自然に受け答えし、感情の込め方や話す速さも文脈に合わせて自動で調整します。

子育てに関する雑談（日本語）。 子育ての方法について雑談する場面です。話題に合わせて共感したり、結論を強調したり、ユーザーの冗談に笑ったりと、人間らしい自然な応答をします。発話が重なる場面の多い会話でも、やり取りが途切れません。

投資に関する相談（英語）。 ファイナンシャルアドバイザーとの投資に関する会話です。Haruはユーザーの発言の内容や意図を汲み取り、論理的でバランスの取れたアドバイスをします。自然な会話のテンポを保ちながら、文脈に沿った一貫した応答を返します。最初はフランクな会話スタイルで始まり、話題がシリアスになるにつれて、話し方がよりプロフェッショナルに変わっていきます。

5. 今後の取り組み

Haru-4Bは、大規模事前学習済みの基盤モデルとして公開していますが、今後、より会話能力を高め、音声以外にもリアルタイムの対話を拡張するため、いくつかの方向で研究を進めています。

2チャンネルデータ学習。 分離した音声を用いることで全二重対話の事前学習の大規模化が可能ですが、発話が重なる部分を中心に分離の誤りやノイズが残ることがあります。そこで、より自然な全二重対話を目指し、2チャンネルで収録された全二重の会話でHaruのファインチューニングを進めています。また、全二重の対話生成モデルと音声生成モデルも開発しています。これらで自然な全二重の合成データを作成し、応答の質、会話の多様性、キャラクターに沿った対話の能力を高めることに取り組んでいます。

100B超のパラメータへのスケールアップ。 Haru-4Bは効率的な全二重音声モデリングを実現しましたが、言語モデルの規模が比較的小さいため、応答の質には限界があります。私たちはすでに、100Bパラメータを超える、より大きな全二重モデルの事前学習を進めています。自然な会話のタイミングと、より高い言語理解力・知識の両立を目指しています。

オムニモーダルな全二重対話。 人同士のやり取りは音声だけに限定されません。視覚的な文脈、表情、非言語的な合図も、自然な会話を支えています。現在、アーキテクチャを拡張してリアルタイムに映像を入力し、見て・聞いて・話すことを途切れなく行えるオムニモーダルな全二重対話モデルの構築を目指しています。

今後の研究のためのオープンな基盤。 より詳しいテクニカルレポートと学習コードを公開する予定です。

ネイティブ全二重の音声対話モデルは、人とAIのより自然なコミュニケーションに必要不可欠な技術であると考えています。全二重対話モデルの研究開発に興味をお持ちの方は、ぜひご連絡ください： contact@higurashi.ai

6. 謝辞

Haru-4Bの開発は、経済産業省と新エネルギー・産業技術総合開発機構（NEDO）が主導する Generative AI Accelerator Challenge（GENIAC）、および Amazon Web Services（AWS） の支援を受けて実施されました。

参考文献

  1. A. Ohashi, S. Iizuka, J. Jiang, and R. Higashinaka, “Towards a Japanese full-duplex spoken dialogue system,” in Proc. Interspeech, 2025. ↩︎

  2. Y. Abe, M. Saeki, A. Ohashi, S. Takamichi, S. Fujie, T. Kobayashi, T. Ogawa, and R. Higashinaka, “Effects of dialogue corpora properties on fine-tuning a Moshi-based spoken dialogue model,” in Proc. International Workshop on Spoken Dialogue Systems (IWSDS), 2026. ↩︎

  3. A. Défossez et al., “Moshi: A speech-text foundation model for real-time dialogue,” arXiv preprint arXiv:2410.00037, 2024. ↩︎ ↩︎

  4. W. Nakata, K. Seki, H. Yanaka, Y. Saito, S. Takamichi, and H. Saruwatari, “J-CHAT: Japanese large-scale spoken dialogue corpus for spoken dialogue language modeling,” in Proc. Language Resources and Evaluation Conference (LREC), 2026. ↩︎

  5. Qwen Team, “Qwen3.5-4B,” model card, Hugging Face, 2026. [Online]. Available: https://huggingface.co/Qwen/Qwen3.5-4B ↩︎ ↩︎

  6. Y. Yao et al., “FLM-Audio: Natural monologues improves native full-duplex chatbots via dual training,” arXiv preprint arXiv:2509.02521, 2025. ↩︎ ↩︎

  7. B. Veluri, B. N. Peloquin, B. Yu, H. Gong, and S. Gollakota, “Beyond turn-based interfaces: Synchronous LLMs as full-duplex dialogue agents,” in Proc. Conference on Empirical Methods in Natural Language Processing (EMNLP), 2024. ↩︎

  8. Q. Zhang et al., “OmniFlatten: An end-to-end GPT model for seamless voice conversation,” in Proc. Annual Meeting of the Association for Computational Linguistics (ACL), 2025. ↩︎

  9. T. A. Nguyen et al., “Generative spoken dialogue language modeling,” Transactions of the Association for Computational Linguistics, vol. 11, 2023. ↩︎

  10. N. Zeghidour, A. Luebs, A. Omran, J. Skoglund, and M. Tagliasacchi, “SoundStream: An end-to-end neural audio codec,” IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 30, 2022. ↩︎

  11. A. Défossez, J. Copet, G. Synnaeve, and Y. Adi, “High fidelity neural audio compression,” Transactions on Machine Learning Research, 2023. ↩︎

  12. Z. Peng et al., “VibeVoice: Expressive podcast generation with next-token diffusion,” in Proc. International Conference on Learning Representations (ICLR), 2026. ↩︎

  13. T. Li, Y. Tian, H. Li, M. Deng, and K. He, “Autoregressive image generation without vector quantization,” in Advances in Neural Information Processing Systems (NeurIPS), 2024. ↩︎

  14. Y. Sun et al., “Multimodal latent language modeling with next-token diffusion,” arXiv preprint arXiv:2412.08635, 2024. ↩︎

  15. S. Rouard, M. Orsini, A. Roebel, N. Zeghidour, and A. Défossez, “Continuous audio language models,” in Proc. International Conference on Learning Representations (ICLR), 2026. ↩︎

  16. Y. Lipman, R. T. Q. Chen, H. Ben-Hamu, M. Nickel, and M. Le, “Flow matching for generative modeling,” in Proc. International Conference on Learning Representations (ICLR), 2023. ↩︎

  17. Z. Geng, M. Deng, X. Bai, J. Z. Kolter, and K. He, “Mean flows for one-step generative modeling,” in Advances in Neural Information Processing Systems (NeurIPS), 2025. ↩︎

  18. Z. Geng, Y. Lu, Z. Wu, E. Shechtman, J. Z. Kolter, and K. He, “Improved mean flows: On the challenges of fastforward generative models,” in Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026. ↩︎

  19. A. Ibrahim et al., “Simple and scalable strategies to continually pre-train large language models,” Transactions on Machine Learning Research, 2024. ↩︎

  20. W. Nakata, Y. Saito, Y. Ueda, and H. Saruwatari, “Sidon: Fast and robust open-source multilingual speech restoration for large-scale dataset cleansing,” in Proc. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2026. ↩︎

  21. P. Tillet, H. T. Kung, and D. Cox, “Triton: An intermediate language and compiler for tiled neural network computations,” in Proc. ACM SIGPLAN International Workshop on Machine Learning and Programming Languages (MAPL), 2019. ↩︎

  22. M. Shoeybi, M. Patwary, R. Puri, P. LeGresley, J. Casper, and B. Catanzaro, “Megatron-LM: Training multi-billion parameter language models using model parallelism,” arXiv preprint arXiv:1909.08053, 2019. ↩︎

  23. W. Kwon et al., “Efficient memory management for large language model serving with PagedAttention,” in Proc. ACM Symposium on Operating Systems Principles (SOSP), 2023. ↩︎

  24. vLLM-Omni Team, “vLLM-Omni technical report: A unified serving runtime for omni-modality generation,” arXiv preprint arXiv:2610.09307, 2026. ↩︎