本文へ移動
相談する

BLOG

Haru-4Bとは。聞きながら話す音声AIの仕組みと限界

相手が話し終えるまで待たず、話している間も聞き続けるHaru-4B。日本語の公式デモでは、二人の声が重なる会話を確かめられます。約65msという速さが表す範囲と、音声を区切る待ち時間を分けると、自然な応答を支える仕組みと課題が見えてきます。

higurashiのHaru-4B公式デモから、二つの音声波形が重なる部分を抜粋した画像。発話の重なりを示す水色と紫色の波形が並ぶ。

「話し終えてから答える」だけでは、会話の間を扱いにくい

相手の説明に短く相づちを打つ。話の途中で「そこではなくて」と訂正する。会話には、発言を一つずつ順番に渡すだけでは表しにくい動きがあります。音声AIでも、相手が話し終えるまで入力をまとめ、返答を作ってから読み上げる構成だけでは、この間を扱うことが難しくなります。

higurashiが2026年11月13日に公開したHaru-4Bは、音声を受け取り、音声で返す対話モデルです。特徴は、聞く流れと話す流れを同時に保つ「全二重」です。日本語を含む多言語に対応し、事前学習済みの基盤モデルの重みと推論コードを公開しています。

何でも正確に答える完成済みのアシスタントという位置付けではありません。会話のタイミングを学習する仕組みとして何が新しく、自然に聞こえることから何までは言えないのかを、分けて見ていきます。

higurashiのHaru-4B公開記事

まず、公式デモで二人の声が重なるところを見る

下の動画は、開発元が公開している日本語の会話デモです。上下二つの音声波形が同じ時刻に動く場面や、短い相づち、相手へ話す順番を渡す間に注目してください。本文から移動せず、そのまま再生できます。

higurashiによる日本語の公式デモ。波形・注釈を含む映像をそのまま参照しています。発言内容の正確さや、他の条件での性能を保証するものではありません。動画ファイルは公式サーバーから読み込みます。出典:Haru-4B公式記事

これは会話の振る舞いを示す一例です。デモが滑らかに聞こえることは、すべての話者や騒音環境で同じように動くこと、発言の内容が正しいことを保証しません。比較評価の代わりにするのではなく、何を確かめるモデルなのかを理解する材料として見ます。

出典:日本語の公式デモ

全二重とは、入力と出力を止めずに並行して流すこと

全二重という言葉は、送ることと受け取ることを同時に行う通信を指します。音声対話では、AIの音声を再生している間も、利用者の声を受け取り続けることです。「入力中は出力できない」「出力中は入力を捨てる」という切り替えを、対話全体の前提にしません。

利用者とAIの音声が重なる架空の波形。同じ区間の利用者音声、AI音声、AIテキストを一つの位置にまとめ、次の区間の音声とテキストを生成する。
公開実装をもとに作成した概念図。波形は説明用です。AI側のこの区間の音声・テキストは直前の処理で生成済みで、利用者の入力を受けて次の区間へ進みます。

Haruは約133msごと、1秒に7.5回の区間で進みます。利用者の音声、この区間に流すAIの音声、AI側のテキストという三つを、計算用の数値表現に変えて足し合わせます。共有する言語モデルの一つの位置にまとめ、次の区間のテキストと音声を予測する構成です。土台にはQwen3.5-4Bを使います。

テキストは音声に合わせて1文字ずつ進むのではなく、まとまりで扱います。テキストを出さない区間には埋め草の記号を置き、発話開始に関わる専用の記号も使います。ただし、テキストがない区間が必ず無音とは限りません。公開実装では、文字を出すかどうかとは別に、各区間の音声を生成しています。

「同時に聞いて話す」は、未来の音を先に知ることではありません。公開実装では、受け取った利用者の1フレームを処理し、次のモデルフレームを出す順序になっています。音声が重なっていても入力を続けられることと、すぐに適切な相づちを選べることは、別の性質です。

公開実装:フレームごとの入力と出力

音声のトークンは、文字や単語とは限らない

音声の波形をそのまま言語モデルへ大量に渡す代わりに、短い区間の音を特徴のまとまりへ変えます。この圧縮と復元を担う仕組みが音声コーデックです。HaruではVibeVoice由来のコーデックを使い、24kHzの音声3,200サンプル、約133msを64個の数値で表します。これが1区間の連続音響表現です。

離散的な音声トークンは、用意した候補の中から番号を選んで音を表します。一方、この連続表現は数値の列を直接予測します。声の高さや響きを、あらかじめ決めた一つの単語へ置き換えているわけではありません。前に紹介した画像トークンと同様、「トークン」と呼ぶ単位が何をまとめているのかを見る必要があります。

音声を作るときは、言語モデルの出力を軽量な生成ヘッドへ渡します。HaruはMeanFlowを使い、音響表現を1回のサンプリングで作る構成です。音声用の別のTransformerを重ねたり、同じ音響表現を何度も反復生成したりする処理を抑えています。ただし「1ステップ」は、録音から再生までの全処理が一つの計算で済むという意味ではありません。音声の変換、言語モデルの処理、波形の復元は必要です。

モデルカード:音声表現と生成ヘッド

実際の会話を学ぶために、録音を話者ごとの流れへ分ける

会話のタイミングを学ぶには、文章の答えだけでは足りません。どこで短く返し、どこで黙り、声が重なったときにどう続けたかも手掛かりになります。開発元は、4,000万時間以上の実音声で事前学習し、その後の全二重の学習には1,300万時間以上の分離した対話を使ったと説明しています。二つの数字を足して、独立した録音が5,300万時間あると解釈することはできません。

課題は、通常の録音では複数の人の声が一つに混ざっていることです。FastDialogueSidonは、二人の会話を時間の対応を保った別々の音声へ分けるためのモデルです。元の会話にあった重なりを残しながら、入力側と出力側として使える学習データを用意します。

ここでの「実音声」は、録音を無加工で使うことではありません。音声の分離や修復は行っています。分離の誤りも残り得るため、開発元は、最初から話者ごとに収録した2チャンネルの対話による追加学習を今後の改善として挙げています。また、最長60分の学習サンプルを使ったことは、60分の会話を常に正確に記憶できるという評価結果とは異なります。

公式解説:学習データと音声の分離

約65ms。ただし、133ms単位に区切る待ちは別にある

開発元は、M1 Maxを搭載したMacBookで、int8の重みと有線のマイク・ヘッドホンを使った場合、遅延の中央値(p50)が65.2msだったと報告しています。音声の入出力、モデル処理、受け渡し、再生の待ちを含む測定です。

M1 Maxの測定で報告された65.2msの内訳と、その測定に含まれない約133ms単位のフレーム化。発話への応答時間と同一視しない構成図。
開発元の公表値を図示。M1 Max、int8、有線機器の条件です。内訳と合計は、それぞれの公表値を表示しています。最大約133msのフレーム化の待ちは65msとは別で、両者の合計を実測した会話応答時間として示しているわけではありません。出典:higurashiの測定表

大切なのは、音をフレームに区切ることで加わる最大約133msの遅延が、この数字に含まれていないことです。公開アプリの説明も、入力フレームの最後のサンプルから、その入力に対応するモデルフレームの最初のサンプルまでを測るとしています。「こちらが話し始めてから、あるいは話し終えてから、必ず65msで返答する」という数値ではありません。

音声対話の体感速度は、計算時間だけで決まりません。無線イヤホンや端末の音声処理、ネットワーク経由の運用、話すタイミングの選択も関わります。測定した機器、精度、区間をそろえずに、別のサービスの応答時間と直接比べることはできません。この数字は開発元の報告であり、Stampによる再測定ではありません。

公式アプリ:遅延を測る区間と音声機器の条件

MacでもGPUサーバーでも試せるが、動かし方と測るものが違う

公開コードには、PyTorchによる実装とWebデモ、Apple Silicon向けのMLX実装とmacOSアプリ、vLLM-Omniへ接続するサーバー用の実装があります。macOSアプリは、Swift側が音声の入出力を扱い、モデルの推論は起動したPythonのMLXプロセスで行います。見た目がネイティブアプリだからといって、モデルの処理がすべてSwiftで書かれているわけではありません。

公式のmacOSアプリ説明では、モデルはディスク上で約10GB、メモリ16GBが実用上の最低ラインとされています。GPU向けの簡易起動手順は、およそ12GBのGPUメモリを想定しています。これは公式の目安であり、他のアプリとの同時利用や運用条件まで保証する上限ではありません。

開発元はB300上で、音声の変換と生成を含むモデル1ステップを約15msで処理できるとも報告しています。しかし、これはサーバー側の処理時間で、利用者のマイクからヘッドホンまでを含むMacの65msとは測定範囲が違います。数字を並べて、体感の返答がその比率だけ速くなるとは言えません。

公開リポジトリー:実装と利用環境

自然な声と、正しい回答をするアシスタントは別のもの

モデルカードは、Haru-4Bを研究向けの事前学習済みベースモデルと位置付けています。自然に会話できても、事実を信頼して取り出せる情報源ではなく、アシスタントのように指示へ従うモデルでもない、と明記しています。

流暢な声、共感するような相づち、落ち着いた説明は、回答を正しく感じさせることがあります。しかし、会話のテンポが改善したことから、知識の正確さや業務手順を守る能力までは導けません。今回確認した公開資料では、会話の正確さや指示への忠実さを同じ条件で他モデルと比べた数値は見つかりませんでした。

学習音声には160以上の言語が含まれると発表されていますが、モデルカードが対応として挙げるのは日本語など9言語です。学習データに含まれることと、あらゆる言語で同じ品質を確認したことも区別します。

人物設定と参照音声で話し方や声を指定できますが、公開物に声のクリップは同梱されていません。自分で用意し、使用する権利のある音声だけを使う必要があります。声を似せられる能力と、その人物として発言してよいことは別です。

モデルカード:ベースモデルとしての限界

導入の判断では、間・内容・機器を分けて確かめる

Haruが開く可能性は、音声で命令を入力するだけでなく、相づちや途中の訂正を含めてやり取りできることです。語学練習や対話インターフェースの試作では、内容を固定した台本だけでなく、言い直しや発話の重なりを含む条件を試す意味があります。これは仕組みから考えられる用途で、完成済みの製品機能を示すものではありません。

評価は三つに分けられます。第一に、話し始めるタイミングや割り込みへの反応。第二に、回答の正確さと必要な指示を守ること。第三に、使うマイク・出力機器・実行環境での遅延や音の途切れです。一つの平均値や、よくできたデモだけでまとめて判断せず、実際の利用者や環境で別々に確かめます。

公開コードと重みがApache License 2.0で提供されていることは、こうした試作や追加学習の入口になります。一方、映像も含む全二重対話や、100Bを超える大規模モデルは、発表時点では開発元が今後の方向として示したものです。現在公開されているHaru-4Bの機能と分けて見ます。

公開物のライセンスと実装