Macで完全ローカル音声チャットAIを作ってみた - Qwen3-ASR + Ollamaでオフライン動作

こんにちは。
AIソリューション事業部のAIおじさんです。
エンジニアではないのですが、AI好きのおじさんとして便利ツールを作ったりしています。

自分のPCに話しかけたら、AIが答えてくれる。しかもクラウドを一切使わず、完全に手元だけで動く。

これ、ロマンじゃないですか？

前回の記事でOllama + Qwen3を使ったローカルLLM環境を構築しました。記事の最後に「次は音声会話に挑戦したい」と書いたので、今回はその続編です。

Qwen3-ASR（音声認識）と Ollama（ローカルLLM）を組み合わせて、完全オフラインで動く音声チャットAIを作ってみました。Apple Silicon Mac で動かしているので、MチップのMacユーザーの参考になれば。

作りたいもの

最終的に目指しているのはこんな構成です。

┌─────────────┐     ┌─────────────┐     ┌─────────────┐     ┌─────────────┐
│   マイク     │────▶│  STT        │────▶│  LLM        │────▶│  TTS        │
│   入力      │     │ (Qwen3-ASR) │     │ (Ollama)    │     │ (Qwen3-TTS) │
└─────────────┘     └─────────────┘     └─────────────┘     └─────────────┘
                          │                   │                   │
                          ▼                   ▼                   ▼
                    テキスト変換         応答生成            音声再生

今回は STT（音声認識）→ LLM（応答生成） までを実装しました。TTSは次回以降で追加予定です。

STT（Speech-to-Text）とは

STTは「Speech-to-Text」の略で、音声をテキストに変換する技術です。日本語では「音声認識」とも呼ばれます。

身近な例だと：

• iPhoneの音声入力
• YouTubeの自動字幕
• Alexaやスマートスピーカー

これらはすべてSTT技術を使っています。

クラウドSTT vs ローカルSTT

今回使う Qwen3-ASR は、ローカルで動作しながらも52言語に対応しており、日本語の認識精度も高いモデルです。

ローカルLLMとは

LLM（Large Language Model）は、ChatGPTのようにテキストで会話できるAIモデルのことです。

通常、ChatGPTやClaudeを使うにはインターネット経由でAPIを叩く必要がありますが、ローカルLLMは自分のPC上でモデルを動かします。

ローカルLLMのメリット

• 完全オフライン: ネットなしで動く
• プライバシー: 会話内容が外部に送信されない
• 無料: API料金がかからない
• カスタマイズ: ファインチューニングも自由

Ollamaとは

Ollamaは、ローカルLLMを簡単に動かすためのツールです。前回の記事でセットアップ方法を詳しく書きましたが、簡単におさらいすると：

# 公式サイトからダウンロード（Homebrew版はQwen3と相性問題あり）
curl -L -o /tmp/Ollama.zip "https://ollama.com/download/Ollama-darwin.zip"
unzip -o /tmp/Ollama.zip -d /tmp/
mv /tmp/Ollama.app /Applications/
open /Applications/Ollama.app

# モデルをダウンロードして実行
ollama run qwen3:4b-instruct

注意: Homebrew版のOllamaはQwen3でMetal周りのエラーが出ることがあります。公式版を使いましょう。

Ollamaが対応しているモデルは多数あり、今回は日本語性能が良い Qwen3 シリーズを使いました。qwen3:4b-instruct はThinking機能がないシンプル版で、即座に回答が返ってきます。

HuggingFaceとは

HuggingFaceは、AIモデルの「GitHub」のような存在です。

世界中の研究者や企業が作ったAIモデルが公開されていて、誰でも無料でダウンロードして使えます。今回使う Qwen3-ASR も HuggingFace で公開されています。

https://huggingface.co/Qwen/Qwen3-ASR-1.7B

モデルをダウンロードするには、Pythonライブラリ経由で自動取得するか、huggingface-cli を使います。今回は qwen-asr ライブラリが初回実行時に自動でダウンロードしてくれるので、特に意識する必要はありません。

使った技術

全部ローカルで完結するので、ネット環境がなくても動きます。

環境構築

1. Miniforgeをインストール

Python環境の管理には Miniforge（conda）を使いました。

brew install --cask miniforge
conda init zsh
# ターミナルを再起動

2. Python環境を作成

conda create -n voice-ai python=3.12 -y
conda activate voice-ai

3. 必要なライブラリをインストール

# PyTorch（Apple Silicon用）
pip install torch torchvision torchaudio

# Qwen3-ASR と Ollama クライアント
pip install -U qwen-asr ollama

# 音声入出力用
pip install sounddevice soundfile

4. Ollamaのセットアップ

前回の記事でセットアップ済みの場合はスキップしてOK。まだの場合は公式版をインストールします。

# 公式版をダウンロード＆インストール
curl -L -o /tmp/Ollama.zip "https://ollama.com/download/Ollama-darwin.zip"
unzip -o /tmp/Ollama.zip -d /tmp/
mv /tmp/Ollama.app /Applications/
open /Applications/Ollama.app

# モデルをダウンロード
ollama pull qwen3:4b-instruct

これだけで準備完了です。STTモデル（約3.4GB）は初回実行時にHuggingFaceから自動ダウンロードされます。

実装したもの

プロジェクト構造

local_llm_dev/
├── src/
│   ├── stt.py          # 音声認識エンジン
│   ├── llm.py          # LLMラッパー（ストリーミング対応）
│   └── pipeline.py     # STT→LLM統合パイプライン
└── examples/
    ├── record_and_transcribe.py  # 録音→認識
    └── voice_chat.py             # 音声チャット

STTエンジン

src/stt.py では、Qwen3-ASRをラップした STTEngine クラスを実装。Apple Silicon の場合は自動で MPS（Metal Performance Shaders）を使うようにしています。

from src.stt import STTEngine

with STTEngine() as engine:
    result = engine.transcribe("audio.wav", language="Japanese")
    print(result["text"])

ポイントは dtype の自動変換。MPS は bfloat16 に対応していないので、自動で float16 に変換しています。

「こんんいちは。お元気ですか」と話しかけてみました。

ちゃんと音声認識してテキストに変換されています。

LLMエンジン

src/llm.py では Ollama を使った LLMEngine クラスを実装。会話履歴の管理とストリーミング出力に対応しています。

from src.llm import LLMEngine

llm = LLMEngine(model="qwen3:4b-instruct")

# 通常の応答
response = llm.chat("こんにちは！")
print(response)

# ストリーミング
for chunk in llm.chat_stream("今日の天気は？"):
    print(chunk, end="", flush=True)

パイプライン

src/pipeline.py で STT と LLM を繋いで、一連の流れを実現しています。

マイク入力 → 録音 → STT → テキスト → LLM → 応答

動かしてみた

音声チャットを起動

conda activate voice-ai
python examples/voice_chat.py --stream

実際の動作

🎤 録音: 5秒
📝 認識結果: こんにちは。お元気ですか。今何をしています。
🤖 LLM応答: こんにちは！お元気です。今、日本語でお手伝いしています。

5秒制限をつけているため、いま何をしています「か？」の前に切れてしまいました。

ちゃんと日本語を認識して、自然な返答が返ってきました。

自分のPCに話しかけて、ローカルで動いているAIが答えてくれる。この体験、なかなか感動します。

テキストモードでデバッグ

マイクなしで試したい場合はテキストモードも用意しています。

python examples/voice_chat.py --text-mode

技術的なポイント

Apple Silicon での動作

• デバイス: MPS（Metal Performance Shaders）を使用
• dtype: bfloat16 → float16 に自動変換（MPS非対応のため）
• メモリ: Unified Memory なので VRAM を気にしなくていい

モデルサイズ

• Qwen3-ASR-1.7B: 約3.4GB（HuggingFaceから初回ダウンロード）
• qwen3:4b-instruct: 約2.5GB（Ollama経由）

16GB メモリの Mac なら余裕で動きます。

まとめ

前回構築した Ollama + Qwen3 環境に、Qwen3-ASR を追加して音声入力に対応させました。Apple Silicon Mac 上で完全ローカルな音声チャットAIが動いています。

正直、実用性だけで言えばChatGPTのアプリで音声会話すればいい話です。でも、自分のマシンだけで完結する音声AIを動かすというロマン。これが楽しいんですよね。

今後やりたいこと:

• TTS（Qwen3-TTS）を追加して音声で応答させる
• リアルタイム認識の改善
• より自然な会話フロー

完全ローカルでの音声AIは、思ったより手軽に始められます。興味のある方はぜひ試してみてください。

参考

• Qwen3-ASR - HuggingFace
• qwen-asr - PyPI
• Ollama
• HuggingFace