何をしているのか
前回の記事の続きです。雑誌の付録「サウンドミニアーケードスティック」に入っている音声を、再生可能なファイルとして取り出せないか調べています。
今回は Claude Code(Claude Fable 5.2)を使用して調査を行っています。節目ごとに結果をまとめた文書を ChatGPT に確認してもらいました。この記事は Claude に草稿を書いてもらい、私が修正しました。
前回はフラッシュメモリのダンプから286個のデータを切り出し、すべてをキャラクターとボタン操作に対応付けるところまででした。圧縮データをWAVに変換するデコーダーはまだできていませんでした。
今回、286個の音声をすべてWAVに変換できました。 圧縮形式は、MP3(MPEG-2 Layer III)をもとにした独自の形式でした。ハフマン符号や逆変換はMP3そのままですが、フレームヘッダーとフレームの長さを省き、代わりに独自の個数フィールドを入れて詰め直してあります。変換した音声は5つの音声について実機の出力波形と照合し一致を確かめています。
なお、取り出した音声そのものは著作物なのでここでは公開しません。書くのは形式と調べ方だけです。
前回の「未確定の点」への答え
前回の記事の最後に未確定の点を5つ挙げました。先に答えを並べておきます。
| 前回の未確定の点 | 今回分かったこと |
|---|---|
| 圧縮符号の正確な構造 | MP3(MPEG-2 Layer III)がもと。ハフマン表は標準のもの。フレームの区切り方だけが独自 |
| フレームや記号の境界 | 1フレーム=576サンプル。終わりは4ビットの個数フィールドと、ライン数の上限で決まる |
| サンプル数とサンプリング周波数 | 形式は16 kHz用だが、実機は約17,980 Hzで再生している |
| 量子化値や予測処理 | MP3の量子化とスケールファクターそのまま。予測処理はない |
| 音声を合成するフィルターなどの処理 | MP3の逆変換(IMDCTと合成フィルターバンク)。一般のデコーダーで再現できる |
前回は「独自のSubband系形式かもしれない」と考えていました。帯域に分けて音を表すという見立ては合っていました。今回分かったのはMP3と同じハフマン表やスケールファクターを使いながら、フレームの終わりを独自の規則で表していたことです。Rice符号やExp-Golomb符号の仮定も外れです。また、次の手として考えていた「一部を書き換えたデータを予備のフラッシュに書いて出力の変化を見る実験」はやらずに済みました。
手がかりは51ビットと32ミリ秒
前回の時点で手がかりは2つありました。
1つはデータの中に繰り返し現れる51ビットの並びです。もう1つは実機の読み出し方です。再生中、実機は約32 msごとに16ビット単位でフラッシュを少しずつ読みます。1回に読む量は毎回違います。
つまり「約32 msぶんの音が長さの決まっていない1かたまりに入っている」形式です。
もとになっていたのはMP3だった
MP3の構造を当てはめてみたところきれいに読めました。
音声データは、MP3(MPEG-2 Layer III、16 kHz用のバンド表、モノラル)のデータを次のように削って詰め直したものでした。
- 同期ワードを含むフレームヘッダーがない。
- スケールファクターとハフマン符号化データを合わせたビット長を示す項目(part2_3_length)がない。代わりに、後で述べる独自の個数フィールドがある。
- フレームはバイト境界に揃えず、ビット単位で隙間なく並ぶ。
- 1フレームは576サンプル(1グラニュール)。
前回書いた各データの先頭にあるA7 00 48の3バイトのあとに、フレームが続きます。各フレームの先頭にはMP3のサイド情報にあたる項目が並びます。
| 項目 | ビット数 |
|---|---|
| big_values | 9 |
| global_gain | 8 |
| scalefac_compress | 1+4 または 1+9 |
| window_switching_flag | 1 |
| ブロック種別や表の選択など | 22 |
| scalefac_scale | 1 |
| count1table_select | 1 |
そのあとにスケールファクター、ハフマン符号化された周波数成分が続きます。
51ビットの並びの正体も分かりました。無音のフレームです。ヘッダー47ビットに4ビットを足すと51ビットになります。
形式が分かれば変換の方針は決まります。各フレームを読み解いて標準のMP3のフレーム(ヘッダー、サイド情報、主データ)に組み直し、普通のMP3デコーダー(lame)に通します。逆変換の計算を自分で書く必要はありません。ただし、組み直すにはフレームがどこで終わるかを知る必要があります。ヘッダーを足すだけでは再生できません。
最後の難関: フレームはどこで終わるのか
ここからが長かったところです。
フレームの長さを示す項目が削られているのでフレームがどこで終わるかが分かりません。MP3では周波数成分の最後の部分(count1領域)は「決められたビット長を使い切るまで」読む決まりです。そのビット長がこのデータにはありません。
最初は探索でしのぎました。「次のフレームのヘッダーが妥当に見える位置」を候補にして音量の変化が最も滑らかになる区切り方を選ぶ方法です。これで全286音声を変換できほとんどは正しく聞こえました。しかし、区切りを間違えたところでは大きなノイズが出ます。576サンプルの区間で数えると45,665区間のうち772区間で振り切れたサンプルが集中していました。規則を足しては別の音声が崩れる、ということを繰り返しました。
実機に答えを聞く
探索をあきらめて実機の読み出しを測ることにしました。
実機は1フレームぶんのデータが揃うまで16ビットずつ読みます。したがって、1回の読み出しがどこで終わったかを見ればフレームの終わりが16ビットの幅で分かります。
問題はオシロスコープの記録の長さです。SCLKは約1.7 MHzでビットを読み取るには細かく記録する必要があり、1回に取れるのは20~50msだけです。たとえば208番の音声は約4.4秒で139フレームあります。
そこで、前回と同じく電源とボタンを直流電源から操作して「電源ON → ボタン操作 → 再生」を自動で繰り返しました。毎回トリガーからの遅延をずらして1フレームぶんずつ記録します。読み出した位置は時刻ではなくデータの内容(ダンプとの照合)で決めるので、回ごとの時間のずれは影響しません。こうして6音声で404個の読み出し区間を測りました。それぞれの区間の末尾16ビットのどこかにフレームの終わりがあります。
4ビットの個数フィールド
404個の区間を表にして眺めると規則が見えました。MP3では1フレームの周波数成分は576本あり、ここではライン0~575と呼びます。
- 復号する周波数成分の上限はライン503。 最後の4つ組がこの境界をまたぐ場合の扱いは後で述べます。
- 大きい値の領域(big values)がライン503まで達していればそこでフレームは終わる。
- 達していなければ4ビットの個数 n を読み、続く4つ組(count1)を最大 8*n個、ライン503に達するまで読む。
フレームの長さを直接書く代わりに「最後の領域に4つ組が何個あるか」を8個単位で書いていたわけです。これが標準のMP3にはないこの形式独自の部分です。上限のライン504は約7.9 kHzにあたります。
これでフレームの終わりは探索なしで、フレーム自身のビットから決まるようになりました。それまで個別の規則で説明していた不思議な現象(値の後ろに0000が付く、末尾に無意味なゼロが続く、符号の途中で切れているように見える)もすべてこの規則ひとつで説明できます。
| 確認 | 結果 |
|---|---|
| 規則だけで求めたフレームの終わりが、実測した読み出し区間の末尾16ビット内に収まるか | 404 / 404 区間 |
| 全286音声を先頭から最後まで解析 | 286 / 286(45,943フレーム) |
| 振り切れたサンプルが集中する区間 | 772 / 45,665 → 0 / 45,943 |
ノイズは消えました。全286音声を聞いて確認しましたが、問題のある音声はありませんでした。合計で約24分ぶんです。
再生速度は16 kHzではなかった
データはMP3の16 kHz用の形式ですが、実機は16 kHzで再生していません。
スピーカーを外し、スピーカー出力の2端子(PWMPとPWMN)をオシロスコープで測って変換した音声と波形を重ねました。相関が最大になる再生速度は約17,980 Hzでした。16 kHzとして再生すると約11%遅く・低くなります。変換したWAVには17,980 Hzと書いています。
おもしろいことに、この速度は一定ではありません。同じ音声を電源を入れたまま続けて鳴らしても17,975~17,985 Hzの範囲で変わりました。フラッシュの読み出し周期から計算した速度も同じように変わります。原因は分かっていません。
実機の出力との照合
5つの音声について合計11回、実機の出力を測って照合しました。
- 再生中の数十マイクロ秒の時間のずれを補正すると、波形の相関は150~3400 Hzで11回すべて約0.999でした。
- 6000~9000 Hzの高い帯域だけでも0.95~0.99です。
変換した音声は、実機が出している波形とほぼ同じです。
上限をまたぐ値の扱い
細かい点が一つ残っていました。ライン502から始まる4つ組は上限をまたぎます。このとき、ライン504・505の値には符号(正負)のビットがありません。実機はこの値をどう扱っているのか。正か、負か、捨てているのか。
該当する値を3通りにして変換し、その差が実機の出力に現れているかを調べました。結果は「捨てている」でした。ある音声の1フレームでは、符号のない値の成分は出力に見つからず(係数 +0.02±0.03。1なら正、0なら捨てている)、すぐ隣の符号つきの値は同じ方法でほぼそのまま見つかりました(+0.93)。変換もこれに合わせています。
この修正は全286音声の試聴のあとに行いました。修正でWAVが変わったのは56音声です。たとえば283番では差は信号の約2%でした。聞いて分かる違いではないと見込んでいますが修正の前後を聞き比べてはいません。それでも実測で決着がついたのは気持ちのよい結果でした。
AIどうしの相互チェック
今回は解析とスクリプトの作成、測定の自動化を Claude と対話しながら進め、節目ごとに結果をまとめた文書を ChatGPT に読んでもらいました。
ChatGPT からは、数値の食い違いや言い過ぎの指摘が何度もありました。たとえば「相関が低いのは復号が違うからとは限らない」「『同じ時計で動いている』は観測より一歩強い表現」といったものです。そのたびに文書と解析を直しています。推測と測定で確かめたことを分けて書く、という点でこの相互チェックは役に立ちました。
まだ分かっていないこと
- 各音声の先頭にある
A7 00 48とダンプ先頭の16バイトの意味。どちらも未解明ですが今回のWAVへの変換では解釈せずに復号できました。 - フラッシュメモリのDevice IDが期待値と一致しない理由(前回から変わらず)。
- TRSF1602AのAuto-FIFO機能を使っているかどうか(前回から変わらず)。
- 再生速度が再生のたびに少し変わる原因と、なぜ約17,980 Hzなのか。
- 上限をまたぐ値の扱いを実測で確かめられたのはショートブロックと呼ばれる種類のフレームだけです。
- 実機の波形と照合したのは5音声です。残りは全フレームが規則どおりに解析できることと試聴で確かめました。
まとめ
- 圧縮形式はMP3(MPEG-2 Layer III)をもとにフレームヘッダーとフレーム長を削り、独自の個数フィールドを入れたものでした。
- フレームの終わりは4ビットの個数フィールドとライン504という上限で決まります。これは実機の読み出しを404区間ぶん測って見つけました。
- 再生速度は約17,980 Hzです。
- 5音声・11回の測定で局所的な時間のずれを補正した150~3400 Hz帯の波形の相関は、すべて約0.999でした。
独自形式に見えたものがよく知られた形式に少し手を加えたものだった、という結末でした。フレーム長を削るという小さな変更ひとつで解析はずいぶん難しくなります。それでも、実機は必ず正しく読めているので実機の動作を測れば答えは出る、というのが今回いちばんの教訓です。
当初の目標だった「音声ファイルとして取り出す」ところまでようやくたどり着きました。
付録: 形式のまとめ
同じICを使った別の製品を調べる方のために変換に必要な情報をまとめておきます。確かめたのはこの製品だけです。MP3(MPEG-2 Layer III)の規格の用語を、そのまま使っています。
ダンプ全体
| 位置 | 内容 |
|---|---|
0x000000~0x00000F |
意味が未解明の16バイト |
0x000010~ |
位置表。32ビットのリトルエンディアンで各音声の先頭の絶対バイト位置。この製品では286件 |
| 位置表の直後~ | 音声データ。そのあとは80で埋められている |
音声1個の構造
- 先頭3バイトは
A7 00 48(意味は未解明、全音声で同じ)。 - 4バイト目の先頭(ビット24)からフレームが始まる。ビットはバイトの上位から順に読む。
- フレームはビット単位で隙間なく並ぶ。バイト境界への詰め物も、同期ワードもない。
- 最後のフレームのあとは
1で埋められている。全286音声で、残りは25~32ビットで、すべて1だった。
フレームの先頭(サイド情報にあたる部分)
上から順に並びます。
| 項目 | ビット数 | 備考 |
|---|---|---|
| big_values | 9 | |
| global_gain | 8 | |
| scalefac_compress の長さ | 1 | 0なら次は4ビット、1なら次は9ビット |
| scalefac_compress | 4 または 9 | |
| window_switching_flag | 1 | |
| (flagが1のとき)block_type | 2 | |
| mixed_block_flag | 1 | この製品では常に0 |
| table_select*2 | 5*2 | |
| subblock_gain*3 | 3*3 | |
| (flagが0のとき)table_select*3 | 5*3 | |
| region0_count | 4 | |
| region1_count | 3 | |
| scalefac_scale | 1 | |
| count1table_select | 1 |
標準のMP3のサイド情報との違いは次の3点です。
- part2_3_length(12ビット)がない。
- scalefac_compress が可変長(1+4 または 1+9ビット)。
- 1フレームは1グラニュール・モノラルで main_data_begin もない(ビットリザーバーは使っていない)。
無音のフレームはここまでの47ビットに0000が続く51ビットです。
フレームの本体
- スケールファクター: MPEG-2(LSF)の規則どおり。scalefac_compress とブロック種別から各帯域のビット数が決まる。
- big values: 標準のハフマン表(表0~31、linbitsと符号ビットつき)。表0はビットを1つも読まずに (0, 0) を1組返す。領域の境界も標準どおりでバンド表はMPEG-2の16 kHz用。ただし読むのは252組(ライン0~503)まで。big_values の値が252を超えるフレームもある(45,943フレーム中234フレーム、最大258)が、その場合も252組で止める。
- 個数フィールド: big values がライン503に達していなければ、4ビットの個数 n がある。達していれば、個数フィールドはなくフレームはそこで終わる。
- count1(4つ組): 最大 8n 個。count1table_select が0なら標準の表A、1なら表B(符号語が4ビット固定長)。どちらの表でも、符号語のあとに、ライン0~503に収まる0でない値の個数ぶんだけ、符号ビットが続く。**ライン503に達したら、8n 個に満たなくても終わり。**
- 上限をまたぐ4つ組: ライン502から始まる4つ組では、ライン504・505の値に符号ビットがない。現行の変換では0として扱う。実機の出力と比べて「0」と判別できたのは、ショートブロックのフレームだけ。
次のフレームは、その直後のビットから始まります。
標準のMP3に戻す
各フレームを、次のような標準のMP3フレームに組み直すと、一般のデコーダーで復号できます。
- フレームヘッダーは
FF F3 88 C0(MPEG-2 Layer III、64 kbps、16 kHz、モノラル、CRCなし)。1フレームは288バイト。 - サイド情報は9バイト。main_data_begin は0、part2_3_length には主データのビット数を入れる。scalefac_compress は9ビットに広げる。
- big_values には、実際に格納した組数 min(入力のbig_values, 252) を書く。入力の値をそのまま書くと、デコーダーが余分な組を読もうとする。
- 主データはスケールファクター、big values、count1 を順に詰めたもの。個数フィールドの4ビットは入れない。
- 上限をまたぐ4つ組はライン504以上の値を0にした符号語に置き換える。
- 残りは0で埋める。
ブロック種別の並び(ロング→スタート→ショート→ストップ→ロングなど)は、全45,943フレームで規格どおりでした。mixed_block_flag が1のフレームはありませんでした。
動作確認の例
- ダンプの
0x10にある88 04 00 00を0x488と読む。その位置からA7 00 48が始まる。 - 組み直したMP3の先頭4バイトは
FF F3 88 C0になる。 - 音声の最後のフレームを読み終えたとき、残りが25~32ビットで、すべて
1になっている。
再生速度
デコーダーは16 kHzの音声として出力しますが、実機の再生速度は約17,980 Hzです(この個体で、17,975~17,985 Hzの範囲で変動)。出力したWAVのサンプリング周波数を17,980 Hzに書き換えると、実機と同じ速さになります。1フレーム(576サンプル)は約32 msです。
実機の読み出し方
- 再生中、約32 msごとに次の1フレームぶんを16ビット単位で読む。
- フレームの終わりを含む16ビットまで読んで止まる。その先は読まない。
このため、SCLKとMISOを測って読み出しの区切りを調べれば、フレームの終わりを16ビットの幅で確かめられます。



