L1 Byte-Pair Merger

Single-W mirror tied autoencoder

★ CHAMPION — Cluster 13

Nezopont

Attekintes
C19 aktivacio
Dimenzio folyam
Sejt bontas

Architektura

Keplety=C19(xW+b1)W.T+b2
in_dim32
H (rejtett)81
Osszes sejt2 867
Lossless100%
Huffman csomag3 440 B
Byte-par fedett65 536 / 65 536

Sejt bontas

W (32×81)2 592
b1 (encoder bias)81
b2 (decoder bias)32
C19 c param81
C19 rho param81
Osszes2 867

Progression (KB)

fp32 (Cluster 11)11,20 KB
fp16 (Cluster 12)5,60 KB
Huffman (Cluster 13)3,36 KB
vs. asym. bajnok−45%

Jelmagyarazat

32D input (ket byte)
C19 neuronok (H=81)
32D rekonstrukalt
Mirror dekoder W.T

Architektura leiras