L1 Byte-Pair Merger — Baked Huffman Artifact
SingleWMirror · C19 · fp16 · Huffman-packed · Champion Cluster 13
100% Lossless · 65 536 par
3 440 B Huffman-packed
2 867 parameter
H=81 C19 neuron
−45% vs. 7,14 KB asym.
Architektura — y = C19(x @ W + b1) @ W.T + b2
32D input
byte_0 || byte_1
{-1, +1} jelkodolt
W (32×81)
+b1 fp16
81 C19 neuron
c_i: lancszem merete | rho_i: gorbulet
162 tanult param (c + rho) · fp16
W.T (81×32)
+b2 TIED W
32D output
sign() → byte_0, byte_1
100% egyezes
HUFFMAN-PACKED ARTIFACT
W 2592 + b1 81 + b2 32 + c19_c 81 + c19_rho 81
fp16 nyers: 5 734 B → Huffman-packed: 3 440 B
−40% · 3,36 KB final
INPUT
HIDDEN
OUTPUT
PACKED WEIGHTS
PARAM BUDGET:
W: 2 592 fp16 (5 184 B) | b1: 81 fp16 (162 B) | b2: 32 fp16 (64 B) | C19 c: 81 fp16 (162 B) | C19 rho: 81 fp16 (162 B)
Osszes: 2 867 param
Huffman-packed: 3 440 B = 3,36 KB
Specifikaciok
Lossless (65 536 par)
100%
Huffman-packed meret
3 440 B
Osszes parameter
2 867
Rejtett reteg (H)
81 C19
In / Out dim
32 / 32
W matrix alak
(32×81)
vs. asym. bajnok
−45%
vs. fp32 alap
−70%
Sejt bontas (2 867 osszes)
Meretcsokkenesi lanclan
81 C19 Neuron — tanult c es rho parameterekkel
W heatmap (32 bit → 81 neuron, minta)
Az elso 16 bemenet × elso 24 neuron reszlete. Zold = pozitiv, piros = negativ, szurke = korul 0.
Huffman csomag byte-elrendezese (3 440 B)
Minden negyzet = 1 byte a csomagban. Szin = W/b1/b2/c19_c/c19_rho szegmens. Vigyen az eger fole a reszletekert.
Live teszt — probalj ki egy byte-part (0-255 mindketto)
Byte 0:
'
A
'
+
Byte 1:
'
B
'
→
32 bit input:
→ 81 C19 neuron aktivacio (minta, elso 32):
← Mirror dekoder → 32D kimenet → visszakapott bitek:
Teljes scan (65 536 par)
Stop
Az osszes byte-par ellenorzese...