Transform and Quantization - Advanced Video Coding Systems - page 86

5.3.1 Square and Non-square Transform

In AVS2, the transform size is not fixed to 8 × 8, but rather be 4 × 4, 8 × 8, 16 × 16,

32 × 32 or 64 × 64. Specially, for a square M × M residual block X ( M = 4 , 8 , 16 , 32),

the forward transform process is as follows:

T M , Y = T M × X × (5.13)

where T M is the transpose of the transform kernel T M , as follows:

⊡
⊣

⊤
⊦

32 32 32 32

42 17 − 17 42

T 4 =

32 − 32 − 32 32

17 − 42 42 − 17

⊡ ⊤

32 32 32 32 32 32 32 32

⊣ ⊦

44 38 25 9 − 9 − 25 − 38 − 44

42 17 − 17 − 42 − 42 − 17 17 42

38 − 9 − 44 − 25 25 44 9 − 38

T 8 =

32 − 32 − 32 32 32 − 32 − 32 32

25 − 44 9 38 − 38 − 94 − 25

17 − 42 42 − 17 − 17 42 − 42 17

9 − 25 38 − 44 44 − 38 25 − 9

⊡
⊣

⊤
⊦

32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32

45 43 40 35 29 21 13 4 − 4 − 13 − 21 − 29 − 35 − 40 − 43 − 45

44 38 25 9 − 9 − 25 − 38 − 44 − 44 − 38 − 25 − 9 9 25 38 44

43 29 4 − 21 − 40 − 45 − 35 − 13 13 35 45 40 21 − 4 − 29 − 43

42 17 − 17 − 42 − 42 − 17 17 42 42 17 − 17 − 42 − 42 − 17 17 42

40 4 − 35 − 43 − 13 29 45 21 − 21 − 45 − 29 13 43 35 − 4 − 40

38 − 9 − 44 − 25 25 44 9 − 38 − 38 9 44 25 − 25 − 44 − 9 8

35 − 21 − 43 4 45 13 − 40 − 29 29 40 − 13 − 45 − 4 3 1 − 35

T 16 =

32 − 32 − 32 32 32 − 32 − 32 32 32 − 32 − 32 32 32 − 32 − 32 32

29 − 40 − 13 45 − 4 − 43 21 35 − 35 − 21 43 4 − 45 13 40 − 29

25 − 44 9 38 − 38 − 9 4 − 25 − 25 44 − 9 − 38 38 9 − 44 25

21 − 45 29 13 − 43 35 4 − 40 40 − 4 − 35 43 − 13 − 29 45 − 21

17 − 42 42 − 17 − 17 42 − 42 17 17 − 42 42 − 17 − 17 42 − 42 17

13 − 35 45 − 40 21 4 − 29 43 − 43 29 − 4 − 21 40 − 45 35 − 13

9 − 25 38 − 44 44 − 38 25 − 9 − 9 5 − 38 44 − 44 38 − 25 9

4 − 13 21 − 29 35 − 40 43 − 45 45 − 43 40 − 35 29 − 21 13 − 4