ntt_kyber_123_4567_opt_a72.s

///
/// Copyright (c) 2022 Arm Limited
/// Copyright (c) 2022 Hanno Becker
/// Copyright (c) 2023 Amin Abdulrahman, Matthias Kannwischer
/// SPDX-License-Identifier: MIT
///
/// Permission is hereby granted, free of charge, to any person obtaining a copy
/// of this software and associated documentation files (the "Software"), to deal
/// in the Software without restriction, including without limitation the rights
/// to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
/// copies of the Software, and to permit persons to whom the Software is
/// furnished to do so, subject to the following conditions:
///
/// The above copyright notice and this permission notice shall be included in all
/// copies or substantial portions of the Software.
///
/// THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
/// IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
/// FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
/// AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
/// LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
/// OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
/// SOFTWARE.
///

// Needed to provide ASM_LOAD directive
#include <hal_env.h>

// NOTE
// We use a lot of trivial macros to simplify the parsing burden for Slothy
// The macros are not unfolded by Slothy and thus interpreted as instructions,
// which are easier to parse due to e.g. the lack of size specifiers and simpler
// syntax for pre and post increment for loads and stores.
//
// Eventually, NeLight should include a proper parser for AArch64,
// but for initial investigations, the below is enough.

.macro ldr_vo vec, base, offset
       ldr qform_\vec, [\base, #\offset]
.endm

.macro ldr_vi vec, base, inc
        ldr qform_\vec, [\base], #\inc
.endm

.macro str_vo vec, base, offset
        str qform_\vec, [\base, #\offset]
.endm
.macro str_vi vec, base, inc
        str qform_\vec, [\base], #\inc
.endm

.macro vqrdmulh d,a,b
        sqrdmulh \d\().8h, \a\().8h, \b\().8h
.endm
.macro vmlsq d,a,b,i
        mls \d\().8h, \a\().8h, \b\().h[\i]
.endm
.macro vqrdmulhq d,a,b,i
        sqrdmulh \d\().8h, \a\().8h, \b\().h[\i]
.endm
.macro vqdmulhq d,a,b,i
        sqdmulh \d\().8h, \a\().8h, \b\().h[\i]
.endm
.macro vmulq d,a,b,i
        mul \d\().8h, \a\().8h, \b\().h[\i]
.endm

.macro mulmodq dst, src, const, idx0, idx1
        vmulq       \dst,  \src, \const, \idx0
        vqrdmulhq   \src,  \src, \const, \idx1
        vmlsq       \dst,  \src, consts, 0
.endm

.macro mulmod dst, src, const, const_twisted
        mul        \dst\().8h,  \src\().8h, \const\().8h
        vqrdmulh   \src,  \src, \const_twisted
        vmlsq      \dst,  \src, consts, 0
.endm

.macro ct_butterfly a, b, root, idx0, idx1
        mulmodq  tmp, \b, \root, \idx0, \idx1
        sub     \b\().8h,    \a\().8h, tmp.8h
        add     \a\().8h,    \a\().8h, tmp.8h
.endm

.macro mulmod_v dst, src, const, const_twisted
        mul         \dst\().8h,  \src\().8h, \const\().8h
        vqrdmulh    \src,  \src, \const_twisted
        vmlsq       \dst,  \src, consts, 0
.endm

.macro ct_butterfly_v a, b, root, root_twisted
        mulmod  tmp, \b, \root, \root_twisted
        sub    \b\().8h,    \a\().8h, tmp.8h
        add    \a\().8h,    \a\().8h, tmp.8h
.endm

.macro barrett_reduce a
        vqdmulhq t0, \a, consts, 1
        srshr    t0.8h, t0.8h, #11
        vmlsq    \a, t0, consts, 0
.endm

.macro load_roots_123
        ldr_vi root0, r_ptr0, 32
        ldr_vo root1, r_ptr0, -16
.endm

.macro load_next_roots_45
        ldr_vi root0, r_ptr0, 16
.endm

.macro load_next_roots_67
        ldr_vi root0,    r_ptr1, (6*16)
        ldr_vo root0_tw, r_ptr1, (-6*16 + 1*16)
        ldr_vo root1,    r_ptr1, (-6*16 + 2*16)
        ldr_vo root1_tw, r_ptr1, (-6*16 + 3*16)
        ldr_vo root2,    r_ptr1, (-6*16 + 4*16)
        ldr_vo root2_tw, r_ptr1, (-6*16 + 5*16)
.endm

.macro transpose4 data
        trn1 t0.4s, \data\()0\().4s, \data\()1\().4s
        trn2 t1.4s, \data\()0\().4s, \data\()1\().4s
        trn1 t2.4s, \data\()2\().4s, \data\()3\().4s
        trn2 t3.4s, \data\()2\().4s, \data\()3\().4s

        trn2 \data\()2\().2d, t0.2d, t2.2d
        trn2 \data\()3\().2d, t1.2d, t3.2d
        trn1 \data\()0\().2d, t0.2d, t2.2d
        trn1 \data\()1\().2d, t1.2d, t3.2d
.endm

.macro transpose_single data_out, data_in
        trn1 \data_out\()0\().4s, \data_in\()0\().4s, \data_in\()1\().4s
        trn2 \data_out\()1\().4s, \data_in\()0\().4s, \data_in\()1\().4s
        trn1 \data_out\()2\().4s, \data_in\()2\().4s, \data_in\()3\().4s
        trn2 \data_out\()3\().4s, \data_in\()2\().4s, \data_in\()3\().4s
.endm

.macro save_gprs // slothy:no-unfold
        sub sp, sp, #(16*6)
        stp x19, x20, [sp, #16*0]
        stp x19, x20, [sp, #16*0]
        stp x21, x22, [sp, #16*1]
        stp x23, x24, [sp, #16*2]
        stp x25, x26, [sp, #16*3]
        stp x27, x28, [sp, #16*4]
        str x29, [sp, #16*5]
.endm

.macro restore_gprs // slothy:no-unfold
        ldp x19, x20, [sp, #16*0]
        ldp x21, x22, [sp, #16*1]
        ldp x23, x24, [sp, #16*2]
        ldp x25, x26, [sp, #16*3]
        ldp x27, x28, [sp, #16*4]
        ldr x29, [sp, #16*5]
        add sp, sp, #(16*6)
.endm

.macro save_vregs // slothy:no-unfold
        sub sp, sp, #(16*4)
        stp  d8,  d9, [sp, #16*0]
        stp d10, d11, [sp, #16*1]
        stp d12, d13, [sp, #16*2]
        stp d14, d15, [sp, #16*3]
.endm

.macro restore_vregs // slothy:no-unfold
        ldp  d8,  d9, [sp, #16*0]
        ldp d10, d11, [sp, #16*1]
        ldp d12, d13, [sp, #16*2]
        ldp d14, d15, [sp, #16*3]
        add sp, sp, #(16*4)
.endm

#define STACK_SIZE 16
#define STACK0 0

.macro restore a, loc     // slothy:no-unfold
        ldr \a, [sp, #\loc\()]
.endm
.macro save loc, a        // slothy:no-unfold
        str \a, [sp, #\loc\()]
.endm
.macro push_stack // slothy:no-unfold
        save_gprs
        save_vregs
        sub sp, sp, #STACK_SIZE
.endm

.macro pop_stack // slothy:no-unfold
        add sp, sp, #STACK_SIZE
        restore_vregs
        restore_gprs
.endm

.data
.p2align 4
roots:
#include "ntt_kyber_123_45_67_twiddles.s"
.text

        .global ntt_kyber_123_4567_opt_a72
        .global _ntt_kyber_123_4567_opt_a72

.p2align 4
const_addr:       .short 3329
                  .short 20159
                  .short 0
                  .short 0
                  .short 0
                  .short 0
                  .short 0
                  .short 0
ntt_kyber_123_4567_opt_a72:
_ntt_kyber_123_4567_opt_a72:
        push_stack

        in      .req x0
        inp     .req x1
        count   .req x2
        r_ptr0  .req x3
        r_ptr1  .req x4
        xtmp    .req x5

        qform_v0  .req q0
        qform_v1  .req q1
        qform_v2  .req q2
        qform_v3  .req q3
        qform_v4  .req q4
        qform_v5  .req q5
        qform_v6  .req q6
        qform_v7  .req q7
        qform_v8  .req q8
        qform_v9  .req q9
        qform_v10 .req q10
        qform_v11 .req q11
        qform_v12 .req q12
        qform_v13 .req q13
        qform_v14 .req q14
        qform_v15 .req q15
        qform_v16 .req q16
        qform_v17 .req q17
        qform_v18 .req q18
        qform_v19 .req q19
        qform_v20 .req q20
        qform_v21 .req q21
        qform_v22 .req q22
        qform_v23 .req q23
        qform_v24 .req q24
        qform_v25 .req q25
        qform_v26 .req q26
        qform_v27 .req q27
        qform_v28 .req q28
        qform_v29 .req q29
        qform_v30 .req q30
        qform_v31 .req q31

        data0  .req v8
        data1  .req v9
        data2  .req v10
        data3  .req v11
        data4  .req v12
        data5  .req v13
        data6  .req v14
        data7  .req v15

        x_00 .req x10
        x_01 .req x11
        x_10 .req x12
        x_11 .req x13
        x_20 .req x14
        x_21 .req x15
        x_30 .req x16
        x_31 .req x17

        xt_00 .req x_00
        xt_01 .req x_20
        xt_10 .req x_10
        xt_11 .req x_30
        xt_20 .req x_01
        xt_21 .req x_21
        xt_30 .req x_11
        xt_31 .req x_31

        qform_data0  .req q8
        qform_data1  .req q9
        qform_data2  .req q10
        qform_data3  .req q11
        qform_data4  .req q12
        qform_data5  .req q13
        qform_data6  .req q14
        qform_data7  .req q15

        root0    .req v0
        root1    .req v1
        root2    .req v2
        root0_tw .req v4
        root1_tw .req v5
        root2_tw .req v6

        consts         .req v7
        qform_consts   .req q7

        qform_root0    .req q0
        qform_root1    .req q1
        qform_root2    .req q2
        qform_root0_tw .req q4
        qform_root1_tw .req q5
        qform_root2_tw .req q6

        tmp .req v24
        t0  .req v25
        t1  .req v26
        t2  .req v27
        t3  .req v28

        ASM_LOAD(r_ptr0, roots)
        ASM_LOAD(r_ptr1, roots_l56)

        ASM_LOAD(xtmp, const_addr)
        ld1 {consts.8h}, [xtmp]

        save STACK0, in
        mov count, #4

        load_roots_123

        .p2align 2
        ldr q16, [x0, #192]                      // ..*.........
        ldr q26, [x0, #448]                      // .*..........
        // gap                                   // ............
        ldr q11, [x0, #256]                      // *...........
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        sqrdmulh v4.8H, v26.8H, v0.H[1]          // ....*.......
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        mul v26.8H, v26.8H, v0.H[0]              // ...*........
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        sqrdmulh v15.8H, v11.8H, v0.H[1]         // ........*...
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        mls v26.8H, v4.8H, v7.H[0]               // .....*......
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        mul v31.8H, v11.8H, v0.H[0]              // ......*.....
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        mls v31.8H, v15.8H, v7.H[0]              // ...........*
        // gap                                   // ............
        // gap                                   // ............
        add v15.8H, v16.8H, v26.8H               // .......*....
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        sqrdmulh v2.8H, v15.8H, v0.H[3]          // .........*..
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        // gap                                   // ............
        mul v30.8H, v15.8H, v0.H[2]              // ..........*.
        // gap                                   // ............
        // gap                                   // ............
        
        // original source code
        // ldr q9, [x0, #256]                   // ..*......... || .*...................
        // ldr q17, [x0, #448]                  // .*.......... || *....................
        // ldr q16, [x0, #192]                  // *........... || *....................
        // mul v26.8H, v17.8H, v0.H[0]          // ....*....... || ......*..............
        // sqrdmulh v2.8H, v17.8H, v0.H[1]      // ...*........ || ....*................
        // mls v26.8H, v2.8H, v7.H[0]           // ......*..... || ..........*..........
        // mul v31.8H, v9.8H, v0.H[0]           // .......*.... || ............*........
        // add v24.8H, v16.8H, v26.8H           // .........*.. || ...............*.....
        // sqrdmulh v23.8H, v9.8H, v0.H[1]      // .....*...... || ........*............
        // sqrdmulh v2.8H, v24.8H, v0.H[3]      // ..........*. || ..................*..
        // mul v30.8H, v24.8H, v0.H[2]          // ...........* || ....................*
        // mls v31.8H, v23.8H, v7.H[0]          // ........*... || ..............*......
        
        sub count, count, #1
layer123_start:
        ldr q15, [x0, #0]                        // *...........................................................................
        sub v26.8H, v16.8H, v26.8H               // ..........................*.................................................
        ldr q11, [x0, #128]                      // ..*.........................................................................
        ldr q24, [x0, #384]                      // ......*.....................................................................
        ldr q23, [x0, #64]                       // .*..........................................................................
        mls v30.8H, v2.8H, v7.H[0]               // ...................................*........................................
        ldr q9, [x0, #272]                       // ....e.......................................................................
        ldr q2, [x0, #320]                       // .....*......................................................................
        // gap                                   // ............................................................................
        mul v10.8H, v26.8H, v0.H[4]              // ...........................................*................................
        ldr q17, [x0, #464]                      // .......e....................................................................
        ldr q16, [x0, #208]                      // ...e........................................................................
        sub v27.8H, v15.8H, v31.8H               // ...........*................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        add v15.8H, v15.8H, v31.8H               // ............*...............................................................
        sqrdmulh v26.8H, v26.8H, v0.H[5]         // ............................................*...............................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        sqrdmulh v31.8H, v24.8H, v0.H[1]         // ...................*........................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        mul v24.8H, v24.8H, v0.H[0]              // ..................*.........................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        sqrdmulh v13.8H, v2.8H, v0.H[1]          // ..............*.............................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        mls v24.8H, v31.8H, v7.H[0]              // ....................*.......................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        mul v2.8H, v2.8H, v0.H[0]                // .............*..............................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        mls v2.8H, v13.8H, v7.H[0]               // ...............*............................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        sub v31.8H, v11.8H, v24.8H               // .....................*......................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        add v11.8H, v11.8H, v24.8H               // ......................*.....................................................
        mls v10.8H, v26.8H, v7.H[0]              // .............................................*..............................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        mul v26.8H, v17.8H, v0.H[0]              // .......................e....................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        add v24.8H, v23.8H, v2.8H                // .................*..........................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        sub v23.8H, v23.8H, v2.8H                // ................*...........................................................
        sqrdmulh v2.8H, v17.8H, v0.H[1]          // ........................e...................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        sqrdmulh v17.8H, v31.8H, v0.H[5]         // .......................................*....................................
        sub v13.8H, v24.8H, v30.8H               // ....................................*.......................................
        // gap                                   // ............................................................................
        add v24.8H, v24.8H, v30.8H               // .....................................*......................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        sqrdmulh v30.8H, v11.8H, v0.H[3]         // .............................*..............................................
        sub v4.8H, v23.8H, v10.8H                // ..............................................*.............................
        // gap                                   // ............................................................................
        add v23.8H, v23.8H, v10.8H               // ...............................................*............................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        mul v10.8H, v31.8H, v0.H[4]              // ......................................*.....................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        mls v10.8H, v17.8H, v7.H[0]              // ........................................*...................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        mul v11.8H, v11.8H, v0.H[2]              // ............................*...............................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        mls v11.8H, v30.8H, v7.H[0]              // ..............................*.............................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        sub v30.8H, v27.8H, v10.8H               // .........................................*..................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        add v10.8H, v27.8H, v10.8H               // ..........................................*.................................
        mul v17.8H, v24.8H, v0.H[6]              // ................................................*...........................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        sqrdmulh v24.8H, v24.8H, v0.H[7]         // .................................................*..........................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        sub v27.8H, v15.8H, v11.8H               // ...............................*............................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        add v15.8H, v15.8H, v11.8H               // ................................*...........................................
        mul v11.8H, v13.8H, v1.H[0]              // .....................................................*......................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        sqrdmulh v31.8H, v13.8H, v1.H[1]         // ......................................................*.....................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        mls v17.8H, v24.8H, v7.H[0]              // ..................................................*.........................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        mul v24.8H, v23.8H, v1.H[2]              // ..........................................................*.................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        mls v11.8H, v31.8H, v7.H[0]              // .......................................................*....................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        sub v31.8H, v15.8H, v17.8H               // ...................................................*........................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        sqrdmulh v23.8H, v23.8H, v1.H[3]         // ...........................................................*................
        add v15.8H, v15.8H, v17.8H               // ....................................................*.......................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        str q31, [x0, #64]                       // .....................................................................*......
        mul v17.8H, v4.8H, v1.H[4]               // ...............................................................*............
        // gap                                   // ............................................................................
        str q15, [x0], #(16)                     // ....................................................................*.......
        sub v15.8H, v27.8H, v11.8H               // ........................................................*...................
        // gap                                   // ............................................................................
        sqrdmulh v31.8H, v4.8H, v1.H[5]          // ................................................................*...........
        add v11.8H, v27.8H, v11.8H               // .........................................................*..................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        mls v24.8H, v23.8H, v7.H[0]              // ............................................................*...............
        str q15, [x0, #176]                      // .......................................................................*....
        // gap                                   // ............................................................................
        str q11, [x0, #112]                      // ......................................................................*.....
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        mls v26.8H, v2.8H, v7.H[0]               // .........................e..................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        mls v17.8H, v31.8H, v7.H[0]              // .................................................................*..........
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        sub v15.8H, v10.8H, v24.8H               // .............................................................*..............
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        add v11.8H, v10.8H, v24.8H               // ..............................................................*.............
        mul v31.8H, v9.8H, v0.H[0]               // ........e...................................................................
        // gap                                   // ............................................................................
        add v24.8H, v16.8H, v26.8H               // ...........................e................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        sqrdmulh v23.8H, v9.8H, v0.H[1]          // .........e..................................................................
        str q15, [x0, #304]                      // .........................................................................*..
        // gap                                   // ............................................................................
        str q11, [x0, #240]                      // ........................................................................*...
        sub v15.8H, v30.8H, v17.8H               // ..................................................................*.........
        // gap                                   // ............................................................................
        add v11.8H, v30.8H, v17.8H               // ...................................................................*........
        sqrdmulh v2.8H, v24.8H, v0.H[3]          // ..................................e.........................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        mul v30.8H, v24.8H, v0.H[2]              // .................................e..........................................
        str q15, [x0, #432]                      // ...........................................................................*
        // gap                                   // ............................................................................
        str q11, [x0, #368]                      // ..........................................................................*.
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        mls v31.8H, v23.8H, v7.H[0]              // ..........e.................................................................
        // gap                                   // ............................................................................
        // gap                                   // ............................................................................
        
        // original source code
        // ldr q8, [x0, #0]                       // ......................................................................*.......................................................................... || ......................................................................*......................................................................
        // ldr q9, [x0, #(1*(512/8))]             // ......................................................................|...*...................................................................... || .......................................................................*.....................................................................
        // ldr q10, [x0, #(2*(512/8))]            // ......................................................................|.*........................................................................ || ......................................................................*......................................................................
        // ldr q11, [x0, #(3*(512/8))]            // ....e.................................................................|.........e................................................................ || .e...........................................................................................................................................
        // ldr q12, [x0, #(4*(512/8))]            // e.....................................................................|.....e.................................................................... || e............................................................................................................................................
        // ldr q13, [x0, #(5*(512/8))]            // .*....................................................................|......*................................................................... || ........................................................................*....................................................................
        // ldr q14, [x0, #(6*(512/8))]            // ......................................................................|..*....................................................................... || .......................................................................*.....................................................................
        // ldr q15, [x0, #(7*(512/8))]            // ...e..................................................................|........e................................................................. || .e...........................................................................................................................................
        // mul v24.8h, v12.8h, v0.h[0]            // ..........................................................e...........|...............................................................e.......... || .............................................................e...............................................................................
        // sqrdmulh v12.8h, v12.8h, v0.h[1]       // ............................................................e.........|.................................................................e........ || ...............................................................e.............................................................................
        // mls v24.8h, v12.8h, v7.h[0]            // .....................................................................e|.......................................................................... || .....................................................................e.......................................................................
        // sub     v12.8h,    v8.8h, v24.8h       // .....*................................................................|..........*............................................................... || ..........................................................................*..................................................................
        // add     v8.8h,    v8.8h, v24.8h        // ......*...............................................................|...........*.............................................................. || ...........................................................................*.................................................................
        // mul v24.8h, v13.8h, v0.h[0]            // ............*.........................................................|.................*........................................................ || .....................................................................................*.......................................................
        // sqrdmulh v13.8h, v13.8h, v0.h[1]       // ..........*...........................................................|...............*.......................................................... || .................................................................................*...........................................................
        // mls v24.8h, v13.8h, v7.h[0]            // .............*........................................................|..................*....................................................... || .......................................................................................*.....................................................
        // sub     v13.8h,    v9.8h, v24.8h       // ...................*..................................................|........................*................................................. || .............................................................................................*...............................................
        // add     v9.8h,    v9.8h, v24.8h        // ..................*...................................................|.......................*.................................................. || ............................................................................................*................................................
        // mul v24.8h, v14.8h, v0.h[0]            // .........*............................................................|..............*........................................................... || ...............................................................................*.............................................................
        // sqrdmulh v14.8h, v14.8h, v0.h[1]       // ........*.............................................................|.............*............................................................ || .............................................................................*...............................................................
        // mls v24.8h, v14.8h, v7.h[0]            // ...........*..........................................................|................*......................................................... || ...................................................................................*.........................................................
        // sub     v14.8h,    v10.8h, v24.8h      // ..............*.......................................................|...................*...................................................... || ........................................................................................*....................................................
        // add     v10.8h,    v10.8h, v24.8h      // ...............*......................................................|....................*..................................................... || .........................................................................................*...................................................
        // mul v24.8h, v15.8h, v0.h[0]            // .................e....................................................|......................e................................................... || ...................e.........................................................................................................................
        // sqrdmulh v15.8h, v15.8h, v0.h[1]       // ....................e.................................................|.........................e................................................ || .....................e.......................................................................................................................
        // mls v24.8h, v15.8h, v7.h[0]            // ......................................................e...............|...........................................................e.............. || .........................................................e...................................................................................
        // sub     v15.8h,    v11.8h, v24.8h      // ......................................................................|*......................................................................... || ......................................................................*......................................................................
        // add     v11.8h,    v11.8h, v24.8h      // ...........................................................e..........|................................................................e......... || ..............................................................e..............................................................................
        // mul v24.8h, v10.8h, v0.h[2]            // .............................*........................................|..................................*....................................... || .......................................................................................................*.....................................
        // sqrdmulh v10.8h, v10.8h, v0.h[3]       // ........................*.............................................|.............................*............................................ || .................................................................................................*...........................................
        // mls v24.8h, v10.8h, v7.h[0]            // ..............................*.......................................|...................................*...................................... || .........................................................................................................*...................................
        // sub     v10.8h,    v8.8h, v24.8h       // ...................................*..................................|........................................*................................. || ..............................................................................................................*..............................
        // add     v8.8h,    v8.8h, v24.8h        // ....................................*.................................|.........................................*................................ || ...............................................................................................................*.............................
        // mul v24.8h, v11.8h, v0.h[2]            // ..................................................................e...|.......................................................................e.. || ...................................................................e.........................................................................
        // sqrdmulh v11.8h, v11.8h, v0.h[3]       // .................................................................e....|......................................................................e... || .................................................................e...........................................................................
        // mls v24.8h, v11.8h, v7.h[0]            // ......................................................................|....*..................................................................... || .......................................................................*.....................................................................
        // sub     v11.8h,    v9.8h, v24.8h       // ......................*...............................................|...........................*.............................................. || ...............................................................................................*.............................................
        // add     v9.8h,    v9.8h, v24.8h        // .......................*..............................................|............................*............................................. || ................................................................................................*............................................
        // mul v24.8h, v14.8h, v0.h[4]            // ...........................*..........................................|................................*......................................... || ...................................................................................................*.........................................
        // sqrdmulh v14.8h, v14.8h, v0.h[5]       // .....................*................................................|..........................*............................................... || ...............................................................................................*.............................................
        // mls v24.8h, v14.8h, v7.h[0]            // ............................*.........................................|.................................*........................................ || .....................................................................................................*.......................................
        // sub     v14.8h,    v12.8h, v24.8h      // ...............................*......................................|....................................*..................................... || ..........................................................................................................*..................................
        // add     v12.8h,    v12.8h, v24.8h      // ................................*.....................................|.....................................*.................................... || ...........................................................................................................*.................................
        // mul v24.8h, v15.8h, v0.h[4]            // ..*...................................................................|.......*.................................................................. || .........................................................................*...................................................................
        // sqrdmulh v15.8h, v15.8h, v0.h[5]       // .......*..............................................................|............*............................................................. || ...........................................................................*.................................................................
        // mls v24.8h, v15.8h, v7.h[0]            // ................*.....................................................|.....................*.................................................... || .........................................................................................*...................................................
        // sub     v15.8h,    v13.8h, v24.8h      // .........................*............................................|..............................*........................................... || .................................................................................................*...........................................
        // add     v13.8h,    v13.8h, v24.8h      // ..........................*...........................................|...............................*.......................................... || ..................................................................................................*..........................................
        // mul v24.8h, v9.8h, v0.h[6]             // .................................*....................................|......................................*................................... || ...........................................................................................................*.................................
        // sqrdmulh v9.8h, v9.8h, v0.h[7]         // ..................................*...................................|.......................................*.................................. || .............................................................................................................*...............................
        // mls v24.8h, v9.8h, v7.h[0]             // .......................................*..............................|............................................*............................. || ...................................................................................................................*.........................
        // sub     v9.8h,    v8.8h, v24.8h        // ..........................................*...........................|...............................................*.......................... || ........................................................................................................................*....................
        // add     v8.8h,    v8.8h, v24.8h        // ............................................*.........................|.................................................*........................ || .........................................................................................................................*...................
        // mul v24.8h, v11.8h, v1.h[0]            // .....................................*................................|..........................................*............................... || ...............................................................................................................*.............................
        // sqrdmulh v11.8h, v11.8h, v1.h[1]       // ......................................*...............................|...........................................*.............................. || .................................................................................................................*...........................
        // mls v24.8h, v11.8h, v7.h[0]            // .........................................*............................|..............................................*........................... || .......................................................................................................................*.....................
        // sub     v11.8h,    v10.8h, v24.8h      // ................................................*.....................|.....................................................*.................... || ............................................................................................................................*................
        // add     v10.8h,    v10.8h, v24.8h      // ..................................................*...................|.......................................................*.................. || .............................................................................................................................*...............
        // mul v24.8h, v13.8h, v1.h[2]            // ........................................*.............................|.............................................*............................ || .....................................................................................................................*.......................
        // sqrdmulh v13.8h, v13.8h, v1.h[3]       // ...........................................*..........................|................................................*......................... || .........................................................................................................................*...................
        // mls v24.8h, v13.8h, v7.h[0]            // ...................................................*..................|........................................................*................. || ...............................................................................................................................*.............
        // sub     v13.8h,    v12.8h, v24.8h      // ........................................................*.............|.............................................................*............ || ....................................................................................................................................*........
        // add     v12.8h,    v12.8h, v24.8h      // .........................................................*............|..............................................................*........... || .....................................................................................................................................*.......
        // mul v24.8h, v15.8h, v1.h[4]            // ..............................................*.......................|...................................................*...................... || ...........................................................................................................................*.................
        // sqrdmulh v15.8h, v15.8h, v1.h[5]       // .................................................*....................|......................................................*................... || .............................................................................................................................*...............
        // mls v24.8h, v15.8h, v7.h[0]            // .......................................................*..............|............................................................*............. || ...................................................................................................................................*.........
        // sub     v15.8h,    v14.8h, v24.8h      // ...............................................................*......|....................................................................*..... || ........................................................................................................................................*....
        // add     v14.8h,    v14.8h, v24.8h      // ................................................................*.....|.....................................................................*.... || .........................................................................................................................................*...
        // str q8, [x0], #(16)                    // ...............................................*......................|....................................................*..................... || ............................................................................................................................*................
        // str q9, [x0, #(-16 + 1*(512/8))]       // .............................................*........................|..................................................*....................... || ...........................................................................................................................*.................
        // str q10, [x0, #(-16 + 2*(512/8))]      // .....................................................*................|..........................................................*............... || ................................................................................................................................*............
        // str q11, [x0, #(-16 + 3*(512/8))]      // ....................................................*.................|.........................................................*................ || ...............................................................................................................................*.............
        // str q12, [x0, #(-16 + 4*(512/8))]      // ..............................................................*.......|...................................................................*...... || ........................................................................................................................................*....
        // str q13, [x0, #(-16 + 5*(512/8))]      // .............................................................*........|..................................................................*....... || .......................................................................................................................................*.....
        // str q14, [x0, #(-16 + 6*(512/8))]      // ....................................................................*.|.........................................................................* || ............................................................................................................................................*
        // str q15, [x0, #(-16 + 7*(512/8))]      // ...................................................................*..|........................................................................*. || ...........................................................................................................................................*.
        
        sub count, count, #1
        cbnz count, layer123_start
        sub v26.8H, v16.8H, v26.8H               // .*..............................................................
        mls v30.8H, v2.8H, v7.H[0]               // .....*..........................................................
        ldr q15, [x0, #0]                        // *...............................................................
        ldr q11, [x0, #384]                      // ...*............................................................
        ldr q24, [x0, #128]                      // ..*.............................................................
        // gap                                   // ................................................................
        ldr q23, [x0, #320]                      // ......*.........................................................
        ldr q2, [x0, #64]                        // ....*...........................................................
        // gap                                   // ................................................................
        mul v9.8H, v26.8H, v0.H[4]               // .......*........................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        sub v10.8H, v15.8H, v31.8H               // ........*.......................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        add v15.8H, v15.8H, v31.8H               // .........*......................................................
        sqrdmulh v26.8H, v26.8H, v0.H[5]         // ..........*.....................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        sqrdmulh v17.8H, v11.8H, v0.H[1]         // ...........*....................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        mul v11.8H, v11.8H, v0.H[0]              // ............*...................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        sqrdmulh v16.8H, v23.8H, v0.H[1]         // .............*..................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        mls v11.8H, v17.8H, v7.H[0]              // ..............*.................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        mul v23.8H, v23.8H, v0.H[0]              // ...............*................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        mls v23.8H, v16.8H, v7.H[0]              // ................*...............................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        sub v17.8H, v24.8H, v11.8H               // .................*..............................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        add v11.8H, v24.8H, v11.8H               // ..................*.............................................
        mls v9.8H, v26.8H, v7.H[0]               // ...................*............................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        sqrdmulh v26.8H, v17.8H, v0.H[5]         // ......................*.........................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        add v24.8H, v2.8H, v23.8H                // ....................*...........................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        sub v23.8H, v2.8H, v23.8H                // .....................*..........................................
        sqrdmulh v2.8H, v11.8H, v0.H[3]          // .........................*......................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        mul v17.8H, v17.8H, v0.H[4]              // ............................*...................................
        sub v16.8H, v24.8H, v30.8H               // .......................*........................................
        // gap                                   // ................................................................
        add v24.8H, v24.8H, v30.8H               // ........................*.......................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        mls v17.8H, v26.8H, v7.H[0]              // .............................*..................................
        sub v26.8H, v23.8H, v9.8H                // ..........................*.....................................
        // gap                                   // ................................................................
        add v23.8H, v23.8H, v9.8H                // ...........................*....................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        mul v11.8H, v11.8H, v0.H[2]              // ..............................*.................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        mls v11.8H, v2.8H, v7.H[0]               // ...............................*................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        sub v30.8H, v10.8H, v17.8H               // ................................*...............................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        add v2.8H, v10.8H, v17.8H                // .................................*..............................
        mul v9.8H, v24.8H, v0.H[6]               // ..................................*.............................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        sqrdmulh v24.8H, v24.8H, v0.H[7]         // ...................................*............................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        sub v10.8H, v15.8H, v11.8H               // ....................................*...........................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        add v15.8H, v15.8H, v11.8H               // .....................................*..........................
        mul v11.8H, v16.8H, v1.H[0]              // ......................................*.........................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        sqrdmulh v17.8H, v16.8H, v1.H[1]         // .......................................*........................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        mls v9.8H, v24.8H, v7.H[0]               // ........................................*.......................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        mul v24.8H, v23.8H, v1.H[2]              // .........................................*......................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        mls v11.8H, v17.8H, v7.H[0]              // ..........................................*.....................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        add v17.8H, v15.8H, v9.8H                // .............................................*..................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        sqrdmulh v23.8H, v23.8H, v1.H[3]         // ............................................*...................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        str q17, [x0], #(16)                     // ................................................*...............
        sqrdmulh v17.8H, v26.8H, v1.H[5]         // ..................................................*.............
        // gap                                   // ................................................................
        sub v16.8H, v10.8H, v11.8H               // .................................................*..............
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        mul v26.8H, v26.8H, v1.H[4]              // ...............................................*................
        add v11.8H, v10.8H, v11.8H               // ...................................................*............
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        mls v24.8H, v23.8H, v7.H[0]              // ....................................................*...........
        str q16, [x0, #176]                      // .....................................................*..........
        // gap                                   // ................................................................
        str q11, [x0, #112]                      // ......................................................*.........
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        mls v26.8H, v17.8H, v7.H[0]              // .......................................................*........
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        sub v15.8H, v15.8H, v9.8H                // ...........................................*....................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        sub v11.8H, v2.8H, v24.8H                // ........................................................*.......
        add v24.8H, v2.8H, v24.8H                // .........................................................*......
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        sub v23.8H, v30.8H, v26.8H               // ............................................................*...
        add v26.8H, v30.8H, v26.8H               // .............................................................*..
        str q15, [x0, #48]                       // ..............................................*.................
        str q11, [x0, #304]                      // ..........................................................*.....
        str q24, [x0, #240]                      // ...........................................................*....
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        // gap                                   // ................................................................
        str q23, [x0, #432]                      // ..............................................................*.
        str q26, [x0, #368]                      // ...............................................................*
        // gap                                   // ................................................................
        
        // original source code
        // ldr q15, [x0, #0]                     // ..*............................................................. || *...............................................................
        // sub v26.8H, v16.8H, v26.8H            // *............................................................... || *...............................................................
        // ldr q11, [x0, #128]                   // ....*........................................................... || .*..............................................................
        // ldr q24, [x0, #384]                   // ...*............................................................ || .*..............................................................
        // ldr q23, [x0, #64]                    // ......*......................................................... || ..*.............................................................
        // mls v30.8H, v2.8H, v7.H[0]            // .*.............................................................. || *...............................................................
        // ldr q2, [x0, #320]                    // .....*.......................................................... || ..*.............................................................
        // mul v10.8H, v26.8H, v0.H[4]           // .......*........................................................ || ...*............................................................
        // sub v27.8H, v15.8H, v31.8H            // ........*....................................................... || ....*...........................................................
        // add v15.8H, v15.8H, v31.8H            // .........*...................................................... || .....*..........................................................
        // sqrdmulh v26.8H, v26.8H, v0.H[5]      // ..........*..................................................... || .....*..........................................................
        // sqrdmulh v31.8H, v24.8H, v0.H[1]      // ...........*.................................................... || .......*........................................................
        // mul v24.8H, v24.8H, v0.H[0]           // ............*................................................... || .........*......................................................
        // sqrdmulh v13.8H, v2.8H, v0.H[1]       // .............*.................................................. || ...........*....................................................
        // mls v24.8H, v31.8H, v7.H[0]           // ..............*................................................. || .............*..................................................
        // mul v2.8H, v2.8H, v0.H[0]             // ...............*................................................ || ...............*................................................
        // mls v2.8H, v13.8H, v7.H[0]            // ................*............................................... || .................*..............................................
        // sub v31.8H, v11.8H, v24.8H            // .................*.............................................. || ..................*.............................................
        // add v11.8H, v11.8H, v24.8H            // ..................*............................................. || ...................*............................................
        // mls v10.8H, v26.8H, v7.H[0]           // ...................*............................................ || ...................*............................................
        // add v24.8H, v23.8H, v2.8H             // .....................*.......................................... || ......................*.........................................
        // sub v23.8H, v23.8H, v2.8H             // ......................*......................................... || .......................*........................................
        // sqrdmulh v17.8H, v31.8H, v0.H[5]      // ....................*........................................... || .....................*..........................................
        // sub v13.8H, v24.8H, v30.8H            // .........................*...................................... || .........................*......................................
        // add v24.8H, v24.8H, v30.8H            // ..........................*..................................... || ..........................*.....................................
        // sqrdmulh v30.8H, v11.8H, v0.H[3]      // .......................*........................................ || .......................*........................................
        // sub v4.8H, v23.8H, v10.8H             // ............................*................................... || ...........................*....................................
        // add v23.8H, v23.8H, v10.8H            // .............................*.................................. || ............................*...................................
        // mul v10.8H, v31.8H, v0.H[4]           // ........................*....................................... || .........................*......................................
        // mls v10.8H, v17.8H, v7.H[0]           // ...........................*.................................... || ...........................*....................................
        // mul v11.8H, v11.8H, v0.H[2]           // ..............................*................................. || .............................*..................................
        // mls v11.8H, v30.8H, v7.H[0]           // ...............................*................................ || ...............................*................................
        // sub v30.8H, v27.8H, v10.8H            // ................................*............................... || ................................*...............................
        // add v10.8H, v27.8H, v10.8H            // .................................*.............................. || .................................*..............................
        // mul v17.8H, v24.8H, v0.H[6]           // ..................................*............................. || .................................*..............................
        // sqrdmulh v24.8H, v24.8H, v0.H[7]      // ...................................*............................ || ...................................*............................
        // sub v27.8H, v15.8H, v11.8H            // ....................................*........................... || ....................................*...........................
        // add v15.8H, v15.8H, v11.8H            // .....................................*.......................... || .....................................*..........................
        // mul v11.8H, v13.8H, v1.H[0]           // ......................................*......................... || .....................................*..........................
        // sqrdmulh v31.8H, v13.8H, v1.H[1]      // .......................................*........................ || .......................................*........................
        // mls v17.8H, v24.8H, v7.H[0]           // ........................................*....................... || .........................................*......................
        // mul v24.8H, v23.8H, v1.H[2]           // .........................................*...................... || ...........................................*....................
        // mls v11.8H, v31.8H, v7.H[0]           // ..........................................*..................... || .............................................*..................
        // sub v31.8H, v15.8H, v17.8H            // ......................................................*......... || .........................................................*......
        // sqrdmulh v23.8H, v23.8H, v1.H[3]      // ............................................*................... || ...............................................*................
        // add v15.8H, v15.8H, v17.8H            // ...........................................*.................... || ..............................................*.................
        // str q31, [x0, #64]                    // ...........................................................*.... || ............................................................*...
        // mul v17.8H, v4.8H, v1.H[4]            // ................................................*............... || ...................................................*............
        // str q15, [x0], #(16)                  // .............................................*.................. || .................................................*..............
        // sub v15.8H, v27.8H, v11.8H            // ...............................................*................ || ..................................................*.............
        // sqrdmulh v31.8H, v4.8H, v1.H[5]       // ..............................................*................. || .................................................*..............
        // add v11.8H, v27.8H, v11.8H            // .................................................*.............. || ...................................................*............
        // mls v24.8H, v23.8H, v7.H[0]           // ..................................................*............. || .....................................................*..........
        // str q15, [x0, #176]                   // ...................................................*............ || .....................................................*..........
        // str q11, [x0, #112]                   // ....................................................*........... || ......................................................*.........
        // mls v17.8H, v31.8H, v7.H[0]           // .....................................................*.......... || .......................................................*........
        // sub v15.8H, v10.8H, v24.8H            // .......................................................*........ || ..........................................................*.....
        // add v11.8H, v10.8H, v24.8H            // ........................................................*....... || ..........................................................*.....
        // str q15, [x0, #304]                   // ............................................................*... || .............................................................*..
        // str q11, [x0, #240]                   // .............................................................*.. || .............................................................*..
        // sub v15.8H, v30.8H, v17.8H            // .........................................................*...... || ............................................................*...
        // add v11.8H, v30.8H, v17.8H            // ..........................................................*..... || ............................................................*...
        // str q15, [x0, #432]                   // ..............................................................*. || ...............................................................*
        // str q11, [x0, #368]                   // ...............................................................* || ...............................................................*
        

        restore inp, STACK0
        mov count, #8

        .p2align 2
        ldr q5, [x3], #16                        // *..................................
        ldr q26, [x1, #48]                       // .*.................................
        // gap                                   // ...................................
        ldr q15, [x1, #32]                       // ....*..............................
        ldr q18, [x1, #0]                        // ..*................................
        // gap                                   // ...................................
        ldr q19, [x1, #16]                       // ...*...............................
        // gap                                   // ...................................
        // gap                                   // ...................................
        ldr q9, [x4, #16]                        // ................*..................
        // gap                                   // ...................................
        // gap                                   // ...................................
        sqrdmulh v11.8H, v26.8H, v5.H[1]         // .....*.............................
        ldr q28, [x4], #(6*16)                   // ......*............................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        sqrdmulh v31.8H, v15.8H, v5.H[1]         // ........*..........................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        mul v26.8H, v26.8H, v5.H[0]              // .......*...........................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        mls v26.8H, v11.8H, v7.H[0]              // .........*.........................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        mul v24.8H, v15.8H, v5.H[0]              // ..........*........................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        mls v24.8H, v31.8H, v7.H[0]              // ...........*.......................
        // gap                                   // ...................................
        // gap                                   // ...................................
        add v8.8H, v19.8H, v26.8H                // ....................*..............
        // gap                                   // ...................................
        // gap                                   // ...................................
        sub v0.8H, v19.8H, v26.8H                // ............*......................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        sqrdmulh v15.8H, v8.8H, v5.H[3]          // ........................*..........
        // gap                                   // ...................................
        // gap                                   // ...................................
        sub v4.8H, v18.8H, v24.8H                // ..............*....................
        // gap                                   // ...................................
        // gap                                   // ...................................
        mul v22.8H, v8.8H, v5.H[2]               // .........................*.........
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        sqrdmulh v27.8H, v0.8H, v5.H[5]          // .............*.....................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        mls v22.8H, v15.8H, v7.H[0]              // ..........................*........
        add v15.8H, v18.8H, v24.8H               // .......................*...........
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        mul v11.8H, v0.8H, v5.H[4]               // ...............*...................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        mls v11.8H, v27.8H, v7.H[0]              // .................*.................
        // gap                                   // ...................................
        // gap                                   // ...................................
        add v26.8H, v15.8H, v22.8H               // ...........................*.......
        // gap                                   // ...................................
        // gap                                   // ...................................
        sub v27.8H, v15.8H, v22.8H               // ............................*......
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        sub v25.8H, v4.8H, v11.8H                // ...................*...............
        add v8.8H, v4.8H, v11.8H                 // ..................*................
        // gap                                   // ...................................
        trn1 v12.4S, v26.4S, v27.4S              // .............................*.....
        trn2 v20.4S, v26.4S, v27.4S              // ..............................*....
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        trn1 v3.4S, v8.4S, v25.4S                // ......................*............
        trn2 v31.4S, v8.4S, v25.4S               // .....................*.............
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        trn2 v22.2D, v12.2D, v3.2D               // ................................*..
        // gap                                   // ...................................
        trn2 v6.2D, v20.2D, v31.2D               // ...............................*...
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        sqrdmulh v10.8H, v22.8H, v9.8H           // ..................................*
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        // gap                                   // ...................................
        mul v13.8H, v6.8H, v28.8H                // .................................*.
        
        // original source code
        // ldr q14, [x3], #16                     // *.................................. || *............................................
        // ldr q8, [x1, #48]                      // .*................................. || *............................................
        // ldr q30, [x1, #0]                      // ...*............................... || .*...........................................
        // ldr q6, [x1, #16]                      // ....*.............................. || ..*..........................................
        // ldr q17, [x1, #32]                     // ..*................................ || .*...........................................
        // sqrdmulh v16.8H, v8.8H, v14.H[1]       // ......*............................ || ....*........................................
        // ldr q28, [x4], #(6*16)                 // .......*........................... || ....*........................................
        // mul v25.8H, v8.8H, v14.H[0]            // .........*......................... || ........*....................................
        // sqrdmulh v21.8H, v17.8H, v14.H[1]      // ........*.......................... || ......*......................................
        // mls v25.8H, v16.8H, v7.H[0]            // ..........*........................ || ..........*..................................
        // mul v2.8H, v17.8H, v14.H[0]            // ...........*....................... || ............*................................
        // mls v2.8H, v21.8H, v7.H[0]             // ............*...................... || ..............*..............................
        // sub v21.8H, v6.8H, v25.8H              // ..............*.................... || ................*............................
        // sqrdmulh v22.8H, v21.8H, v14.H[5]      // ..................*................ || ......................*......................
        // sub v18.8H, v30.8H, v2.8H              // ................*.................. || ...................*.........................
        // mul v11.8H, v21.8H, v14.H[4]           // .....................*............. || ..........................*..................
        // ldr q9, [x4, #-80]                     // .....*............................. || ...*.........................................
        // mls v11.8H, v22.8H, v7.H[0]            // ......................*............ || ............................*................
        // add v4.8H, v18.8H, v11.8H              // ..........................*........ || .................................*...........
        // sub v20.8H, v18.8H, v11.8H             // .........................*......... || .................................*...........
        // add v10.8H, v6.8H, v25.8H              // .............*..................... || ...............*.............................
        // trn2 v31.4S, v4.4S, v20.4S             // ..............................*.... || ....................................*........
        // trn1 v3.4S, v4.4S, v20.4S              // .............................*..... || ....................................*........
        // add v4.8H, v30.8H, v2.8H               // ....................*.............. || ........................*....................
        // sqrdmulh v25.8H, v10.8H, v14.H[3]      // ...............*................... || ..................*..........................
        // mul v30.8H, v10.8H, v14.H[2]           // .................*................. || ....................*........................
        // mls v30.8H, v25.8H, v7.H[0]            // ...................*............... || ........................*....................
        // add v2.8H, v4.8H, v30.8H               // .......................*........... || .............................*...............
        // sub v20.8H, v4.8H, v30.8H              // ........................*.......... || ..............................*..............
        // trn1 v12.4S, v2.4S, v20.4S             // ...........................*....... || ..................................*..........
        // trn2 v20.4S, v2.4S, v20.4S             // ............................*...... || ..................................*..........
        // trn2 v6.2D, v20.2D, v31.2D             // ................................*.. || .......................................*.....
        // trn2 v22.2D, v12.2D, v3.2D             // ...............................*... || .......................................*.....
        // mul v13.8H, v6.8H, v28.8H              // ..................................* || ............................................*
        // sqrdmulh v10.8H, v22.8H, v9.8H         // .................................*. || ..........................................*..
        
        sub count, count, #1
layer4567_start:
        ldr q14, [x3], #16                                      // ....e...................................................................
        sqrdmulh v27.8H, v6.8H, v9.8H                           // .............................................*..........................
        ldr q8, [x1, #112]                                      // ...e....................................................................
        ldr q30, [x1, #64]                                      // e.......................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        ldr q6, [x1, #80]                                       // .e......................................................................
        // gap                                                  // ........................................................................
        mul v1.8H, v22.8H, v28.8H                               // .......................................*................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        ldr q17, [x1, #96]                                      // ..e.....................................................................
        sqrdmulh v16.8H, v8.8H, v14.H[1]                        // ...........e............................................................
        ldr q28, [x4], #(6*16)                                  // .................................e......................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        mul v25.8H, v8.8H, v14.H[0]                             // ..........e.............................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        sqrdmulh v21.8H, v17.8H, v14.H[1]                       // ......e.................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        mls v25.8H, v16.8H, v7.H[0]                             // ............e...........................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        mul v2.8H, v17.8H, v14.H[0]                             // .....e..................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        mls v2.8H, v21.8H, v7.H[0]                              // .......e................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        sub v21.8H, v6.8H, v25.8H                               // .............e..........................................................
        mls v13.8H, v27.8H, v7.H[0]                             // ..............................................*.........................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        sqrdmulh v22.8H, v21.8H, v14.H[5]                       // .....................e..................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        sub v18.8H, v30.8H, v2.8H                               // ........e...............................................................
        mul v11.8H, v21.8H, v14.H[4]                            // ....................e...................................................
        trn1 v4.2D, v20.2D, v31.2D                              // ................................*.......................................
        ldr q9, [x4, #-80]                                      // ..................................e.....................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        ldr q21, [x4, #-160]                                    // ...................................*....................................
        mls v1.8H, v10.8H, v7.H[0]                              // .........................................*..............................
        // gap                                                  // ........................................................................
        ldr q26, [x4, #-144]                                    // ....................................*...................................
        add v24.8H, v4.8H, v13.8H                               // ................................................*.......................
        // gap                                                  // ........................................................................
        ldr q23, [x4, #-128]                                    // .....................................*..................................
        mls v11.8H, v22.8H, v7.H[0]                             // ......................e.................................................
        sub v19.8H, v4.8H, v13.8H                               // ...............................................*........................
        ldr q8, [x4, #-112]                                     // ......................................*.................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        sqrdmulh v17.8H, v24.8H, v26.8H                         // ..................................................*.....................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        sqrdmulh v15.8H, v19.8H, v8.8H                          // .......................................................*................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        add v4.8H, v18.8H, v11.8H                               // ........................e...............................................
        sub v20.8H, v18.8H, v11.8H                              // .......................e................................................
        mul v26.8H, v19.8H, v23.8H                              // ......................................................*.................
        // gap                                                  // ........................................................................
        trn1 v23.2D, v12.2D, v3.2D                              // ...............................*........................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        add v10.8H, v6.8H, v25.8H                               // ..............e.........................................................
        mul v29.8H, v24.8H, v21.8H                              // .................................................*......................
        // gap                                                  // ........................................................................
        trn2 v31.4S, v4.4S, v20.4S                              // ............................e...........................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        mls v26.8H, v15.8H, v7.H[0]                             // ........................................................*...............
        // gap                                                  // ........................................................................
        add v27.8H, v23.8H, v1.8H                               // ...........................................*............................
        trn1 v3.4S, v4.4S, v20.4S                               // ...........................e............................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        add v4.8H, v30.8H, v2.8H                                // .........e..............................................................
        // gap                                                  // ........................................................................
        sqrdmulh v25.8H, v10.8H, v14.H[3]                       // ................e.......................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        sub v13.8H, v23.8H, v1.8H                               // ..........................................*.............................
        mls v29.8H, v17.8H, v7.H[0]                             // ...................................................*....................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        mul v30.8H, v10.8H, v14.H[2]                            // ...............e........................................................
        // gap                                                  // ........................................................................
        add v18.8H, v13.8H, v26.8H                              // ..........................................................*.............
        sub v19.8H, v13.8H, v26.8H                              // .........................................................*..............
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        mls v30.8H, v25.8H, v7.H[0]                             // .................e......................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        sqdmulh v10.8H, v19.8H, v7.H[1]                         // ....................................................................*...
        // gap                                                  // ........................................................................
        add v16.8H, v27.8H, v29.8H                              // .....................................................*..................
        sub v17.8H, v27.8H, v29.8H                              // ....................................................*...................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        sqdmulh v0.8H, v18.8H, v7.H[1]                          // .................................................................*......
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        add v2.8H, v4.8H, v30.8H                                // ...................e....................................................
        sub v20.8H, v4.8H, v30.8H                               // ..................e.....................................................
        sqdmulh v21.8H, v17.8H, v7.H[1]                         // ..............................................................*.........
        // gap                                                  // ........................................................................
        srshr v15.8H, v10.8H, #11                               // .....................................................................*..
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        sqdmulh v11.8H, v16.8H, v7.H[1]                         // ...........................................................*............
        srshr v27.8H, v0.8H, #11                                // ..................................................................*.....
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        mls v19.8H, v15.8H, v7.H[0]                             // ......................................................................*.
        trn1 v12.4S, v2.4S, v20.4S                              // .........................e..............................................
        // gap                                                  // ........................................................................
        srshr v4.8H, v21.8H, #11                                // ...............................................................*........
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        mls v18.8H, v27.8H, v7.H[0]                             // ...................................................................*....
        trn2 v20.4S, v2.4S, v20.4S                              // ..........................e.............................................
        // gap                                                  // ........................................................................
        srshr v29.8H, v11.8H, #11                               // ............................................................*...........
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        mls v17.8H, v4.8H, v7.H[0]                              // ................................................................*.......
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        trn2 v6.2D, v20.2D, v31.2D                              // ..............................e.........................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        mls v16.8H, v29.8H, v7.H[0]                             // .............................................................*..........
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        trn2 v22.2D, v12.2D, v3.2D                              // .............................e..........................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        mul v13.8H, v6.8H, v28.8H                               // ............................................e...........................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        sqrdmulh v10.8H, v22.8H, v9.8H                          // ........................................e...............................
        st4 {v16.4S, v17.4S, v18.4S, v19.4S}, [x1], #64         // .......................................................................*
        // gap                                                  // ........................................................................
        // gap                                                  // ........................................................................
        
        // original source code
        // ldr q8, [x1, #(16*0)]                              // ...e....................................................................|..e.................................................................... || .e..............................................................................................................................
        // ldr q9, [x1, #(16*1)]                              // ....e...................................................................|...e................................................................... || ..e.............................................................................................................................
        // ldr q10, [x1, #(16*2)]                             // ......e.................................................................|.....e................................................................. || ...e............................................................................................................................
        // ldr q11, [x1, #(16*3)]                             // ..e.....................................................................|.e..................................................................... || e...............................................................................................................................
        // ldr q0, [x3], #16                                  // e.......................................................................e....................................................................... || e...............................................................................................................................
        // mul v24.8h, v10.8h, v0.h[0]                        // ............e...........................................................|...........e........................................................... || ............e...................................................................................................................
        // sqrdmulh v10.8h, v10.8h, v0.h[1]                   // ..........e.............................................................|.........e............................................................. || ........e.......................................................................................................................
        // mls v24.8h, v10.8h, v7.h[0]                        // .............e..........................................................|............e.......................................................... || ..............e.................................................................................................................
        // sub     v10.8h,    v8.8h, v24.8h                   // .................e......................................................|................e...................................................... || ...................e............................................................................................................
        // add     v8.8h,    v8.8h, v24.8h                    // .........................................e..............................|........................................e.............................. || ....................................e...........................................................................................
        // mul v24.8h, v11.8h, v0.h[0]                        // .........e..............................................................|........e.............................................................. || ......e.........................................................................................................................
        // sqrdmulh v11.8h, v11.8h, v0.h[1]                   // .......e................................................................|......e................................................................ || ....e...........................................................................................................................
        // mls v24.8h, v11.8h, v7.h[0]                        // ...........e............................................................|..........e............................................................ || ..........e.....................................................................................................................
        // sub     v11.8h,    v9.8h, v24.8h                   // ..............e.........................................................|.............e......................................................... || ...............e................................................................................................................
        // add     v9.8h,    v9.8h, v24.8h                    // ...................................e....................................|..................................e.................................... || ................................e...............................................................................................
        // mul v24.8h, v9.8h, v0.h[2]                         // .............................................e..........................|............................................e.......................... || ........................................e.......................................................................................
        // sqrdmulh v9.8h, v9.8h, v0.h[3]                     // ..........................................e.............................|.........................................e............................. || ....................................e...........................................................................................
        // mls v24.8h, v9.8h, v7.h[0]                         // ................................................e.......................|...............................................e....................... || ..........................................e.....................................................................................
        // sub     v9.8h,    v8.8h, v24.8h                    // ......................................................e.................|.....................................................e................. || ................................................e...............................................................................
        // add     v8.8h,    v8.8h, v24.8h                    // .....................................................e..................|....................................................e.................. || ...............................................e................................................................................
        // mul v24.8h, v11.8h, v0.h[4]                        // ..................e.....................................................|.................e..................................................... || ....................e...........................................................................................................
        // sqrdmulh v11.8h, v11.8h, v0.h[5]                   // ................e.......................................................|...............e....................................................... || ..................e.............................................................................................................
        // mls v24.8h, v11.8h, v7.h[0]                        // ..........................e.............................................|.........................e............................................. || ........................e.......................................................................................................
        // sub     v11.8h,    v10.8h, v24.8h                  // ................................e.......................................|...............................e....................................... || ..............................e.................................................................................................
        // add     v10.8h,    v10.8h, v24.8h                  // ...............................e........................................|..............................e........................................ || .............................e..................................................................................................
        // trn1 v25.4s, v8.4s, v9.4s                          // ............................................................e...........|...........................................................e........... || ....................................................e...........................................................................
        // trn2 v26.4s, v8.4s, v9.4s                          // ...............................................................e........|..............................................................e........ || ......................................................e.........................................................................
        // trn1 v27.4s, v10.4s, v11.4s                        // ........................................e...............................|.......................................e............................... || ...................................e............................................................................................
        // trn2 v28.4s, v10.4s, v11.4s                        // .....................................e..................................|....................................e.................................. || .................................e..............................................................................................
        // trn2 v10.2d, v25.2d, v27.2d                        // ....................................................................e...|...................................................................e... || ...........................................................e....................................................................
        // trn2 v11.2d, v26.2d, v28.2d                        // ..................................................................e.....|.................................................................e..... || .........................................................e......................................................................
        // trn1 v8.2d, v25.2d, v27.2d                         // ..................................*.....................................|.................................*..................................... || ...............................................................................................*................................
        // trn1 v9.2d, v26.2d, v28.2d                         // ...................*....................................................|..................*.................................................... || ....................................................................................*...........................................
        // ldr q0, [x4], #(6*16)                              // ........e...............................................................|.......e............................................................... || ....e...........................................................................................................................
        // ldr q4, [x4, #(-6*16 + 1*16)]                      // ....................e...................................................|...................e................................................... || ....................e...........................................................................................................
        // ldr q1, [x4, #(-6*16 + 2*16)]                      // .....................*..................................................|....................*.................................................. || .....................................................................................*..........................................
        // ldr q5, [x4, #(-6*16 + 3*16)]                      // .......................*................................................|......................*................................................ || ......................................................................................*.........................................
        // ldr q2, [x4, #(-6*16 + 4*16)]                      // .........................*..............................................|........................*.............................................. || .......................................................................................*........................................
        // ldr q6, [x4, #(-6*16 + 5*16)]                      // ............................*...........................................|...........................*........................................... || ........................................................................................*.......................................
        // mul        v24.8h,  v10.8h, v0.8h                  // .....*..................................................................|....*.................................................................. || ..................................................................*.............................................................
        // sqrdmulh v10.8h, v10.8h, v4.8h                     // ......................................................................e.|.....................................................................e. || ..............................................................e.................................................................
        // mls v24.8h, v10.8h, v7.h[0]                        // ......................*.................................................|.....................*................................................. || ......................................................................................*.........................................
        // sub    v10.8h,    v8.8h, v24.8h                    // ...........................................*............................|..........................................*............................ || .....................................................................................................*..........................
        // add    v8.8h,    v8.8h, v24.8h                     // .......................................*................................|......................................*................................ || ..................................................................................................*.............................
        // mul        v24.8h,  v11.8h, v0.8h                  // .....................................................................e..|....................................................................e.. || ............................................................e...................................................................
        // sqrdmulh v11.8h, v11.8h, v4.8h                     // .*......................................................................|*...................................................................... || ................................................................*...............................................................
        // mls v24.8h, v11.8h, v7.h[0]                        // ...............*........................................................|..............*........................................................ || ................................................................................*...............................................
        // sub    v11.8h,    v9.8h, v24.8h                    // ...........................*............................................|..........................*............................................ || ........................................................................................*.......................................
        // add    v9.8h,    v9.8h, v24.8h                     // ........................*...............................................|.......................*............................................... || .......................................................................................*........................................
        // mul        v24.8h,  v9.8h, v1.8h                   // ....................................*...................................|...................................*................................... || ................................................................................................*...............................
        // sqrdmulh v9.8h, v9.8h, v5.8h                       // .............................*..........................................|............................*.......................................... || ..........................................................................................*.....................................
        // mls v24.8h, v9.8h, v7.h[0]                         // ............................................*...........................|...........................................*........................... || ......................................................................................................*.........................
        // sub    v9.8h,    v8.8h, v24.8h                     // ...................................................*....................|..................................................*.................... || .............................................................................................................*..................
        // add    v8.8h,    v8.8h, v24.8h                     // ..................................................*.....................|.................................................*..................... || ............................................................................................................*...................
        // mul        v24.8h,  v11.8h, v2.8h                  // .................................*......................................|................................*...................................... || ..............................................................................................*.................................
        // sqrdmulh v11.8h, v11.8h, v6.8h                     // ..............................*.........................................|.............................*......................................... || ............................................................................................*...................................
        // mls v24.8h, v11.8h, v7.h[0]                        // ......................................*.................................|.....................................*................................. || ..................................................................................................*.............................
        // sub    v11.8h,    v10.8h, v24.8h                   // ...............................................*........................|..............................................*........................ || .........................................................................................................*......................
        // add    v10.8h,    v10.8h, v24.8h                   // ..............................................*.........................|.............................................*......................... || ........................................................................................................*.......................
        // sqdmulh v25.8h, v8.8h, v7.h[1]                     // .........................................................*..............|........................................................*.............. || ..................................................................................................................*.............
        // srshr    v25.8h, v25.8h, #11                       // ................................................................*.......|...............................................................*....... || .......................................................................................................................*........
        // mls v8.8h, v25.8h, v7.h[0]                         // ...................................................................*....|..................................................................*.... || ..........................................................................................................................*.....
        // sqdmulh v25.8h, v9.8h, v7.h[1]                     // .......................................................*................|......................................................*................ || ................................................................................................................*...............
        // srshr    v25.8h, v25.8h, #11                       // .............................................................*..........|............................................................*.......... || .....................................................................................................................*..........
        // mls v9.8h, v25.8h, v7.h[0]                         // .................................................................*......|................................................................*...... || ........................................................................................................................*.......
        // sqdmulh v25.8h, v10.8h, v7.h[1]                    // ....................................................*...................|...................................................*................... || ..............................................................................................................*.................
        // srshr    v25.8h, v25.8h, #11                       // ..........................................................*.............|.........................................................*............. || ...................................................................................................................*............
        // mls v10.8h, v25.8h, v7.h[0]                        // ..............................................................*.........|.............................................................*......... || ......................................................................................................................*.........
        // sqdmulh v25.8h, v11.8h, v7.h[1]                    // .................................................*......................|................................................*...................... || ............................................................................................................*...................
        // srshr    v25.8h, v25.8h, #11                       // ........................................................*...............|.......................................................*............... || .................................................................................................................*..............
        // mls v11.8h, v25.8h, v7.h[0]                        // ...........................................................*............|..........................................................*............ || ....................................................................................................................*...........
        // st4 {v8.4S, v9.4S, v10.4S, v11.4S}, [x1], #64      // .......................................................................*|......................................................................* || ...............................................................................................................................*
        
        sub count, count, #1
        cbnz count, layer4567_start
        ldr q11, [x4, #-64]                                     // ....*................................
        sqrdmulh v26.8H, v6.8H, v9.8H                           // *....................................
        trn1 v15.2D, v20.2D, v31.2D                             // ...*.................................
        trn1 v24.2D, v12.2D, v3.2D                              // ..............*......................
        ldr q23, [x4, #-48]                                     // ......*..............................
        ldr q30, [x4, #-32]                                     // ........*............................
        mul v0.8H, v22.8H, v28.8H                               // .*...................................
        ldr q2, [x4, #-16]                                      // ..........*..........................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        mls v13.8H, v26.8H, v7.H[0]                             // ..*..................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        mls v0.8H, v10.8H, v7.H[0]                              // .....*...............................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        add v26.8H, v15.8H, v13.8H                              // .......*.............................
        sub v15.8H, v15.8H, v13.8H                              // .........*...........................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        add v9.8H, v24.8H, v0.8H                                // .................*...................
        sub v24.8H, v24.8H, v0.8H                               // ..................*..................
        // gap                                                  // .....................................
        sqrdmulh v23.8H, v26.8H, v23.8H                         // ...........*.........................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        mul v26.8H, v26.8H, v11.8H                              // ...............*.....................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        sqrdmulh v11.8H, v15.8H, v2.8H                          // ............*........................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        mls v26.8H, v23.8H, v7.H[0]                             // ...................*.................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        mul v15.8H, v15.8H, v30.8H                              // .............*.......................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        mls v15.8H, v11.8H, v7.H[0]                             // ................*....................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        add v11.8H, v9.8H, v26.8H                               // .......................*.............
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        sub v12.8H, v9.8H, v26.8H                               // ........................*............
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        sqdmulh v26.8H, v11.8H, v7.H[1]                         // ............................*........
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        add v13.8H, v24.8H, v15.8H                              // ....................*................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        sub v14.8H, v24.8H, v15.8H                              // .....................*...............
        sqdmulh v15.8H, v12.8H, v7.H[1]                         // ..........................*..........
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        sqdmulh v24.8H, v13.8H, v7.H[1]                         // .........................*...........
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        srshr v26.8H, v26.8H, #11                               // .................................*...
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        sqdmulh v23.8H, v14.8H, v7.H[1]                         // ......................*..............
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        srshr v15.8H, v15.8H, #11                               // ...............................*.....
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        mls v11.8H, v26.8H, v7.H[0]                             // ...................................*.
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        srshr v26.8H, v24.8H, #11                               // .............................*.......
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        mls v12.8H, v15.8H, v7.H[0]                             // ..................................*..
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        srshr v15.8H, v23.8H, #11                               // ...........................*.........
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        mls v13.8H, v26.8H, v7.H[0]                             // ................................*....
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        mls v14.8H, v15.8H, v7.H[0]                             // ..............................*......
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        st4 {v11.4S, v12.4S, v13.4S, v14.4S}, [x1], #64         // ....................................*
        // gap                                                  // .....................................
        // gap                                                  // .....................................
        
        // original source code
        // sqrdmulh v27.8H, v6.8H, v9.8H                        // .*................................... || *..............................................
        // mul v1.8H, v22.8H, v28.8H                            // ......*.............................. || ..*............................................
        // mls v13.8H, v27.8H, v7.H[0]                          // ........*............................ || .....*.........................................
        // trn1 v4.2D, v20.2D, v31.2D                           // ..*.................................. || *..............................................
        // ldr q21, [x4, #-64]                                  // *.................................... || *..............................................
        // mls v1.8H, v10.8H, v7.H[0]                           // .........*........................... || .......*.......................................
        // ldr q26, [x4, #-48]                                  // ....*................................ || .*.............................................
        // add v24.8H, v4.8H, v13.8H                            // ..........*.......................... || ..........*....................................
        // ldr q23, [x4, #-32]                                  // .....*............................... || .*.............................................
        // sub v19.8H, v4.8H, v13.8H                            // ...........*......................... || ..........*....................................
        // ldr q8, [x4, #-16]                                   // .......*............................. || ..*............................................
        // sqrdmulh v17.8H, v24.8H, v26.8H                      // ..............*...................... || .............*.................................
        // sqrdmulh v15.8H, v19.8H, v8.8H                       // ................*.................... || .................*.............................
        // mul v26.8H, v19.8H, v23.8H                           // ..................*.................. || .....................*.........................
        // trn1 v23.2D, v12.2D, v3.2D                           // ...*................................. || .*.............................................
        // mul v29.8H, v24.8H, v21.8H                           // ...............*..................... || ...............*...............................
        // mls v26.8H, v15.8H, v7.H[0]                          // ...................*................. || .......................*.......................
        // add v27.8H, v23.8H, v1.8H                            // ............*........................ || ............*..................................
        // sub v13.8H, v23.8H, v1.8H                            // .............*....................... || ............*..................................
        // mls v29.8H, v17.8H, v7.H[0]                          // .................*................... || ...................*...........................
        // add v18.8H, v13.8H, v26.8H                           // .......................*............. || ............................*..................
        // sub v19.8H, v13.8H, v26.8H                           // ........................*............ || .............................*.................
        // sqdmulh v10.8H, v19.8H, v7.H[1]                      // ............................*........ || .................................*.............
        // add v16.8H, v27.8H, v29.8H                           // ....................*................ || ........................*......................
        // sub v17.8H, v27.8H, v29.8H                           // .....................*............... || .........................*.....................
        // sqdmulh v0.8H, v18.8H, v7.H[1]                       // ..........................*.......... || ...............................*...............
        // sqdmulh v21.8H, v17.8H, v7.H[1]                      // .........................*........... || .............................*.................
        // srshr v15.8H, v10.8H, #11                            // .................................*... || ......................................*........
        // sqdmulh v11.8H, v16.8H, v7.H[1]                      // ......................*.............. || ...........................*...................
        // srshr v27.8H, v0.8H, #11                             // ...............................*..... || ....................................*..........
        // mls v19.8H, v15.8H, v7.H[0]                          // ...................................*. || .........................................*.....
        // srshr v4.8H, v21.8H, #11                             // .............................*....... || ..................................*............
        // mls v18.8H, v27.8H, v7.H[0]                          // ..................................*.. || .......................................*.......
        // srshr v29.8H, v11.8H, #11                            // ...........................*......... || ................................*..............
        // mls v17.8H, v4.8H, v7.H[0]                           // ................................*.... || .....................................*.........
        // mls v16.8H, v29.8H, v7.H[0]                          // ..............................*...... || ...................................*...........
        // st4 {v16.4S, v17.4S, v18.4S, v19.4S}, [x1], #64      // ....................................* || ..............................................*
        

       pop_stack
       ret