| @/***************************************************************************** |
| @* |
| @* Copyright (C) 2012 Ittiam Systems Pvt Ltd, Bangalore |
| @* |
| @* Licensed under the Apache License, Version 2.0 (the "License"); |
| @* you may not use this file except in compliance with the License. |
| @* You may obtain a copy of the License at: |
| @* |
| @* http://www.apache.org/licenses/LICENSE-2.0 |
| @* |
| @* Unless required by applicable law or agreed to in writing, software |
| @* distributed under the License is distributed on an "AS IS" BASIS, |
| @* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. |
| @* See the License for the specific language governing permissions and |
| @* limitations under the License. |
| @* |
| @*****************************************************************************/ |
| @/** |
| @ ******************************************************************************* |
| @ * @file |
| @ * ihevc_itrans_recon_8x8_neon.s |
| @ * |
| @ * @brief |
| @ * contains function definitions for single stage inverse transform |
| @ * |
| @ * @author |
| @ * anand s |
| @ * |
| @ * @par list of functions: |
| @ * - ihevc_itrans_recon_32x32() |
| @ * |
| @ * @remarks |
| @ * the input buffer is being corrupted |
| @ * |
| @ ******************************************************************************* |
| @*/ |
| |
| @/** |
| @ ******************************************************************************* |
| @ * |
| @ * @brief |
| @ * this function performs inverse transform and reconstruction for 8x8 |
| @ * input block |
| @ * |
| @ * @par description: |
| @ * performs inverse transform and adds the prediction data and clips output |
| @ * to 8 bit |
| @ * |
| @ * @param[in] pi2_src |
| @ * input 16x16 coefficients |
| @ * |
| @ * @param[in] pi2_tmp |
| @ * temporary 16x16 buffer for storing inverse |
| @ * |
| @ * transform |
| @ * 1st stage output |
| @ * |
| @ * @param[in] pu1_pred |
| @ * prediction 16x16 block |
| @ * |
| @ * @param[out] pu1_dst |
| @ * output 8x8 block |
| @ * |
| @ * @param[in] src_strd |
| @ * input stride |
| @ * |
| @ * @param[in] pred_strd |
| @ * prediction stride |
| @ * |
| @ * @param[in] dst_strd |
| @ * output stride |
| @ * |
| @ * @param[in] shift |
| @ * output shift |
| @ * |
| @ * @param[in] r12 |
| @ * zero columns in pi2_src |
| @ * |
| @ * @returns void |
| @ * |
| @ * @remarks |
| @ * none |
| @ * |
| @ ******************************************************************************* |
| @ */ |
| |
| @void ihevc_itrans_recon_32x32(word16 *pi2_src, |
| @ word16 *pi2_tmp, |
| @ uword8 *pu1_pred, |
| @ uword8 *pu1_dst, |
| @ word32 src_strd, |
| @ word32 pred_strd, |
| @ word32 dst_strd, |
| @ word32 r12 |
| @ word32 r11 ) |
| |
| @**************variables vs registers************************* |
| @ r0 => *pi2_src |
| @ r1 => *pi2_tmp |
| @ r2 => *pu1_pred |
| @ r3 => *pu1_dst |
| @ src_strd |
| @ pred_strd |
| @ dst_strd |
| @ r12 |
| @ r11 |
| |
| |
| @d0[0]= 64 d2[0]=83 |
| @d0[1]= 90 d2[1]=82 |
| @d0[2]= 90 d2[2]=80 |
| @d0[3]= 90 d2[3]=78 |
| @d1[0]= 89 d3[0]=75 |
| @d1[1]= 88 d3[1]=73 |
| @d1[2]= 87 d3[2]=70 |
| @d1[3]= 85 d3[3]=67 |
| |
| @d4[0]= 64 d6[0]=36 |
| @d4[1]= 61 d6[1]=31 |
| @d4[2]= 57 d6[2]=25 |
| @d4[3]= 54 d6[3]=22 |
| @d5[0]= 50 d7[0]=18 |
| @d5[1]= 46 d7[1]=13 |
| @d5[2]= 43 d7[2]=9 |
| @d5[3]= 38 d7[3]=4 |
| |
| .text |
| .align 4 |
| |
| |
| |
| |
| |
| .set shift_stage1_idct , 7 |
| .set shift_stage2_idct , 12 |
| |
| @#define zero_cols r12 |
| @#define zero_rows r11 |
| |
| .globl ihevc_itrans_recon_32x32_a9q |
| |
| .extern g_ai2_ihevc_trans_32_transpose |
| |
| g_ai2_ihevc_trans_32_transpose_addr: |
| .long g_ai2_ihevc_trans_32_transpose - ulbl1 - 8 |
| |
| r5_addr: .word 0xfffff000 |
| r9_addr: .word 0xffff0000 |
| |
| .type ihevc_itrans_recon_32x32_a9q, %function |
| |
| ihevc_itrans_recon_32x32_a9q: |
| |
| stmfd sp!,{r0-r12,lr} |
| |
| |
| @ldr r8,[sp,#56] @ prediction stride |
| @ldr r7,[sp,#64] @ destination stride |
| ldr r6,[sp,#56] @ src stride |
| ldr r12,[sp,#68] |
| ldr r11,[sp,#72] |
| mov r6,r6,lsl #1 @ x sizeof(word16) |
| add r10,r6,r6, lsl #1 @ 3 rows |
| |
| |
| mov r8,r0 |
| |
| ldr r14,g_ai2_ihevc_trans_32_transpose_addr |
| ulbl1: |
| add r14,r14,pc |
| vld1.16 {d0,d1,d2,d3},[r14]! |
| vld1.16 {d4,d5,d6,d7},[r14]! |
| |
| @registers which are free |
| @ r10,r9,r11,r12 |
| mov r9,#0xffffff00 |
| mov r10,#0xfffffff0 |
| ldr r5,r5_addr |
| ldr r7,r9_addr |
| cmp r12,r10 |
| movhs r14,#1 |
| bhs stage1 |
| |
| |
| cmp r12,r9 |
| movhs r14,#2 |
| bhs stage1 |
| |
| cmp r12,r5 |
| movhs r14,#3 |
| bhs stage1 |
| |
| cmp r12,r7 |
| movhs r14,#4 |
| |
| mov r14,#8 |
| b stage1 |
| @.ltorg |
| |
| |
| dct_stage1: |
| add r8,r8,#8 |
| mov r0,r8 |
| |
| stage1: |
| vld1.16 d10,[r0],r6 |
| vld1.16 d8,[r0],r6 |
| vld1.16 d11,[r0],r6 |
| vld1.16 d9,[r0],r6 |
| |
| vmull.s16 q12,d8,d0[1] @// y1 * cos1(part of b0) |
| vmull.s16 q13,d8,d0[3] @// y1 * cos3(part of b1) |
| vmull.s16 q14,d8,d1[1] @// y1 * sin3(part of b2) |
| vmull.s16 q15,d8,d1[3] @// y1 * sin1(part of b3) |
| |
| vmlal.s16 q12,d9,d0[3] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlal.s16 q13,d9,d2[1] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlal.s16 q14,d9,d3[3] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlal.s16 q15,d9,d5[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmull.s16 q10,d10,d0[0] |
| vmlal.s16 q10,d11,d0[2] |
| |
| |
| vmull.s16 q11,d10,d0[0] |
| vmlal.s16 q11,d11,d1[2] |
| |
| vmull.s16 q8,d10,d0[0] |
| vmlal.s16 q8,d11,d2[2] |
| |
| vmull.s16 q9,d10,d0[0] |
| vmlal.s16 q9,d11,d3[2] |
| cmp r11,r10 |
| bhs shift1 |
| |
| vld1.16 d12,[r0],r6 |
| vld1.16 d14,[r0],r6 |
| vld1.16 d13,[r0],r6 |
| vld1.16 d15,[r0],r6 |
| |
| |
| |
| |
| |
| |
| |
| vmlal.s16 q12,d14,d1[1] |
| vmlal.s16 q13,d14,d3[3] |
| vmlal.s16 q14,d14,d6[1] |
| vmlsl.s16 q15,d14,d7[1] |
| |
| |
| vmlal.s16 q12,d15,d1[3] |
| vmlal.s16 q13,d15,d5[1] |
| vmlsl.s16 q14,d15,d7[1] |
| vmlsl.s16 q15,d15,d3[3] |
| |
| |
| vmlal.s16 q10,d12,d1[0] |
| vmlal.s16 q10,d13,d1[2] |
| vmlal.s16 q11,d12,d3[0] |
| vmlal.s16 q11,d13,d4[2] |
| vmlal.s16 q8,d12,d5[0] |
| vmlal.s16 q8,d13,d7[2] |
| vmlal.s16 q9,d12,d7[0] |
| vmlsl.s16 q9,d13,d5[2] |
| |
| cmp r11,r9 |
| bhs shift1 |
| |
| vld1.16 d10,[r0],r6 |
| vld1.16 d8,[r0],r6 |
| vld1.16 d11,[r0],r6 |
| vld1.16 d9,[r0],r6 |
| |
| |
| vmlal.s16 q12,d8,d2[1] @// y1 * cos1(part of b0) |
| vmlal.s16 q13,d8,d6[3] @// y1 * cos3(part of b1) |
| vmlsl.s16 q14,d8,d4[3] @// y1 * sin3(part of b2) |
| vmlsl.s16 q15,d8,d0[1] @// y1 * sin1(part of b3) |
| |
| vmlal.s16 q12,d9,d2[3] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d7[3] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlsl.s16 q14,d9,d2[1] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlsl.s16 q15,d9,d3[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlal.s16 q10,d10,d2[0] |
| vmlal.s16 q10,d11,d2[2] |
| |
| |
| vmlal.s16 q11,d10,d6[0] |
| vmlal.s16 q11,d11,d7[2] |
| |
| vmlsl.s16 q8,d10,d6[0] |
| vmlsl.s16 q8,d11,d3[2] |
| |
| vmlsl.s16 q9,d10,d2[0] |
| vmlsl.s16 q9,d11,d1[2] |
| |
| cmp r11,r5 |
| bhs shift1 |
| |
| |
| vld1.16 d12,[r0],r6 |
| vld1.16 d14,[r0],r6 |
| vld1.16 d13,[r0],r6 |
| vld1.16 d15,[r0],r6 |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| vmlal.s16 q12,d14,d3[1] |
| vmlsl.s16 q13,d14,d6[1] |
| vmlsl.s16 q14,d14,d0[1] |
| vmlsl.s16 q15,d14,d6[3] |
| |
| |
| vmlal.s16 q12,d15,d3[3] |
| vmlsl.s16 q13,d15,d4[3] |
| vmlsl.s16 q14,d15,d2[3] |
| vmlal.s16 q15,d15,d5[3] |
| |
| |
| vmlal.s16 q10,d12,d3[0] |
| vmlal.s16 q10,d13,d3[2] |
| vmlsl.s16 q11,d12,d7[0] |
| vmlsl.s16 q11,d13,d5[2] |
| vmlsl.s16 q8,d12,d1[0] |
| vmlsl.s16 q8,d13,d1[2] |
| vmlsl.s16 q9,d12,d5[0] |
| vmlal.s16 q9,d13,d7[2] |
| |
| cmp r11,r7 |
| bhs shift1 |
| |
| |
| vld1.16 d10,[r0],r6 |
| vld1.16 d8,[r0],r6 |
| vld1.16 d11,[r0],r6 |
| vld1.16 d9,[r0],r6 |
| |
| |
| |
| vmlal.s16 q12,d8,d4[1] @// y1 * cos1(part of b0) |
| vmlsl.s16 q13,d8,d3[1] @// y1 * cos3(part of b1) |
| vmlsl.s16 q14,d8,d5[1] @// y1 * sin3(part of b2) |
| vmlal.s16 q15,d8,d2[1] @// y1 * sin1(part of b3) |
| |
| vmlal.s16 q12,d9,d4[3] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d1[3] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlsl.s16 q14,d9,d7[3] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlal.s16 q15,d9,d1[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlal.s16 q10,d10,d0[0] |
| vmlal.s16 q10,d11,d4[2] |
| |
| |
| vmlsl.s16 q11,d10,d0[0] |
| vmlsl.s16 q11,d11,d2[2] |
| |
| vmlsl.s16 q8,d10,d0[0] |
| vmlsl.s16 q8,d11,d6[2] |
| |
| vmlal.s16 q9,d10,d0[0] |
| vmlal.s16 q9,d11,d0[2] |
| |
| |
| |
| vld1.16 d12,[r0],r6 |
| vld1.16 d14,[r0],r6 |
| vld1.16 d13,[r0],r6 |
| vld1.16 d15,[r0],r6 |
| |
| |
| |
| |
| vmlal.s16 q12,d14,d5[1] |
| vmlsl.s16 q13,d14,d0[2] |
| vmlal.s16 q14,d14,d5[3] |
| vmlal.s16 q15,d14,d4[3] |
| |
| |
| vmlal.s16 q12,d15,d5[3] |
| vmlsl.s16 q13,d15,d1[1] |
| vmlal.s16 q14,d15,d3[1] |
| vmlsl.s16 q15,d15,d7[3] |
| |
| |
| vmlal.s16 q10,d12,d5[0] |
| vmlal.s16 q10,d13,d5[2] |
| vmlsl.s16 q11,d12,d1[0] |
| vmlsl.s16 q11,d13,d0[2] |
| vmlal.s16 q8,d12,d7[0] |
| vmlal.s16 q8,d13,d4[2] |
| vmlal.s16 q9,d12,d3[0] |
| vmlal.s16 q9,d13,d6[2] |
| |
| |
| vld1.16 d10,[r0],r6 |
| vld1.16 d8,[r0],r6 |
| vld1.16 d11,[r0],r6 |
| vld1.16 d9,[r0],r6 |
| |
| |
| |
| |
| |
| |
| |
| vmlal.s16 q12,d8,d6[1] @// y1 * cos1(part of b0) |
| vmlsl.s16 q13,d8,d2[3] @// y1 * cos3(part of b1) |
| vmlal.s16 q14,d8,d0[1] @// y1 * sin3(part of b2) |
| vmlsl.s16 q15,d8,d4[1] @// y1 * sin1(part of b3) |
| |
| vmlal.s16 q12,d9,d6[3] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d4[1] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlal.s16 q14,d9,d1[3] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlsl.s16 q15,d9,d0[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlal.s16 q10,d10,d6[0] |
| vmlal.s16 q10,d11,d6[2] |
| |
| |
| vmlsl.s16 q11,d10,d2[0] |
| vmlsl.s16 q11,d11,d3[2] |
| |
| vmlal.s16 q8,d10,d2[0] |
| vmlal.s16 q8,d11,d0[2] |
| |
| vmlsl.s16 q9,d10,d6[0] |
| vmlsl.s16 q9,d11,d2[2] |
| |
| vld1.16 d12,[r0],r6 |
| vld1.16 d14,[r0],r6 |
| vld1.16 d13,[r0],r6 |
| vld1.16 d15,[r0],r6 |
| |
| |
| vmlal.s16 q12,d14,d7[1] |
| vmlsl.s16 q13,d14,d5[3] |
| vmlal.s16 q14,d14,d4[1] |
| vmlsl.s16 q15,d14,d2[3] |
| |
| |
| vmlal.s16 q12,d15,d7[3] |
| vmlsl.s16 q13,d15,d7[1] |
| vmlal.s16 q14,d15,d6[3] |
| vmlsl.s16 q15,d15,d6[1] |
| |
| |
| vmlal.s16 q10,d12,d7[0] |
| vmlal.s16 q10,d13,d7[2] |
| vmlsl.s16 q11,d12,d5[0] |
| vmlsl.s16 q11,d13,d6[2] |
| vmlal.s16 q8,d12,d3[0] |
| vmlal.s16 q8,d13,d5[2] |
| vmlsl.s16 q9,d12,d1[0] |
| vmlsl.s16 q9,d13,d4[2] |
| |
| |
| |
| shift1: |
| vadd.s32 q4,q10,q12 |
| vsub.s32 q5,q10,q12 |
| |
| vadd.s32 q6,q11,q13 |
| vsub.s32 q12,q11,q13 |
| |
| vadd.s32 q7,q8,q14 |
| vsub.s32 q13,q8,q14 |
| |
| |
| vadd.s32 q8,q9,q15 |
| vsub.s32 q14,q9,q15 |
| |
| |
| vqrshrn.s32 d30,q4,#shift_stage1_idct @// r0 = (a0 + b0 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d19,q5,#shift_stage1_idct @// r7 = (a0 - b0 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d31,q7,#shift_stage1_idct @// r2 = (a2 + b2 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d18,q13,#shift_stage1_idct @// r5 = (a2 - b2 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d12,q6,#shift_stage1_idct @// r1 = (a1 + b1 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d15,q12,#shift_stage1_idct @// r6 = (a1 - b1 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d13,q8,#shift_stage1_idct @// r3 = (a3 + b3 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d14,q14,#shift_stage1_idct @// r4 = (a3 - b3 + rnd) >> 7(shift_stage1_idct) |
| |
| |
| @ registers used q15,q14,q6,q7 |
| |
| |
| vtrn.16 q15,q6 |
| vtrn.16 q7,q9 |
| |
| vtrn.32 d30,d31 |
| vtrn.32 d12,d13 |
| vtrn.32 d14,d15 |
| vtrn.32 d18,d19 |
| |
| |
| @ d30 =r0 1- 4 values |
| @ d31 =r2 1- 4 values |
| @ d12=r1 1- 4 values |
| @ d13=r3 1- 4 values |
| @ d14 =r0 28-31 values |
| @ d15 =r2 28- 31 values |
| @ d18=r1 28- 31 values |
| @ d19=r3 28- 31 values |
| |
| |
| |
| vst1.16 {q15},[r1]! |
| vst1.16 {q6},[r1]! |
| add r1,r1,#192 |
| vst1.16 {q7},[r1]! |
| vst1.16 {q9},[r1]! |
| sub r1,r1,#224 |
| |
| mov r0,r8 |
| |
| |
| |
| |
| |
| vld1.16 d10,[r0],r6 |
| vld1.16 d8,[r0],r6 |
| vld1.16 d11,[r0],r6 |
| vld1.16 d9,[r0],r6 |
| |
| |
| |
| |
| vmull.s16 q12,d8,d2[1] @// y1 * cos1(part of b0) |
| vmull.s16 q13,d8,d2[3] @// y1 * cos3(part of b1) |
| vmull.s16 q14,d8,d3[1] @// y1 * sin3(part of b2) |
| vmull.s16 q15,d8,d3[3] @// y1 * sin1(part of b3) |
| |
| vmlal.s16 q12,d9,d6[3] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d7[3] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlsl.s16 q14,d9,d6[1] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlsl.s16 q15,d9,d4[3] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmull.s16 q10,d10,d0[0] |
| vmlal.s16 q10,d11,d4[2] |
| |
| |
| vmull.s16 q11,d10,d0[0] |
| vmlal.s16 q11,d11,d5[2] |
| |
| vmull.s16 q8,d10,d0[0] |
| vmlal.s16 q8,d11,d6[2] |
| |
| vmull.s16 q9,d10,d0[0] |
| vmlal.s16 q9,d11,d7[2] |
| cmp r11,r10 |
| bhs shift2 |
| |
| vld1.16 d12,[r0],r6 |
| vld1.16 d14,[r0],r6 |
| vld1.16 d13,[r0],r6 |
| vld1.16 d15,[r0],r6 |
| |
| |
| vmlsl.s16 q12,d14,d4[3] |
| vmlsl.s16 q13,d14,d2[1] |
| vmlsl.s16 q14,d14,d0[1] |
| vmlsl.s16 q15,d14,d2[3] |
| |
| |
| vmlsl.s16 q12,d15,d0[3] |
| vmlsl.s16 q13,d15,d3[1] |
| vmlsl.s16 q14,d15,d6[3] |
| vmlal.s16 q15,d15,d5[3] |
| |
| |
| vmlsl.s16 q10,d12,d7[0] |
| vmlsl.s16 q10,d13,d2[2] |
| vmlsl.s16 q11,d12,d5[0] |
| vmlsl.s16 q11,d13,d0[2] |
| vmlsl.s16 q8,d12,d3[0] |
| vmlsl.s16 q8,d13,d3[2] |
| vmlsl.s16 q9,d12,d1[0] |
| vmlsl.s16 q9,d13,d6[2] |
| |
| cmp r11,r9 |
| bhs shift2 |
| |
| |
| vld1.16 d10,[r0],r6 |
| vld1.16 d8,[r0],r6 |
| vld1.16 d11,[r0],r6 |
| vld1.16 d9,[r0],r6 |
| |
| |
| |
| |
| |
| |
| |
| vmlsl.s16 q12,d8,d4[1] @// y1 * cos1(part of b0) |
| vmlal.s16 q13,d8,d7[1] @// y1 * cos3(part of b1) |
| vmlal.s16 q14,d8,d2[3] @// y1 * sin3(part of b2) |
| vmlal.s16 q15,d8,d1[3] @// y1 * sin1(part of b3) |
| |
| vmlal.s16 q12,d9,d7[1] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlal.s16 q13,d9,d1[3] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlal.s16 q14,d9,d3[3] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlsl.s16 q15,d9,d6[3] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlsl.s16 q10,d10,d2[0] |
| vmlsl.s16 q10,d11,d6[2] |
| |
| |
| vmlsl.s16 q11,d10,d6[0] |
| vmlal.s16 q11,d11,d4[2] |
| |
| vmlal.s16 q8,d10,d6[0] |
| vmlal.s16 q8,d11,d0[2] |
| |
| vmlal.s16 q9,d10,d2[0] |
| vmlal.s16 q9,d11,d5[2] |
| |
| cmp r11,r5 |
| bhs shift2 |
| |
| |
| vld1.16 d12,[r0],r6 |
| vld1.16 d14,[r0],r6 |
| vld1.16 d13,[r0],r6 |
| vld1.16 d15,[r0],r6 |
| |
| |
| |
| |
| |
| vmlal.s16 q12,d14,d2[3] |
| vmlal.s16 q13,d14,d3[3] |
| vmlsl.s16 q14,d14,d5[3] |
| vmlsl.s16 q15,d14,d0[3] |
| |
| |
| vmlal.s16 q12,d15,d1[3] |
| vmlsl.s16 q13,d15,d6[3] |
| vmlsl.s16 q14,d15,d0[3] |
| vmlal.s16 q15,d15,d7[3] |
| |
| |
| vmlal.s16 q10,d12,d5[0] |
| vmlal.s16 q10,d13,d0[2] |
| vmlal.s16 q11,d12,d1[0] |
| vmlal.s16 q11,d13,d6[2] |
| vmlal.s16 q8,d12,d7[0] |
| vmlsl.s16 q8,d13,d2[2] |
| vmlsl.s16 q9,d12,d3[0] |
| vmlsl.s16 q9,d13,d4[2] |
| |
| |
| cmp r11,r7 |
| bhs shift2 |
| |
| |
| vld1.16 d10,[r0],r6 |
| vld1.16 d8,[r0],r6 |
| vld1.16 d11,[r0],r6 |
| vld1.16 d9,[r0],r6 |
| |
| |
| |
| |
| |
| |
| |
| vmlal.s16 q12,d8,d6[1] @// y1 * cos1(part of b0) |
| vmlsl.s16 q13,d8,d1[1] @// y1 * cos3(part of b1) |
| vmlsl.s16 q14,d8,d7[1] @// y1 * sin3(part of b2) |
| vmlal.s16 q15,d8,d0[3] @// y1 * sin1(part of b3) |
| |
| vmlsl.s16 q12,d9,d5[1] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d4[1] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlal.s16 q14,d9,d2[1] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlal.s16 q15,d9,d7[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlal.s16 q10,d10,d0[0] |
| vmlsl.s16 q10,d11,d7[2] |
| |
| |
| vmlsl.s16 q11,d10,d0[0] |
| vmlsl.s16 q11,d11,d1[2] |
| |
| vmlsl.s16 q8,d10,d0[0] |
| vmlal.s16 q8,d11,d5[2] |
| |
| vmlal.s16 q9,d10,d0[0] |
| vmlal.s16 q9,d11,d3[2] |
| |
| |
| |
| vld1.16 d12,[r0],r6 |
| vld1.16 d14,[r0],r6 |
| vld1.16 d13,[r0],r6 |
| vld1.16 d15,[r0],r6 |
| |
| |
| vmlsl.s16 q12,d14,d0[1] |
| vmlal.s16 q13,d14,d6[1] |
| vmlal.s16 q14,d14,d4[1] |
| vmlsl.s16 q15,d14,d1[1] |
| |
| |
| vmlsl.s16 q12,d15,d3[3] |
| vmlal.s16 q13,d15,d0[1] |
| vmlsl.s16 q14,d15,d5[1] |
| vmlsl.s16 q15,d15,d6[1] |
| |
| |
| vmlsl.s16 q10,d12,d3[0] |
| vmlsl.s16 q10,d13,d1[2] |
| vmlsl.s16 q11,d12,d7[0] |
| vmlal.s16 q11,d13,d3[2] |
| vmlal.s16 q8,d12,d1[0] |
| vmlal.s16 q8,d13,d7[2] |
| vmlsl.s16 q9,d12,d5[0] |
| vmlsl.s16 q9,d13,d2[2] |
| |
| vld1.16 d10,[r0],r6 |
| vld1.16 d8,[r0],r6 |
| vld1.16 d11,[r0],r6 |
| vld1.16 d9,[r0],r6 |
| |
| |
| |
| |
| vmlal.s16 q12,d8,d7[3] @// y1 * cos1(part of b0) |
| vmlal.s16 q13,d8,d4[3] @// y1 * cos3(part of b1) |
| vmlsl.s16 q14,d8,d1[1] @// y1 * sin3(part of b2) |
| vmlal.s16 q15,d8,d2[1] @// y1 * sin1(part of b3) |
| |
| vmlal.s16 q12,d9,d3[1] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d5[3] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlsl.s16 q14,d9,d7[3] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlal.s16 q15,d9,d5[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlsl.s16 q10,d10,d6[0] |
| vmlal.s16 q10,d11,d5[2] |
| |
| |
| vmlal.s16 q11,d10,d2[0] |
| vmlal.s16 q11,d11,d7[2] |
| |
| vmlsl.s16 q8,d10,d2[0] |
| vmlsl.s16 q8,d11,d4[2] |
| |
| vmlal.s16 q9,d10,d6[0] |
| vmlal.s16 q9,d11,d1[2] |
| |
| |
| vld1.16 d12,[r0],r6 |
| vld1.16 d14,[r0],r6 |
| vld1.16 d13,[r0],r6 |
| vld1.16 d15,[r0],r6 |
| |
| |
| |
| |
| |
| vmlal.s16 q12,d14,d1[1] |
| vmlsl.s16 q13,d14,d0[3] |
| vmlal.s16 q14,d14,d1[3] |
| vmlsl.s16 q15,d14,d3[1] |
| |
| |
| vmlal.s16 q12,d15,d5[3] |
| vmlsl.s16 q13,d15,d5[1] |
| vmlal.s16 q14,d15,d4[3] |
| vmlsl.s16 q15,d15,d4[1] |
| |
| |
| vmlal.s16 q10,d12,d1[0] |
| vmlal.s16 q10,d13,d3[2] |
| vmlsl.s16 q11,d12,d3[0] |
| vmlsl.s16 q11,d13,d2[2] |
| vmlal.s16 q8,d12,d5[0] |
| vmlal.s16 q8,d13,d1[2] |
| vmlsl.s16 q9,d12,d7[0] |
| vmlsl.s16 q9,d13,d0[2] |
| |
| shift2: |
| vadd.s32 q4,q10,q12 |
| vsub.s32 q5,q10,q12 |
| |
| vadd.s32 q6,q11,q13 |
| vsub.s32 q12,q11,q13 |
| |
| vadd.s32 q7,q8,q14 |
| vsub.s32 q13,q8,q14 |
| |
| |
| vadd.s32 q8,q9,q15 |
| vsub.s32 q14,q9,q15 |
| |
| |
| vqrshrn.s32 d30,q4,#shift_stage1_idct @// r0 = (a0 + b0 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d19,q5,#shift_stage1_idct @// r7 = (a0 - b0 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d31,q7,#shift_stage1_idct @// r2 = (a2 + b2 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d18,q13,#shift_stage1_idct @// r5 = (a2 - b2 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d12,q6,#shift_stage1_idct @// r1 = (a1 + b1 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d15,q12,#shift_stage1_idct @// r6 = (a1 - b1 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d13,q8,#shift_stage1_idct @// r3 = (a3 + b3 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d14,q14,#shift_stage1_idct @// r4 = (a3 - b3 + rnd) >> 7(shift_stage1_idct) |
| |
| vtrn.16 q15,q6 |
| vtrn.16 q7,q9 |
| |
| vtrn.32 d30,d31 |
| vtrn.32 d12,d13 |
| vtrn.32 d14,d15 |
| vtrn.32 d18,d19 |
| |
| |
| vst1.16 {q15},[r1]! |
| vst1.16 {q6},[r1]! |
| add r1,r1,#128 |
| vst1.16 {q7},[r1]! |
| vst1.16 {q9},[r1]! |
| sub r1,r1,#160 |
| mov r0,r8 |
| |
| |
| |
| vld1.16 d10,[r0],r6 |
| vld1.16 d8,[r0],r6 |
| vld1.16 d11,[r0],r6 |
| vld1.16 d9,[r0],r6 |
| |
| |
| vmull.s16 q12,d8,d4[1] @// y1 * cos1(part of b0) |
| vmull.s16 q13,d8,d4[3] @// y1 * cos3(part of b1) |
| vmull.s16 q14,d8,d5[1] @// y1 * sin3(part of b2) |
| vmull.s16 q15,d8,d5[3] @// y1 * sin1(part of b3) |
| |
| vmlsl.s16 q12,d9,d3[1] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d1[3] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlsl.s16 q14,d9,d0[2] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlsl.s16 q15,d9,d1[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmull.s16 q10,d10,d0[0] |
| vmlsl.s16 q10,d11,d7[2] |
| |
| |
| vmull.s16 q11,d10,d0[0] |
| vmlsl.s16 q11,d11,d6[2] |
| |
| vmull.s16 q8,d10,d0[0] |
| vmlsl.s16 q8,d11,d5[2] |
| |
| vmull.s16 q9,d10,d0[0] |
| vmlsl.s16 q9,d11,d4[2] |
| |
| cmp r11,r10 |
| bhs shift3 |
| |
| vld1.16 d12,[r0],r6 |
| vld1.16 d14,[r0],r6 |
| vld1.16 d13,[r0],r6 |
| vld1.16 d15,[r0],r6 |
| |
| |
| |
| |
| vmlsl.s16 q12,d14,d5[1] |
| vmlsl.s16 q13,d14,d7[3] |
| vmlal.s16 q14,d14,d5[3] |
| vmlal.s16 q15,d14,d3[1] |
| |
| |
| vmlal.s16 q12,d15,d2[1] |
| vmlal.s16 q13,d15,d1[1] |
| vmlal.s16 q14,d15,d4[3] |
| vmlsl.s16 q15,d15,d7[3] |
| |
| |
| vmlsl.s16 q10,d12,d1[0] |
| vmlal.s16 q10,d13,d6[2] |
| vmlsl.s16 q11,d12,d3[0] |
| vmlal.s16 q11,d13,d3[2] |
| vmlsl.s16 q8,d12,d5[0] |
| vmlal.s16 q8,d13,d0[2] |
| vmlsl.s16 q9,d12,d7[0] |
| vmlal.s16 q9,d13,d2[2] |
| |
| cmp r11,r9 |
| bhs shift3 |
| |
| vld1.16 d10,[r0],r6 |
| vld1.16 d8,[r0],r6 |
| vld1.16 d11,[r0],r6 |
| vld1.16 d9,[r0],r6 |
| |
| vmlal.s16 q12,d8,d6[1] @// y1 * cos1(part of b0) |
| vmlsl.s16 q13,d8,d5[1] @// y1 * cos3(part of b1) |
| vmlsl.s16 q14,d8,d0[3] @// y1 * sin3(part of b2) |
| vmlsl.s16 q15,d8,d3[3] @// y1 * sin1(part of b3) |
| |
| vmlsl.s16 q12,d9,d1[1] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d4[1] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlal.s16 q14,d9,d6[1] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlal.s16 q15,d9,d0[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlal.s16 q10,d10,d2[0] |
| vmlsl.s16 q10,d11,d5[2] |
| |
| |
| vmlal.s16 q11,d10,d6[0] |
| vmlsl.s16 q11,d11,d0[2] |
| |
| vmlsl.s16 q8,d10,d6[0] |
| vmlsl.s16 q8,d11,d4[2] |
| |
| vmlsl.s16 q9,d10,d2[0] |
| vmlal.s16 q9,d11,d6[2] |
| |
| cmp r11,r5 |
| bhs shift3 |
| |
| |
| vld1.16 d12,[r0],r6 |
| vld1.16 d14,[r0],r6 |
| vld1.16 d13,[r0],r6 |
| vld1.16 d15,[r0],r6 |
| |
| |
| |
| |
| |
| |
| vmlsl.s16 q12,d14,d7[1] |
| vmlal.s16 q13,d14,d2[1] |
| vmlal.s16 q14,d14,d4[1] |
| vmlsl.s16 q15,d14,d5[1] |
| |
| |
| vmlal.s16 q12,d15,d0[3] |
| vmlal.s16 q13,d15,d7[1] |
| vmlsl.s16 q14,d15,d1[1] |
| vmlsl.s16 q15,d15,d6[1] |
| |
| |
| vmlsl.s16 q10,d12,d3[0] |
| vmlal.s16 q10,d13,d4[2] |
| vmlal.s16 q11,d12,d7[0] |
| vmlal.s16 q11,d13,d2[2] |
| vmlal.s16 q8,d12,d1[0] |
| vmlsl.s16 q8,d13,d6[2] |
| vmlal.s16 q9,d12,d5[0] |
| vmlsl.s16 q9,d13,d0[2] |
| |
| |
| cmp r11,r7 |
| bhs shift3 |
| |
| |
| vld1.16 d10,[r0],r6 |
| vld1.16 d8,[r0],r6 |
| vld1.16 d11,[r0],r6 |
| vld1.16 d9,[r0],r6 |
| |
| |
| vmlsl.s16 q12,d8,d7[3] @// y1 * cos1(part of b0) |
| vmlsl.s16 q13,d8,d0[1] @// y1 * cos3(part of b1) |
| vmlal.s16 q14,d8,d6[3] @// y1 * sin3(part of b2) |
| vmlal.s16 q15,d8,d1[3] @// y1 * sin1(part of b3) |
| |
| vmlsl.s16 q12,d9,d0[1] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlal.s16 q13,d9,d5[3] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlal.s16 q14,d9,d3[3] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlsl.s16 q15,d9,d2[3] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlal.s16 q10,d10,d0[0] |
| vmlsl.s16 q10,d11,d3[2] |
| |
| |
| vmlsl.s16 q11,d10,d0[0] |
| vmlsl.s16 q11,d11,d5[2] |
| |
| vmlsl.s16 q8,d10,d0[0] |
| vmlal.s16 q8,d11,d1[2] |
| |
| vmlal.s16 q9,d10,d0[0] |
| vmlal.s16 q9,d11,d7[2] |
| |
| |
| vld1.16 d12,[r0],r6 |
| vld1.16 d14,[r0],r6 |
| vld1.16 d13,[r0],r6 |
| vld1.16 d15,[r0],r6 |
| |
| |
| |
| vmlal.s16 q12,d14,d6[3] |
| vmlal.s16 q13,d14,d3[3] |
| vmlsl.s16 q14,d14,d1[3] |
| vmlal.s16 q15,d14,d7[1] |
| |
| |
| vmlal.s16 q12,d15,d1[3] |
| vmlsl.s16 q13,d15,d2[3] |
| vmlal.s16 q14,d15,d7[1] |
| vmlal.s16 q15,d15,d4[1] |
| |
| |
| vmlsl.s16 q10,d12,d5[0] |
| vmlal.s16 q10,d13,d2[2] |
| vmlal.s16 q11,d12,d1[0] |
| vmlsl.s16 q11,d13,d7[2] |
| vmlsl.s16 q8,d12,d7[0] |
| vmlsl.s16 q8,d13,d3[2] |
| vmlsl.s16 q9,d12,d3[0] |
| vmlal.s16 q9,d13,d1[2] |
| |
| |
| |
| vld1.16 d10,[r0],r6 |
| vld1.16 d8,[r0],r6 |
| vld1.16 d11,[r0],r6 |
| vld1.16 d9,[r0],r6 |
| |
| |
| |
| |
| vmlsl.s16 q12,d8,d5[3] @// y1 * cos1(part of b0) |
| vmlsl.s16 q13,d8,d6[3] @// y1 * cos3(part of b1) |
| vmlal.s16 q14,d8,d3[1] @// y1 * sin3(part of b2) |
| vmlsl.s16 q15,d8,d0[1] @// y1 * sin1(part of b3) |
| |
| vmlsl.s16 q12,d9,d2[3] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlal.s16 q13,d9,d0[1] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlsl.s16 q14,d9,d2[1] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlal.s16 q15,d9,d4[3] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlal.s16 q10,d10,d6[0] |
| vmlsl.s16 q10,d11,d1[2] |
| |
| |
| vmlsl.s16 q11,d10,d2[0] |
| vmlal.s16 q11,d11,d4[2] |
| |
| vmlal.s16 q8,d10,d2[0] |
| vmlsl.s16 q8,d11,d7[2] |
| |
| vmlsl.s16 q9,d10,d6[0] |
| vmlsl.s16 q9,d11,d5[2] |
| |
| |
| vld1.16 d12,[r0],r6 |
| vld1.16 d14,[r0],r6 |
| vld1.16 d13,[r0],r6 |
| vld1.16 d15,[r0],r6 |
| |
| vmlal.s16 q12,d14,d4[3] |
| vmlsl.s16 q13,d14,d6[1] |
| vmlal.s16 q14,d14,d7[3] |
| vmlal.s16 q15,d14,d6[3] |
| |
| |
| vmlal.s16 q12,d15,d3[3] |
| vmlsl.s16 q13,d15,d3[1] |
| vmlal.s16 q14,d15,d2[3] |
| vmlsl.s16 q15,d15,d2[1] |
| |
| |
| vmlsl.s16 q10,d12,d7[0] |
| vmlal.s16 q10,d13,d0[2] |
| vmlal.s16 q11,d12,d5[0] |
| vmlsl.s16 q11,d13,d1[2] |
| vmlsl.s16 q8,d12,d3[0] |
| vmlal.s16 q8,d13,d2[2] |
| vmlal.s16 q9,d12,d1[0] |
| vmlsl.s16 q9,d13,d3[2] |
| |
| shift3: |
| vadd.s32 q4,q10,q12 |
| vsub.s32 q5,q10,q12 |
| |
| vadd.s32 q6,q11,q13 |
| vsub.s32 q12,q11,q13 |
| |
| vadd.s32 q7,q8,q14 |
| vsub.s32 q13,q8,q14 |
| |
| |
| vadd.s32 q8,q9,q15 |
| vsub.s32 q14,q9,q15 |
| |
| |
| vqrshrn.s32 d30,q4,#shift_stage1_idct @// r0 = (a0 + b0 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d19,q5,#shift_stage1_idct @// r7 = (a0 - b0 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d31,q7,#shift_stage1_idct @// r2 = (a2 + b2 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d18,q13,#shift_stage1_idct @// r5 = (a2 - b2 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d12,q6,#shift_stage1_idct @// r1 = (a1 + b1 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d15,q12,#shift_stage1_idct @// r6 = (a1 - b1 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d13,q8,#shift_stage1_idct @// r3 = (a3 + b3 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d14,q14,#shift_stage1_idct @// r4 = (a3 - b3 + rnd) >> 7(shift_stage1_idct) |
| |
| vtrn.16 q15,q6 |
| vtrn.16 q7,q9 |
| |
| vtrn.32 d30,d31 |
| vtrn.32 d12,d13 |
| vtrn.32 d14,d15 |
| vtrn.32 d18,d19 |
| |
| |
| vst1.16 {q15},[r1]! |
| vst1.16 {q6},[r1]! |
| add r1,r1,#64 |
| vst1.16 {q7},[r1]! |
| vst1.16 {q9},[r1]! |
| sub r1,r1,#96 |
| |
| mov r0,r8 |
| |
| |
| |
| vld1.16 d10,[r0],r6 |
| vld1.16 d8,[r0],r6 |
| vld1.16 d11,[r0],r6 |
| vld1.16 d9,[r0],r6 |
| |
| |
| vmull.s16 q12,d8,d6[1] @// y1 * cos1(part of b0) |
| vmull.s16 q13,d8,d6[3] @// y1 * cos3(part of b1) |
| vmull.s16 q14,d8,d7[1] @// y1 * sin3(part of b2) |
| vmull.s16 q15,d8,d7[3] @// y1 * sin1(part of b3) |
| |
| vmlsl.s16 q12,d9,d2[3] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d4[1] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlsl.s16 q14,d9,d5[3] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlsl.s16 q15,d9,d7[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmull.s16 q10,d10,d0[0] |
| vmlsl.s16 q10,d11,d3[2] |
| |
| |
| vmull.s16 q11,d10,d0[0] |
| vmlsl.s16 q11,d11,d2[2] |
| |
| vmull.s16 q8,d10,d0[0] |
| vmlsl.s16 q8,d11,d1[2] |
| |
| vmull.s16 q9,d10,d0[0] |
| vmlsl.s16 q9,d11,d0[2] |
| |
| cmp r11,r10 |
| bhs shift4 |
| |
| vld1.16 d12,[r0],r6 |
| vld1.16 d14,[r0],r6 |
| vld1.16 d13,[r0],r6 |
| vld1.16 d15,[r0],r6 |
| |
| |
| |
| |
| |
| |
| vmlal.s16 q12,d14,d0[1] |
| vmlal.s16 q13,d14,d1[3] |
| vmlal.s16 q14,d14,d4[1] |
| vmlal.s16 q15,d14,d6[3] |
| |
| |
| vmlsl.s16 q12,d15,d4[1] |
| vmlsl.s16 q13,d15,d0[3] |
| vmlsl.s16 q14,d15,d2[3] |
| vmlsl.s16 q15,d15,d6[1] |
| |
| |
| vmlal.s16 q10,d12,d7[0] |
| vmlal.s16 q10,d13,d5[2] |
| vmlal.s16 q11,d12,d5[0] |
| vmlsl.s16 q11,d13,d7[2] |
| vmlal.s16 q8,d12,d3[0] |
| vmlsl.s16 q8,d13,d4[2] |
| vmlal.s16 q9,d12,d1[0] |
| vmlsl.s16 q9,d13,d1[2] |
| |
| cmp r11,r9 |
| bhs shift4 |
| |
| vld1.16 d10,[r0],r6 |
| vld1.16 d8,[r0],r6 |
| vld1.16 d11,[r0],r6 |
| vld1.16 d9,[r0],r6 |
| |
| |
| |
| vmlal.s16 q12,d8,d7[3] @// y1 * cos1(part of b0) |
| vmlal.s16 q13,d8,d3[1] @// y1 * cos3(part of b1) |
| vmlal.s16 q14,d8,d1[1] @// y1 * sin3(part of b2) |
| vmlal.s16 q15,d8,d5[3] @// y1 * sin1(part of b3) |
| |
| vmlal.s16 q12,d9,d4[3] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d5[3] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlsl.s16 q14,d9,d0[1] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlsl.s16 q15,d9,d5[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlsl.s16 q10,d10,d2[0] |
| vmlal.s16 q10,d11,d1[2] |
| |
| |
| vmlsl.s16 q11,d10,d6[0] |
| vmlal.s16 q11,d11,d3[2] |
| |
| vmlal.s16 q8,d10,d6[0] |
| vmlsl.s16 q8,d11,d7[2] |
| |
| vmlal.s16 q9,d10,d2[0] |
| vmlsl.s16 q9,d11,d2[2] |
| |
| cmp r11,r5 |
| bhs shift4 |
| |
| |
| vld1.16 d12,[r0],r6 |
| vld1.16 d14,[r0],r6 |
| vld1.16 d13,[r0],r6 |
| vld1.16 d15,[r0],r6 |
| |
| |
| |
| |
| |
| |
| vmlsl.s16 q12,d14,d1[1] |
| vmlsl.s16 q13,d14,d7[3] |
| vmlal.s16 q14,d14,d1[3] |
| vmlal.s16 q15,d14,d4[3] |
| |
| |
| vmlal.s16 q12,d15,d2[1] |
| vmlal.s16 q13,d15,d5[1] |
| vmlsl.s16 q14,d15,d3[1] |
| vmlsl.s16 q15,d15,d4[1] |
| |
| |
| vmlsl.s16 q10,d12,d5[0] |
| vmlsl.s16 q10,d13,d7[2] |
| vmlsl.s16 q11,d12,d1[0] |
| vmlal.s16 q11,d13,d1[2] |
| vmlsl.s16 q8,d12,d7[0] |
| vmlal.s16 q8,d13,d5[2] |
| vmlal.s16 q9,d12,d3[0] |
| vmlsl.s16 q9,d13,d3[2] |
| |
| cmp r11,r7 |
| bhs shift4 |
| |
| |
| vld1.16 d10,[r0],r6 |
| vld1.16 d8,[r0],r6 |
| vld1.16 d11,[r0],r6 |
| vld1.16 d9,[r0],r6 |
| |
| |
| vmlsl.s16 q12,d8,d5[3] @// y1 * cos1(part of b0) |
| vmlsl.s16 q13,d8,d2[3] @// y1 * cos3(part of b1) |
| vmlal.s16 q14,d8,d4[3] @// y1 * sin3(part of b2) |
| vmlal.s16 q15,d8,d3[3] @// y1 * sin1(part of b3) |
| |
| vmlsl.s16 q12,d9,d6[3] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlal.s16 q13,d9,d0[3] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlsl.s16 q14,d9,d6[1] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlsl.s16 q15,d9,d3[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlal.s16 q10,d10,d0[0] |
| vmlsl.s16 q10,d11,d0[2] |
| |
| |
| vmlsl.s16 q11,d10,d0[0] |
| vmlal.s16 q11,d11,d6[2] |
| |
| vmlsl.s16 q8,d10,d0[0] |
| vmlal.s16 q8,d11,d2[2] |
| |
| vmlal.s16 q9,d10,d0[0] |
| vmlsl.s16 q9,d11,d4[2] |
| |
| |
| |
| |
| vld1.16 d12,[r0],r6 |
| vld1.16 d14,[r0],r6 |
| vld1.16 d13,[r0],r6 |
| vld1.16 d15,[r0],r6 |
| |
| |
| |
| |
| |
| |
| vmlal.s16 q12,d14,d3[1] |
| vmlsl.s16 q13,d14,d2[1] |
| vmlal.s16 q14,d14,d7[3] |
| vmlal.s16 q15,d14,d2[3] |
| |
| |
| vmlsl.s16 q12,d15,d0[3] |
| vmlal.s16 q13,d15,d4[3] |
| vmlal.s16 q14,d15,d6[3] |
| vmlsl.s16 q15,d15,d2[1] |
| |
| |
| vmlal.s16 q10,d12,d3[0] |
| vmlsl.s16 q10,d13,d6[2] |
| vmlal.s16 q11,d12,d7[0] |
| vmlsl.s16 q11,d13,d4[2] |
| vmlsl.s16 q8,d12,d1[0] |
| vmlal.s16 q8,d13,d0[2] |
| vmlal.s16 q9,d12,d5[0] |
| vmlsl.s16 q9,d13,d5[2] |
| |
| |
| vld1.16 d10,[r0],r6 |
| vld1.16 d8,[r0],r6 |
| vld1.16 d11,[r0],r6 |
| vld1.16 d9,[r0],r6 |
| |
| |
| |
| |
| |
| vmlal.s16 q12,d8,d3[3] @// y1 * cos1(part of b0) |
| vmlsl.s16 q13,d8,d7[1] @// y1 * cos3(part of b1) |
| vmlsl.s16 q14,d8,d5[1] @// y1 * sin3(part of b2) |
| vmlal.s16 q15,d8,d1[3] @// y1 * sin1(part of b3) |
| |
| vmlsl.s16 q12,d9,d7[1] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d6[1] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlal.s16 q14,d9,d3[3] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlsl.s16 q15,d9,d1[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlsl.s16 q10,d10,d6[0] |
| vmlal.s16 q10,d11,d2[2] |
| |
| |
| vmlal.s16 q11,d10,d2[0] |
| vmlsl.s16 q11,d11,d0[2] |
| |
| vmlsl.s16 q8,d10,d2[0] |
| vmlal.s16 q8,d11,d3[2] |
| |
| vmlal.s16 q9,d10,d6[0] |
| vmlsl.s16 q9,d11,d6[2] |
| |
| |
| vld1.16 d12,[r0],r6 |
| vld1.16 d14,[r0],r6 |
| vld1.16 d13,[r0],r6 |
| vld1.16 d15,[r0],r6 |
| |
| |
| |
| |
| vmlsl.s16 q12,d14,d5[1] |
| vmlal.s16 q13,d14,d3[3] |
| vmlsl.s16 q14,d14,d2[1] |
| vmlal.s16 q15,d14,d0[3] |
| |
| |
| vmlal.s16 q12,d15,d1[3] |
| vmlsl.s16 q13,d15,d1[1] |
| vmlal.s16 q14,d15,d0[3] |
| vmlsl.s16 q15,d15,d0[1] |
| |
| |
| vmlsl.s16 q10,d12,d1[0] |
| vmlal.s16 q10,d13,d4[2] |
| vmlal.s16 q11,d12,d3[0] |
| vmlsl.s16 q11,d13,d5[2] |
| vmlsl.s16 q8,d12,d5[0] |
| vmlal.s16 q8,d13,d6[2] |
| vmlal.s16 q9,d12,d7[0] |
| vmlsl.s16 q9,d13,d7[2] |
| |
| shift4: |
| vadd.s32 q4,q10,q12 |
| vsub.s32 q5,q10,q12 |
| |
| vadd.s32 q6,q11,q13 |
| vsub.s32 q12,q11,q13 |
| |
| vadd.s32 q7,q8,q14 |
| vsub.s32 q13,q8,q14 |
| |
| |
| vadd.s32 q8,q9,q15 |
| vsub.s32 q14,q9,q15 |
| |
| |
| vqrshrn.s32 d30,q4,#shift_stage1_idct @// r0 = (a0 + b0 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d19,q5,#shift_stage1_idct @// r7 = (a0 - b0 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d31,q7,#shift_stage1_idct @// r2 = (a2 + b2 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d18,q13,#shift_stage1_idct @// r5 = (a2 - b2 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d12,q6,#shift_stage1_idct @// r1 = (a1 + b1 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d15,q12,#shift_stage1_idct @// r6 = (a1 - b1 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d13,q8,#shift_stage1_idct @// r3 = (a3 + b3 + rnd) >> 7(shift_stage1_idct) |
| vqrshrn.s32 d14,q14,#shift_stage1_idct @// r4 = (a3 - b3 + rnd) >> 7(shift_stage1_idct) |
| |
| vtrn.16 q15,q6 |
| vtrn.16 q7,q9 |
| |
| vtrn.32 d30,d31 |
| vtrn.32 d12,d13 |
| vtrn.32 d14,d15 |
| vtrn.32 d18,d19 |
| |
| |
| vst1.16 {q15},[r1]! |
| vst1.16 {q6},[r1]! |
| vst1.16 {q7},[r1]! |
| vst1.16 {q9},[r1]! |
| |
| add r1,r1,#96 |
| |
| subs r14,r14,#1 |
| bne dct_stage1 |
| second_stage_dct: |
| @ mov r0,r1 |
| ldr r0,[sp] |
| ldr r1,[sp,#4] |
| ldr r8,[sp,#60] @ prediction stride |
| ldr r7,[sp,#64] @ destination stride |
| |
| @ add r4,r2,r8, lsl #1 @ r4 = r2 + pred_strd * 2 => r4 points to 3rd row of pred data |
| @ add r5,r8,r8, lsl #1 @ |
| @ sub r0,r0,#512 |
| mov r11,#0xfffffff0 |
| mov r5, #0xffffff00 |
| ldr r6,r5_addr |
| ldr r9,r9_addr |
| @ sub r1,r1,#2048 |
| mov r4,r1 |
| mov r10,#240 |
| mov r14,#8 |
| b stage2 |
| |
| @ registers free : |
| |
| @ arm registers used |
| @ r8 : predicition stride |
| @ r7 : destination stride |
| @ r1: temp buffer |
| @ r2 : pred buffer |
| @ r3 : destination buffer |
| @ r14 : loop counter |
| @r0 : scratch buffer |
| @r10 : used as stride |
| @ r4 : used to store the initial address |
| @r12 : zero cols |
| @ r11 : 0xfffffff0 |
| @ r5 : 0xffffff00 |
| dct_stage2: |
| add r4,r4,#32 |
| mov r1,r4 |
| stage2: |
| vld1.16 {d10,d11},[r1]! |
| vld1.16 {d8,d9},[r1],r10 |
| |
| vmull.s16 q12,d8,d0[1] @// y1 * cos1(part of b0) |
| vmull.s16 q13,d8,d0[3] @// y1 * cos3(part of b1) |
| vmull.s16 q14,d8,d1[1] @// y1 * sin3(part of b2) |
| vmull.s16 q15,d8,d1[3] @// y1 * sin1(part of b3) |
| |
| vmlal.s16 q12,d9,d0[3] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlal.s16 q13,d9,d2[1] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlal.s16 q14,d9,d3[3] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlal.s16 q15,d9,d5[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| vmull.s16 q10,d10,d0[0] |
| vmlal.s16 q10,d11,d0[2] |
| |
| |
| vmull.s16 q11,d10,d0[0] |
| vmlal.s16 q11,d11,d1[2] |
| |
| vmull.s16 q8,d10,d0[0] |
| vmlal.s16 q8,d11,d2[2] |
| |
| vmull.s16 q9,d10,d0[0] |
| vmlal.s16 q9,d11,d3[2] |
| cmp r12,r11 |
| bhs stage2_shift1 |
| |
| vld1.16 {d12,d13},[r1]! |
| vld1.16 {d14,d15},[r1],r10 |
| |
| |
| |
| |
| |
| |
| vmlal.s16 q12,d14,d1[1] |
| vmlal.s16 q13,d14,d3[3] |
| vmlal.s16 q14,d14,d6[1] |
| vmlsl.s16 q15,d14,d7[1] |
| |
| |
| vmlal.s16 q12,d15,d1[3] |
| vmlal.s16 q13,d15,d5[1] |
| vmlsl.s16 q14,d15,d7[1] |
| vmlsl.s16 q15,d15,d3[3] |
| |
| |
| vmlal.s16 q10,d12,d1[0] |
| vmlal.s16 q10,d13,d1[2] |
| vmlal.s16 q11,d12,d3[0] |
| vmlal.s16 q11,d13,d4[2] |
| vmlal.s16 q8,d12,d5[0] |
| vmlal.s16 q8,d13,d7[2] |
| vmlal.s16 q9,d12,d7[0] |
| vmlsl.s16 q9,d13,d5[2] |
| cmp r12,r5 |
| bhs stage2_shift1 |
| |
| vld1.16 {d10,d11},[r1]! |
| vld1.16 {d8,d9},[r1],r10 |
| |
| vmlal.s16 q12,d8,d2[1] @// y1 * cos1(part of b0) |
| vmlal.s16 q13,d8,d6[3] @// y1 * cos3(part of b1) |
| vmlsl.s16 q14,d8,d4[3] @// y1 * sin3(part of b2) |
| vmlsl.s16 q15,d8,d0[1] @// y1 * sin1(part of b3) |
| |
| vmlal.s16 q12,d9,d2[3] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d7[3] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlsl.s16 q14,d9,d2[1] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlsl.s16 q15,d9,d3[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlal.s16 q10,d10,d2[0] |
| vmlal.s16 q10,d11,d2[2] |
| |
| |
| vmlal.s16 q11,d10,d6[0] |
| vmlal.s16 q11,d11,d7[2] |
| |
| vmlsl.s16 q8,d10,d6[0] |
| vmlsl.s16 q8,d11,d3[2] |
| |
| vmlsl.s16 q9,d10,d2[0] |
| vmlsl.s16 q9,d11,d1[2] |
| |
| cmp r12,r6 |
| bhs stage2_shift1 |
| |
| |
| vld1.16 {d12,d13},[r1]! |
| vld1.16 {d14,d15},[r1],r10 |
| |
| |
| |
| |
| |
| vmlal.s16 q12,d14,d3[1] |
| vmlsl.s16 q13,d14,d6[1] |
| vmlsl.s16 q14,d14,d0[1] |
| vmlsl.s16 q15,d14,d6[3] |
| |
| |
| vmlal.s16 q12,d15,d3[3] |
| vmlsl.s16 q13,d15,d4[3] |
| vmlsl.s16 q14,d15,d2[3] |
| vmlal.s16 q15,d15,d5[3] |
| |
| |
| vmlal.s16 q10,d12,d3[0] |
| vmlal.s16 q10,d13,d3[2] |
| vmlsl.s16 q11,d12,d7[0] |
| vmlsl.s16 q11,d13,d5[2] |
| vmlsl.s16 q8,d12,d1[0] |
| vmlsl.s16 q8,d13,d1[2] |
| vmlsl.s16 q9,d12,d5[0] |
| vmlal.s16 q9,d13,d7[2] |
| |
| cmp r12,r9 |
| bhs stage2_shift1 |
| |
| |
| vld1.16 {d10,d11},[r1]! |
| vld1.16 {d8,d9},[r1],r10 |
| |
| |
| vmlal.s16 q12,d8,d4[1] @// y1 * cos1(part of b0) |
| vmlsl.s16 q13,d8,d3[1] @// y1 * cos3(part of b1) |
| vmlsl.s16 q14,d8,d5[1] @// y1 * sin3(part of b2) |
| vmlal.s16 q15,d8,d2[1] @// y1 * sin1(part of b3) |
| |
| vmlal.s16 q12,d9,d4[3] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d1[3] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlsl.s16 q14,d9,d7[3] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlal.s16 q15,d9,d1[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlal.s16 q10,d10,d0[0] |
| vmlal.s16 q10,d11,d4[2] |
| |
| |
| vmlsl.s16 q11,d10,d0[0] |
| vmlsl.s16 q11,d11,d2[2] |
| |
| vmlsl.s16 q8,d10,d0[0] |
| vmlsl.s16 q8,d11,d6[2] |
| |
| vmlal.s16 q9,d10,d0[0] |
| vmlal.s16 q9,d11,d0[2] |
| |
| vld1.16 {d12,d13},[r1]! |
| vld1.16 {d14,d15},[r1],r10 |
| |
| |
| |
| |
| |
| vmlal.s16 q12,d14,d5[1] |
| vmlsl.s16 q13,d14,d0[2] |
| vmlal.s16 q14,d14,d5[3] |
| vmlal.s16 q15,d14,d4[3] |
| |
| |
| vmlal.s16 q12,d15,d5[3] |
| vmlsl.s16 q13,d15,d1[1] |
| vmlal.s16 q14,d15,d3[1] |
| vmlsl.s16 q15,d15,d7[3] |
| |
| |
| vmlal.s16 q10,d12,d5[0] |
| vmlal.s16 q10,d13,d5[2] |
| vmlsl.s16 q11,d12,d1[0] |
| vmlsl.s16 q11,d13,d0[2] |
| vmlal.s16 q8,d12,d7[0] |
| vmlal.s16 q8,d13,d4[2] |
| vmlal.s16 q9,d12,d3[0] |
| vmlal.s16 q9,d13,d6[2] |
| |
| |
| vld1.16 {d10,d11},[r1]! |
| vld1.16 {d8,d9},[r1],r10 |
| |
| |
| |
| |
| vmlal.s16 q12,d8,d6[1] @// y1 * cos1(part of b0) |
| vmlsl.s16 q13,d8,d2[3] @// y1 * cos3(part of b1) |
| vmlal.s16 q14,d8,d0[1] @// y1 * sin3(part of b2) |
| vmlsl.s16 q15,d8,d4[1] @// y1 * sin1(part of b3) |
| |
| vmlal.s16 q12,d9,d6[3] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d4[1] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlal.s16 q14,d9,d1[3] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlsl.s16 q15,d9,d0[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlal.s16 q10,d10,d6[0] |
| vmlal.s16 q10,d11,d6[2] |
| |
| |
| vmlsl.s16 q11,d10,d2[0] |
| vmlsl.s16 q11,d11,d3[2] |
| |
| vmlal.s16 q8,d10,d2[0] |
| vmlal.s16 q8,d11,d0[2] |
| |
| vmlsl.s16 q9,d10,d6[0] |
| vmlsl.s16 q9,d11,d2[2] |
| |
| vld1.16 {d12,d13},[r1]! |
| vld1.16 {d14,d15},[r1],r10 |
| |
| vmlal.s16 q12,d14,d7[1] |
| vmlsl.s16 q13,d14,d5[3] |
| vmlal.s16 q14,d14,d4[1] |
| vmlsl.s16 q15,d14,d2[3] |
| |
| |
| vmlal.s16 q12,d15,d7[3] |
| vmlsl.s16 q13,d15,d7[1] |
| vmlal.s16 q14,d15,d6[3] |
| vmlsl.s16 q15,d15,d6[1] |
| |
| |
| vmlal.s16 q10,d12,d7[0] |
| vmlal.s16 q10,d13,d7[2] |
| vmlsl.s16 q11,d12,d5[0] |
| vmlsl.s16 q11,d13,d6[2] |
| vmlal.s16 q8,d12,d3[0] |
| vmlal.s16 q8,d13,d5[2] |
| vmlsl.s16 q9,d12,d1[0] |
| vmlsl.s16 q9,d13,d4[2] |
| |
| stage2_shift1: |
| vadd.s32 q4,q10,q12 |
| vsub.s32 q5,q10,q12 |
| |
| vadd.s32 q6,q11,q13 |
| vsub.s32 q12,q11,q13 |
| |
| vadd.s32 q7,q8,q14 |
| vsub.s32 q13,q8,q14 |
| |
| |
| vadd.s32 q8,q9,q15 |
| vsub.s32 q14,q9,q15 |
| |
| |
| vqrshrn.s32 d30,q4,#shift_stage2_idct @// r0 = (a0 + b0 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d19,q5,#shift_stage2_idct @// r7 = (a0 - b0 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d31,q7,#shift_stage2_idct @// r2 = (a2 + b2 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d18,q13,#shift_stage2_idct @// r5 = (a2 - b2 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d12,q6,#shift_stage2_idct @// r1 = (a1 + b1 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d15,q12,#shift_stage2_idct @// r6 = (a1 - b1 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d13,q8,#shift_stage2_idct @// r3 = (a3 + b3 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d14,q14,#shift_stage2_idct @// r4 = (a3 - b3 + rnd) >> 7(shift_stage2_idct) |
| |
| |
| vtrn.16 q15,q6 |
| vtrn.16 q7,q9 |
| |
| vtrn.32 d30,d31 |
| vtrn.32 d12,d13 |
| vtrn.32 d14,d15 |
| vtrn.32 d18,d19 |
| |
| |
| vst1.16 {q15},[r0]! |
| vst1.16 {q6},[r0]! |
| vst1.16 {q7},[r0]! |
| vst1.16 {q9},[r0]! |
| |
| |
| mov r1,r4 |
| |
| |
| |
| |
| |
| |
| vld1.16 {d10,d11},[r1]! |
| vld1.16 {d8,d9},[r1],r10 |
| |
| |
| vmull.s16 q12,d8,d2[1] @// y1 * cos1(part of b0) |
| vmull.s16 q13,d8,d2[3] @// y1 * cos3(part of b1) |
| vmull.s16 q14,d8,d3[1] @// y1 * sin3(part of b2) |
| vmull.s16 q15,d8,d3[3] @// y1 * sin1(part of b3) |
| |
| vmlal.s16 q12,d9,d6[3] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d7[3] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlsl.s16 q14,d9,d6[1] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlsl.s16 q15,d9,d4[3] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmull.s16 q10,d10,d0[0] |
| vmlal.s16 q10,d11,d4[2] |
| |
| |
| vmull.s16 q11,d10,d0[0] |
| vmlal.s16 q11,d11,d5[2] |
| |
| vmull.s16 q8,d10,d0[0] |
| vmlal.s16 q8,d11,d6[2] |
| |
| vmull.s16 q9,d10,d0[0] |
| vmlal.s16 q9,d11,d7[2] |
| |
| cmp r12,r11 |
| bhs stage2_shift2 |
| |
| vld1.16 {d12,d13},[r1]! |
| vld1.16 {d14,d15},[r1],r10 |
| |
| |
| vmlsl.s16 q12,d14,d4[3] |
| vmlsl.s16 q13,d14,d2[1] |
| vmlsl.s16 q14,d14,d0[1] |
| vmlsl.s16 q15,d14,d2[3] |
| |
| |
| vmlsl.s16 q12,d15,d0[3] |
| vmlsl.s16 q13,d15,d3[1] |
| vmlsl.s16 q14,d15,d6[3] |
| vmlal.s16 q15,d15,d5[3] |
| |
| |
| vmlsl.s16 q10,d12,d7[0] |
| vmlsl.s16 q10,d13,d2[2] |
| vmlsl.s16 q11,d12,d5[0] |
| vmlsl.s16 q11,d13,d0[2] |
| vmlsl.s16 q8,d12,d3[0] |
| vmlsl.s16 q8,d13,d3[2] |
| vmlsl.s16 q9,d12,d1[0] |
| vmlsl.s16 q9,d13,d6[2] |
| |
| cmp r12,r5 |
| bhs stage2_shift2 |
| |
| vld1.16 {d10,d11},[r1]! |
| vld1.16 {d8,d9},[r1],r10 |
| |
| |
| |
| |
| |
| vmlsl.s16 q12,d8,d4[1] @// y1 * cos1(part of b0) |
| vmlal.s16 q13,d8,d7[1] @// y1 * cos3(part of b1) |
| vmlal.s16 q14,d8,d2[3] @// y1 * sin3(part of b2) |
| vmlal.s16 q15,d8,d1[3] @// y1 * sin1(part of b3) |
| |
| vmlal.s16 q12,d9,d7[1] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlal.s16 q13,d9,d1[3] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlal.s16 q14,d9,d3[3] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlsl.s16 q15,d9,d6[3] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlsl.s16 q10,d10,d2[0] |
| vmlsl.s16 q10,d11,d6[2] |
| |
| |
| vmlsl.s16 q11,d10,d6[0] |
| vmlal.s16 q11,d11,d4[2] |
| |
| vmlal.s16 q8,d10,d6[0] |
| vmlal.s16 q8,d11,d0[2] |
| |
| vmlal.s16 q9,d10,d2[0] |
| vmlal.s16 q9,d11,d5[2] |
| |
| cmp r12,r6 |
| bhs stage2_shift2 |
| |
| |
| vld1.16 {d12,d13},[r1]! |
| vld1.16 {d14,d15},[r1],r10 |
| |
| |
| |
| |
| |
| |
| vmlal.s16 q12,d14,d2[3] |
| vmlal.s16 q13,d14,d3[3] |
| vmlsl.s16 q14,d14,d5[3] |
| vmlsl.s16 q15,d14,d0[3] |
| |
| |
| vmlal.s16 q12,d15,d1[3] |
| vmlsl.s16 q13,d15,d6[3] |
| vmlsl.s16 q14,d15,d0[3] |
| vmlal.s16 q15,d15,d7[3] |
| |
| |
| vmlal.s16 q10,d12,d5[0] |
| vmlal.s16 q10,d13,d0[2] |
| vmlal.s16 q11,d12,d1[0] |
| vmlal.s16 q11,d13,d6[2] |
| vmlal.s16 q8,d12,d7[0] |
| vmlsl.s16 q8,d13,d2[2] |
| vmlsl.s16 q9,d12,d3[0] |
| vmlsl.s16 q9,d13,d4[2] |
| |
| cmp r12,r9 |
| bhs stage2_shift2 |
| |
| |
| vld1.16 {d10,d11},[r1]! |
| vld1.16 {d8,d9},[r1],r10 |
| |
| |
| |
| vmlal.s16 q12,d8,d6[1] @// y1 * cos1(part of b0) |
| vmlsl.s16 q13,d8,d1[1] @// y1 * cos3(part of b1) |
| vmlsl.s16 q14,d8,d7[1] @// y1 * sin3(part of b2) |
| vmlal.s16 q15,d8,d0[3] @// y1 * sin1(part of b3) |
| |
| vmlsl.s16 q12,d9,d5[1] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d4[1] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlal.s16 q14,d9,d2[1] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlal.s16 q15,d9,d7[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlal.s16 q10,d10,d0[0] |
| vmlsl.s16 q10,d11,d7[2] |
| |
| |
| vmlsl.s16 q11,d10,d0[0] |
| vmlsl.s16 q11,d11,d1[2] |
| |
| vmlsl.s16 q8,d10,d0[0] |
| vmlal.s16 q8,d11,d5[2] |
| |
| vmlal.s16 q9,d10,d0[0] |
| vmlal.s16 q9,d11,d3[2] |
| |
| vld1.16 {d12,d13},[r1]! |
| vld1.16 {d14,d15},[r1],r10 |
| |
| |
| |
| |
| vmlsl.s16 q12,d14,d0[1] |
| vmlal.s16 q13,d14,d6[1] |
| vmlal.s16 q14,d14,d4[1] |
| vmlsl.s16 q15,d14,d1[1] |
| |
| |
| vmlsl.s16 q12,d15,d3[3] |
| vmlal.s16 q13,d15,d0[1] |
| vmlsl.s16 q14,d15,d5[1] |
| vmlsl.s16 q15,d15,d6[1] |
| |
| |
| vmlsl.s16 q10,d12,d3[0] |
| vmlsl.s16 q10,d13,d1[2] |
| vmlsl.s16 q11,d12,d7[0] |
| vmlal.s16 q11,d13,d3[2] |
| vmlal.s16 q8,d12,d1[0] |
| vmlal.s16 q8,d13,d7[2] |
| vmlsl.s16 q9,d12,d5[0] |
| vmlsl.s16 q9,d13,d2[2] |
| |
| |
| vld1.16 {d10,d11},[r1]! |
| vld1.16 {d8,d9},[r1],r10 |
| |
| |
| vmlal.s16 q12,d8,d7[3] @// y1 * cos1(part of b0) |
| vmlal.s16 q13,d8,d4[3] @// y1 * cos3(part of b1) |
| vmlsl.s16 q14,d8,d1[1] @// y1 * sin3(part of b2) |
| vmlal.s16 q15,d8,d2[1] @// y1 * sin1(part of b3) |
| |
| vmlal.s16 q12,d9,d3[1] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d5[3] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlsl.s16 q14,d9,d7[3] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlal.s16 q15,d9,d5[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlsl.s16 q10,d10,d6[0] |
| vmlal.s16 q10,d11,d5[2] |
| |
| |
| vmlal.s16 q11,d10,d2[0] |
| vmlal.s16 q11,d11,d7[2] |
| |
| vmlsl.s16 q8,d10,d2[0] |
| vmlsl.s16 q8,d11,d4[2] |
| |
| vmlal.s16 q9,d10,d6[0] |
| vmlal.s16 q9,d11,d1[2] |
| |
| |
| vld1.16 {d12,d13},[r1]! |
| vld1.16 {d14,d15},[r1],r10 |
| |
| |
| |
| vmlal.s16 q12,d14,d1[1] |
| vmlsl.s16 q13,d14,d0[3] |
| vmlal.s16 q14,d14,d1[3] |
| vmlsl.s16 q15,d14,d3[1] |
| |
| |
| vmlal.s16 q12,d15,d5[3] |
| vmlsl.s16 q13,d15,d5[1] |
| vmlal.s16 q14,d15,d4[3] |
| vmlsl.s16 q15,d15,d4[1] |
| |
| |
| vmlal.s16 q10,d12,d1[0] |
| vmlal.s16 q10,d13,d3[2] |
| vmlsl.s16 q11,d12,d3[0] |
| vmlsl.s16 q11,d13,d2[2] |
| vmlal.s16 q8,d12,d5[0] |
| vmlal.s16 q8,d13,d1[2] |
| vmlsl.s16 q9,d12,d7[0] |
| vmlsl.s16 q9,d13,d0[2] |
| |
| stage2_shift2: |
| vadd.s32 q4,q10,q12 |
| vsub.s32 q5,q10,q12 |
| |
| vadd.s32 q6,q11,q13 |
| vsub.s32 q12,q11,q13 |
| |
| vadd.s32 q7,q8,q14 |
| vsub.s32 q13,q8,q14 |
| |
| |
| vadd.s32 q8,q9,q15 |
| vsub.s32 q14,q9,q15 |
| |
| |
| vqrshrn.s32 d30,q4,#shift_stage2_idct @// r0 = (a0 + b0 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d19,q5,#shift_stage2_idct @// r7 = (a0 - b0 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d31,q7,#shift_stage2_idct @// r2 = (a2 + b2 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d18,q13,#shift_stage2_idct @// r5 = (a2 - b2 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d12,q6,#shift_stage2_idct @// r1 = (a1 + b1 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d15,q12,#shift_stage2_idct @// r6 = (a1 - b1 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d13,q8,#shift_stage2_idct @// r3 = (a3 + b3 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d14,q14,#shift_stage2_idct @// r4 = (a3 - b3 + rnd) >> 7(shift_stage2_idct) |
| |
| vtrn.16 q15,q6 |
| vtrn.16 q7,q9 |
| |
| vtrn.32 d30,d31 |
| vtrn.32 d12,d13 |
| vtrn.32 d14,d15 |
| vtrn.32 d18,d19 |
| |
| |
| vst1.16 {q15},[r0]! |
| vst1.16 {q6},[r0]! |
| vst1.16 {q7},[r0]! |
| vst1.16 {q9},[r0]! |
| |
| |
| |
| mov r1,r4 |
| |
| |
| |
| |
| vld1.16 {d10,d11},[r1]! |
| vld1.16 {d8,d9},[r1],r10 |
| |
| vmull.s16 q12,d8,d4[1] @// y1 * cos1(part of b0) |
| vmull.s16 q13,d8,d4[3] @// y1 * cos3(part of b1) |
| vmull.s16 q14,d8,d5[1] @// y1 * sin3(part of b2) |
| vmull.s16 q15,d8,d5[3] @// y1 * sin1(part of b3) |
| |
| vmlsl.s16 q12,d9,d3[1] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d1[3] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlsl.s16 q14,d9,d0[2] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlsl.s16 q15,d9,d1[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmull.s16 q10,d10,d0[0] |
| vmlsl.s16 q10,d11,d7[2] |
| |
| |
| vmull.s16 q11,d10,d0[0] |
| vmlsl.s16 q11,d11,d6[2] |
| |
| vmull.s16 q8,d10,d0[0] |
| vmlsl.s16 q8,d11,d5[2] |
| |
| vmull.s16 q9,d10,d0[0] |
| vmlsl.s16 q9,d11,d4[2] |
| |
| cmp r12,r11 |
| bhs stage2_shift3 |
| |
| vld1.16 {d12,d13},[r1]! |
| vld1.16 {d14,d15},[r1],r10 |
| |
| vmlsl.s16 q12,d14,d5[1] |
| vmlsl.s16 q13,d14,d7[3] |
| vmlal.s16 q14,d14,d5[3] |
| vmlal.s16 q15,d14,d3[1] |
| |
| |
| vmlal.s16 q12,d15,d2[1] |
| vmlal.s16 q13,d15,d1[1] |
| vmlal.s16 q14,d15,d4[3] |
| vmlsl.s16 q15,d15,d7[3] |
| |
| |
| vmlsl.s16 q10,d12,d1[0] |
| vmlal.s16 q10,d13,d6[2] |
| vmlsl.s16 q11,d12,d3[0] |
| vmlal.s16 q11,d13,d3[2] |
| vmlsl.s16 q8,d12,d5[0] |
| vmlal.s16 q8,d13,d0[2] |
| vmlsl.s16 q9,d12,d7[0] |
| vmlal.s16 q9,d13,d2[2] |
| |
| cmp r12,r5 |
| bhs stage2_shift3 |
| |
| vld1.16 {d10,d11},[r1]! |
| vld1.16 {d8,d9},[r1],r10 |
| |
| |
| |
| vmlal.s16 q12,d8,d6[1] @// y1 * cos1(part of b0) |
| vmlsl.s16 q13,d8,d5[1] @// y1 * cos3(part of b1) |
| vmlsl.s16 q14,d8,d0[3] @// y1 * sin3(part of b2) |
| vmlsl.s16 q15,d8,d3[3] @// y1 * sin1(part of b3) |
| |
| vmlsl.s16 q12,d9,d1[1] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d4[1] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlal.s16 q14,d9,d6[1] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlal.s16 q15,d9,d0[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlal.s16 q10,d10,d2[0] |
| vmlsl.s16 q10,d11,d5[2] |
| |
| |
| vmlal.s16 q11,d10,d6[0] |
| vmlsl.s16 q11,d11,d0[2] |
| |
| vmlsl.s16 q8,d10,d6[0] |
| vmlsl.s16 q8,d11,d4[2] |
| |
| vmlsl.s16 q9,d10,d2[0] |
| vmlal.s16 q9,d11,d6[2] |
| |
| cmp r12,r6 |
| bhs stage2_shift3 |
| |
| vld1.16 {d12,d13},[r1]! |
| vld1.16 {d14,d15},[r1],r10 |
| |
| |
| |
| |
| |
| vmlsl.s16 q12,d14,d7[1] |
| vmlal.s16 q13,d14,d2[1] |
| vmlal.s16 q14,d14,d4[1] |
| vmlsl.s16 q15,d14,d5[1] |
| |
| |
| vmlal.s16 q12,d15,d0[3] |
| vmlal.s16 q13,d15,d7[1] |
| vmlsl.s16 q14,d15,d1[1] |
| vmlsl.s16 q15,d15,d6[1] |
| |
| |
| vmlsl.s16 q10,d12,d3[0] |
| vmlal.s16 q10,d13,d4[2] |
| vmlal.s16 q11,d12,d7[0] |
| vmlal.s16 q11,d13,d2[2] |
| vmlal.s16 q8,d12,d1[0] |
| vmlsl.s16 q8,d13,d6[2] |
| vmlal.s16 q9,d12,d5[0] |
| vmlsl.s16 q9,d13,d0[2] |
| |
| cmp r12,r9 |
| bhs stage2_shift3 |
| |
| |
| vld1.16 {d10,d11},[r1]! |
| vld1.16 {d8,d9},[r1],r10 |
| |
| |
| vmlsl.s16 q12,d8,d7[3] @// y1 * cos1(part of b0) |
| vmlsl.s16 q13,d8,d0[1] @// y1 * cos3(part of b1) |
| vmlal.s16 q14,d8,d6[3] @// y1 * sin3(part of b2) |
| vmlal.s16 q15,d8,d1[3] @// y1 * sin1(part of b3) |
| |
| vmlsl.s16 q12,d9,d0[1] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlal.s16 q13,d9,d5[3] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlal.s16 q14,d9,d3[3] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlsl.s16 q15,d9,d2[3] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlal.s16 q10,d10,d0[0] |
| vmlsl.s16 q10,d11,d3[2] |
| |
| |
| vmlsl.s16 q11,d10,d0[0] |
| vmlsl.s16 q11,d11,d5[2] |
| |
| vmlsl.s16 q8,d10,d0[0] |
| vmlal.s16 q8,d11,d1[2] |
| |
| vmlal.s16 q9,d10,d0[0] |
| vmlal.s16 q9,d11,d7[2] |
| |
| vld1.16 {d12,d13},[r1]! |
| vld1.16 {d14,d15},[r1],r10 |
| |
| |
| |
| |
| vmlal.s16 q12,d14,d6[3] |
| vmlal.s16 q13,d14,d3[3] |
| vmlsl.s16 q14,d14,d1[3] |
| vmlal.s16 q15,d14,d7[1] |
| |
| |
| vmlal.s16 q12,d15,d1[3] |
| vmlsl.s16 q13,d15,d2[3] |
| vmlal.s16 q14,d15,d7[1] |
| vmlal.s16 q15,d15,d4[1] |
| |
| |
| vmlsl.s16 q10,d12,d5[0] |
| vmlal.s16 q10,d13,d2[2] |
| vmlal.s16 q11,d12,d1[0] |
| vmlsl.s16 q11,d13,d7[2] |
| vmlsl.s16 q8,d12,d7[0] |
| vmlsl.s16 q8,d13,d3[2] |
| vmlsl.s16 q9,d12,d3[0] |
| vmlal.s16 q9,d13,d1[2] |
| |
| |
| vld1.16 {d10,d11},[r1]! |
| vld1.16 {d8,d9},[r1],r10 |
| |
| |
| vmlsl.s16 q12,d8,d5[3] @// y1 * cos1(part of b0) |
| vmlsl.s16 q13,d8,d6[3] @// y1 * cos3(part of b1) |
| vmlal.s16 q14,d8,d3[1] @// y1 * sin3(part of b2) |
| vmlsl.s16 q15,d8,d0[1] @// y1 * sin1(part of b3) |
| |
| vmlsl.s16 q12,d9,d2[3] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlal.s16 q13,d9,d0[1] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlsl.s16 q14,d9,d2[1] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlal.s16 q15,d9,d4[3] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlal.s16 q10,d10,d6[0] |
| vmlsl.s16 q10,d11,d1[2] |
| |
| |
| vmlsl.s16 q11,d10,d2[0] |
| vmlal.s16 q11,d11,d4[2] |
| |
| vmlal.s16 q8,d10,d2[0] |
| vmlsl.s16 q8,d11,d7[2] |
| |
| vmlsl.s16 q9,d10,d6[0] |
| vmlsl.s16 q9,d11,d5[2] |
| |
| vld1.16 {d12,d13},[r1]! |
| vld1.16 {d14,d15},[r1],r10 |
| |
| |
| |
| vmlal.s16 q12,d14,d4[3] |
| vmlsl.s16 q13,d14,d6[1] |
| vmlal.s16 q14,d14,d7[3] |
| vmlal.s16 q15,d14,d6[3] |
| |
| |
| vmlal.s16 q12,d15,d3[3] |
| vmlsl.s16 q13,d15,d3[1] |
| vmlal.s16 q14,d15,d2[3] |
| vmlsl.s16 q15,d15,d2[1] |
| |
| |
| vmlsl.s16 q10,d12,d7[0] |
| vmlal.s16 q10,d13,d0[2] |
| vmlal.s16 q11,d12,d5[0] |
| vmlsl.s16 q11,d13,d1[2] |
| vmlsl.s16 q8,d12,d3[0] |
| vmlal.s16 q8,d13,d2[2] |
| vmlal.s16 q9,d12,d1[0] |
| vmlsl.s16 q9,d13,d3[2] |
| |
| stage2_shift3: |
| vadd.s32 q4,q10,q12 |
| vsub.s32 q5,q10,q12 |
| |
| vadd.s32 q6,q11,q13 |
| vsub.s32 q12,q11,q13 |
| |
| vadd.s32 q7,q8,q14 |
| vsub.s32 q13,q8,q14 |
| |
| |
| vadd.s32 q8,q9,q15 |
| vsub.s32 q14,q9,q15 |
| |
| |
| vqrshrn.s32 d30,q4,#shift_stage2_idct @// r0 = (a0 + b0 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d19,q5,#shift_stage2_idct @// r11 = (a0 - b0 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d31,q7,#shift_stage2_idct @// r2 = (a2 + b2 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d18,q13,#shift_stage2_idct @// r5 = (a2 - b2 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d12,q6,#shift_stage2_idct @// r1 = (a1 + b1 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d15,q12,#shift_stage2_idct @// r6 = (a1 - b1 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d13,q8,#shift_stage2_idct @// r3 = (a3 + b3 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d14,q14,#shift_stage2_idct @// r4 = (a3 - b3 + rnd) >> 7(shift_stage2_idct) |
| |
| vtrn.16 q15,q6 |
| vtrn.16 q7,q9 |
| |
| vtrn.32 d30,d31 |
| vtrn.32 d12,d13 |
| vtrn.32 d14,d15 |
| vtrn.32 d18,d19 |
| |
| |
| vst1.16 {q15},[r0]! |
| vst1.16 {q6},[r0]! |
| vst1.16 {q7},[r0]! |
| vst1.16 {q9},[r0]! |
| |
| |
| |
| |
| mov r1,r4 |
| |
| |
| |
| |
| vld1.16 {d10,d11},[r1]! |
| vld1.16 {d8,d9},[r1],r10 |
| |
| |
| vmull.s16 q12,d8,d6[1] @// y1 * cos1(part of b0) |
| vmull.s16 q13,d8,d6[3] @// y1 * cos3(part of b1) |
| vmull.s16 q14,d8,d7[1] @// y1 * sin3(part of b2) |
| vmull.s16 q15,d8,d7[3] @// y1 * sin1(part of b3) |
| |
| vmlsl.s16 q12,d9,d2[3] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d4[1] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlsl.s16 q14,d9,d5[3] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlsl.s16 q15,d9,d7[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmull.s16 q10,d10,d0[0] |
| vmlsl.s16 q10,d11,d3[2] |
| |
| |
| vmull.s16 q11,d10,d0[0] |
| vmlsl.s16 q11,d11,d2[2] |
| |
| vmull.s16 q8,d10,d0[0] |
| vmlsl.s16 q8,d11,d1[2] |
| |
| vmull.s16 q9,d10,d0[0] |
| vmlsl.s16 q9,d11,d0[2] |
| |
| cmp r12,r11 |
| bhs stage2_shift4 |
| vld1.16 {d12,d13},[r1]! |
| vld1.16 {d14,d15},[r1],r10 |
| |
| |
| |
| |
| |
| |
| vmlal.s16 q12,d14,d0[1] |
| vmlal.s16 q13,d14,d1[3] |
| vmlal.s16 q14,d14,d4[1] |
| vmlal.s16 q15,d14,d6[3] |
| |
| |
| vmlsl.s16 q12,d15,d4[1] |
| vmlsl.s16 q13,d15,d0[3] |
| vmlsl.s16 q14,d15,d2[3] |
| vmlsl.s16 q15,d15,d6[1] |
| |
| |
| vmlal.s16 q10,d12,d7[0] |
| vmlal.s16 q10,d13,d5[2] |
| vmlal.s16 q11,d12,d5[0] |
| vmlsl.s16 q11,d13,d7[2] |
| vmlal.s16 q8,d12,d3[0] |
| vmlsl.s16 q8,d13,d4[2] |
| vmlal.s16 q9,d12,d1[0] |
| vmlsl.s16 q9,d13,d1[2] |
| |
| cmp r12,r5 |
| bhs stage2_shift4 |
| |
| vld1.16 {d10,d11},[r1]! |
| vld1.16 {d8,d9},[r1],r10 |
| |
| |
| |
| vmlal.s16 q12,d8,d7[3] @// y1 * cos1(part of b0) |
| vmlal.s16 q13,d8,d3[1] @// y1 * cos3(part of b1) |
| vmlal.s16 q14,d8,d1[1] @// y1 * sin3(part of b2) |
| vmlal.s16 q15,d8,d5[3] @// y1 * sin1(part of b3) |
| |
| vmlal.s16 q12,d9,d4[3] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d5[3] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlsl.s16 q14,d9,d0[1] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlsl.s16 q15,d9,d5[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlsl.s16 q10,d10,d2[0] |
| vmlal.s16 q10,d11,d1[2] |
| |
| |
| vmlsl.s16 q11,d10,d6[0] |
| vmlal.s16 q11,d11,d3[2] |
| |
| vmlal.s16 q8,d10,d6[0] |
| vmlsl.s16 q8,d11,d7[2] |
| |
| vmlal.s16 q9,d10,d2[0] |
| vmlsl.s16 q9,d11,d2[2] |
| |
| cmp r12,r6 |
| bhs stage2_shift4 |
| |
| |
| vld1.16 {d12,d13},[r1]! |
| vld1.16 {d14,d15},[r1],r10 |
| |
| |
| |
| |
| |
| |
| vmlsl.s16 q12,d14,d1[1] |
| vmlsl.s16 q13,d14,d7[3] |
| vmlal.s16 q14,d14,d1[3] |
| vmlal.s16 q15,d14,d4[3] |
| |
| |
| vmlal.s16 q12,d15,d2[1] |
| vmlal.s16 q13,d15,d5[1] |
| vmlsl.s16 q14,d15,d3[1] |
| vmlsl.s16 q15,d15,d4[1] |
| |
| |
| vmlsl.s16 q10,d12,d5[0] |
| vmlsl.s16 q10,d13,d7[2] |
| vmlsl.s16 q11,d12,d1[0] |
| vmlal.s16 q11,d13,d1[2] |
| vmlsl.s16 q8,d12,d7[0] |
| vmlal.s16 q8,d13,d5[2] |
| vmlal.s16 q9,d12,d3[0] |
| vmlsl.s16 q9,d13,d3[2] |
| |
| cmp r12,r9 |
| bhs stage2_shift4 |
| |
| |
| vld1.16 {d10,d11},[r1]! |
| vld1.16 {d8,d9},[r1],r10 |
| |
| |
| vmlsl.s16 q12,d8,d5[3] @// y1 * cos1(part of b0) |
| vmlsl.s16 q13,d8,d2[3] @// y1 * cos3(part of b1) |
| vmlal.s16 q14,d8,d4[3] @// y1 * sin3(part of b2) |
| vmlal.s16 q15,d8,d3[3] @// y1 * sin1(part of b3) |
| |
| vmlsl.s16 q12,d9,d6[3] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlal.s16 q13,d9,d0[3] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlsl.s16 q14,d9,d6[1] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlsl.s16 q15,d9,d3[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlal.s16 q10,d10,d0[0] |
| vmlsl.s16 q10,d11,d0[2] |
| |
| |
| vmlsl.s16 q11,d10,d0[0] |
| vmlal.s16 q11,d11,d6[2] |
| |
| vmlsl.s16 q8,d10,d0[0] |
| vmlal.s16 q8,d11,d2[2] |
| |
| vmlal.s16 q9,d10,d0[0] |
| vmlsl.s16 q9,d11,d4[2] |
| |
| vld1.16 {d12,d13},[r1]! |
| vld1.16 {d14,d15},[r1],r10 |
| |
| |
| |
| |
| vmlal.s16 q12,d14,d3[1] |
| vmlsl.s16 q13,d14,d2[1] |
| vmlal.s16 q14,d14,d7[3] |
| vmlal.s16 q15,d14,d2[3] |
| |
| |
| vmlsl.s16 q12,d15,d0[3] |
| vmlal.s16 q13,d15,d4[3] |
| vmlal.s16 q14,d15,d6[3] |
| vmlsl.s16 q15,d15,d2[1] |
| |
| |
| vmlal.s16 q10,d12,d3[0] |
| vmlsl.s16 q10,d13,d6[2] |
| vmlal.s16 q11,d12,d7[0] |
| vmlsl.s16 q11,d13,d4[2] |
| vmlsl.s16 q8,d12,d1[0] |
| vmlal.s16 q8,d13,d0[2] |
| vmlal.s16 q9,d12,d5[0] |
| vmlsl.s16 q9,d13,d5[2] |
| |
| |
| vld1.16 {d10,d11},[r1]! |
| vld1.16 {d8,d9},[r1],r10 |
| |
| |
| |
| |
| vmlal.s16 q12,d8,d3[3] @// y1 * cos1(part of b0) |
| vmlsl.s16 q13,d8,d7[1] @// y1 * cos3(part of b1) |
| vmlsl.s16 q14,d8,d5[1] @// y1 * sin3(part of b2) |
| vmlal.s16 q15,d8,d1[3] @// y1 * sin1(part of b3) |
| |
| vmlsl.s16 q12,d9,d7[1] @// y1 * cos1 + y3 * cos3(part of b0) |
| vmlsl.s16 q13,d9,d6[1] @// y1 * cos3 - y3 * sin1(part of b1) |
| vmlal.s16 q14,d9,d3[3] @// y1 * sin3 - y3 * cos1(part of b2) |
| vmlsl.s16 q15,d9,d1[1] @// y1 * sin1 - y3 * sin3(part of b3) |
| |
| |
| |
| |
| |
| vmlsl.s16 q10,d10,d6[0] |
| vmlal.s16 q10,d11,d2[2] |
| |
| |
| vmlal.s16 q11,d10,d2[0] |
| vmlsl.s16 q11,d11,d0[2] |
| |
| vmlsl.s16 q8,d10,d2[0] |
| vmlal.s16 q8,d11,d3[2] |
| |
| vmlal.s16 q9,d10,d6[0] |
| vmlsl.s16 q9,d11,d6[2] |
| |
| |
| vld1.16 {d12,d13},[r1]! |
| vld1.16 {d14,d15},[r1],r10 |
| |
| |
| |
| vmlsl.s16 q12,d14,d5[1] |
| vmlal.s16 q13,d14,d3[3] |
| vmlsl.s16 q14,d14,d2[1] |
| vmlal.s16 q15,d14,d0[3] |
| |
| |
| vmlal.s16 q12,d15,d1[3] |
| vmlsl.s16 q13,d15,d1[1] |
| vmlal.s16 q14,d15,d0[3] |
| vmlsl.s16 q15,d15,d0[1] |
| |
| |
| vmlsl.s16 q10,d12,d1[0] |
| vmlal.s16 q10,d13,d4[2] |
| vmlal.s16 q11,d12,d3[0] |
| vmlsl.s16 q11,d13,d5[2] |
| vmlsl.s16 q8,d12,d5[0] |
| vmlal.s16 q8,d13,d6[2] |
| vmlal.s16 q9,d12,d7[0] |
| vmlsl.s16 q9,d13,d7[2] |
| |
| stage2_shift4: |
| vadd.s32 q4,q10,q12 |
| vsub.s32 q5,q10,q12 |
| |
| vadd.s32 q6,q11,q13 |
| vsub.s32 q12,q11,q13 |
| |
| vadd.s32 q7,q8,q14 |
| vsub.s32 q13,q8,q14 |
| |
| |
| vadd.s32 q8,q9,q15 |
| vsub.s32 q14,q9,q15 |
| |
| |
| vqrshrn.s32 d30,q4,#shift_stage2_idct @// r0 = (a0 + b0 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d19,q5,#shift_stage2_idct @// r11 = (a0 - b0 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d31,q7,#shift_stage2_idct @// r2 = (a2 + b2 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d18,q13,#shift_stage2_idct @// r5 = (a2 - b2 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d12,q6,#shift_stage2_idct @// r1 = (a1 + b1 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d15,q12,#shift_stage2_idct @// r6 = (a1 - b1 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d13,q8,#shift_stage2_idct @// r3 = (a3 + b3 + rnd) >> 7(shift_stage2_idct) |
| vqrshrn.s32 d14,q14,#shift_stage2_idct @// r4 = (a3 - b3 + rnd) >> 7(shift_stage2_idct) |
| |
| |
| |
| vtrn.16 q15,q6 |
| vtrn.16 q7,q9 |
| |
| vtrn.32 d30,d31 |
| vtrn.32 d12,d13 |
| vtrn.32 d14,d15 |
| vtrn.32 d18,d19 |
| |
| |
| |
| vst1.16 {q15},[r0]! |
| vst1.16 {q6},[r0]! |
| vst1.16 {q7},[r0]! |
| vst1.16 {q9},[r0]! |
| |
| |
| |
| |
| sub r0,r0,#256 |
| prediction_buffer: |
| |
| |
| vld1.16 {d12,d13},[r0]! |
| vld1.16 {d14,d15},[r0]! |
| |
| add r0,r0,#32 |
| |
| vld1.16 {d16,d17},[r0]! |
| vld1.16 {d18,d19},[r0]! |
| add r0,r0,#32 |
| |
| vld1.16 {d20,d21},[r0]! |
| vld1.16 {d22,d23},[r0]! |
| |
| |
| add r0,r0,#32 |
| |
| vld1.16 {d24,d25},[r0]! |
| vld1.16 {d26,d27},[r0]! |
| |
| |
| |
| |
| |
| @ d12 =r0 1- 4 values |
| @ d13 =r2 1- 4 values |
| @ d14=r1 1- 4 values |
| @ d15=r3 1- 4 values |
| |
| @ d16 =r0 5- 8 values |
| @ d17 =r2 5- 8 values |
| @ d18=r1 5- 8 values |
| @ d19=r3 5- 8 values |
| |
| @ d20 =r0 9- 12 values |
| @ d21 =r2 9- 12 values |
| @ d22=r1 9- 12 values |
| @ d23=r3 9- 12 values |
| |
| @ d24 =r0 13-16 values |
| @ d25 =r2 13- 16 values |
| @ d26=r1 13- 16 values |
| @ d27=r3 13- 16 values |
| |
| vswp d13,d16 |
| vswp d21,d24 |
| vswp d15,d18 |
| vswp d23,d26 |
| |
| |
| vld1.8 {d8,d9},[r2],r8 |
| vld1.8 {d10,d11},[r2],r8 |
| vld1.8 {d28,d29},[r2],r8 |
| vld1.8 {d30,d31},[r2],r8 |
| |
| |
| vaddw.u8 q6,q6,d8 |
| vaddw.u8 q10,q10,d9 |
| vaddw.u8 q7,q7,d10 |
| vaddw.u8 q11,q11,d11 |
| vaddw.u8 q8,q8,d28 |
| vaddw.u8 q12,q12,d29 |
| vaddw.u8 q9,q9,d30 |
| vaddw.u8 q13,q13,d31 |
| sub r2,r2,r8,lsl #2 |
| add r2,r2,#16 |
| vqmovun.s16 d12,q6 |
| vqmovun.s16 d13,q10 |
| vqmovun.s16 d20,q7 |
| vqmovun.s16 d21,q11 |
| vqmovun.s16 d14,q8 |
| vqmovun.s16 d15,q12 |
| vqmovun.s16 d22,q9 |
| vqmovun.s16 d23,q13 |
| |
| |
| vst1.8 {d12,d13},[r3],r7 |
| vst1.8 {d20,d21},[r3],r7 |
| vst1.8 {d14,d15},[r3],r7 |
| vst1.8 {d22,d23},[r3],r7 |
| |
| |
| sub r3,r3,r7,lsl #2 |
| add r3,r3,#16 |
| |
| vld1.16 {d12,d13},[r0]! |
| vld1.16 {d14,d15},[r0]! |
| |
| sub r0,r0,#96 |
| |
| vld1.16 {d16,d17},[r0]! |
| vld1.16 {d18,d19},[r0]! |
| sub r0,r0,#96 |
| |
| vld1.16 {d20,d21},[r0]! |
| vld1.16 {d22,d23},[r0]! |
| |
| |
| sub r0,r0,#96 |
| |
| vld1.16 {d24,d25},[r0]! |
| vld1.16 {d26,d27},[r0]! |
| |
| |
| sub r0,r0,#64 |
| |
| |
| |
| |
| vswp d13,d16 |
| vswp d21,d24 |
| vswp d15,d18 |
| vswp d23,d26 |
| |
| |
| vld1.8 {d8,d9},[r2],r8 |
| vld1.8 {d10,d11},[r2],r8 |
| vld1.8 {d28,d29},[r2],r8 |
| vld1.8 {d30,d31},[r2],r8 |
| |
| |
| vaddw.u8 q6,q6,d8 |
| vaddw.u8 q10,q10,d9 |
| vaddw.u8 q7,q7,d10 |
| vaddw.u8 q11,q11,d11 |
| vaddw.u8 q8,q8,d28 |
| vaddw.u8 q12,q12,d29 |
| vaddw.u8 q9,q9,d30 |
| vaddw.u8 q13,q13,d31 |
| sub r2,r2,#16 |
| |
| vqmovun.s16 d12,q6 |
| vqmovun.s16 d13,q10 |
| vqmovun.s16 d20,q7 |
| vqmovun.s16 d21,q11 |
| vqmovun.s16 d14,q8 |
| vqmovun.s16 d15,q12 |
| vqmovun.s16 d22,q9 |
| vqmovun.s16 d23,q13 |
| |
| |
| vst1.8 {d12,d13},[r3],r7 |
| vst1.8 {d20,d21},[r3],r7 |
| vst1.8 {d14,d15},[r3],r7 |
| vst1.8 {d22,d23},[r3],r7 |
| |
| sub r3,r3,#16 |
| |
| subs r14,r14,#1 |
| bne dct_stage2 |
| ldmfd sp!,{r0-r12,pc} |
| |
| |
| |
| |
| |
