| @/****************************************************************************** |
| @ * |
| @ * Copyright (C) 2015 The Android Open Source Project |
| @ * |
| @ * Licensed under the Apache License, Version 2.0 (the "License"); |
| @ * you may not use this file except in compliance with the License. |
| @ * You may obtain a copy of the License at: |
| @ * |
| @ * http://www.apache.org/licenses/LICENSE-2.0 |
| @ * |
| @ * Unless required by applicable law or agreed to in writing, software |
| @ * distributed under the License is distributed on an "AS IS" BASIS, |
| @ * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. |
| @ * See the License for the specific language governing permissions and |
| @ * limitations under the License. |
| @ * |
| @ ***************************************************************************** |
| @ * Originally developed and contributed by Ittiam Systems Pvt. Ltd, Bangalore |
| @*/ |
| @** |
| @****************************************************************************** |
| @* @file |
| @* ih264_inter_pred_luma_horz_hpel_vert_qpel_a9q.s |
| @* |
| @* @brief |
| @* Contains function definitions for inter prediction interpolation. |
| @* |
| @* @author |
| @* Mohit |
| @* |
| @* @par List of Functions: |
| @* |
| @* - ih264_inter_pred_luma_horz_hpel_vert_qpel_a9q() |
| @* |
| @* @remarks |
| @* None |
| @* |
| @******************************************************************************* |
| @* |
| |
| @* All the functions here are replicated from ih264_inter_pred_filters.c |
| @ |
| |
| @** |
| @** |
| @** |
| @******************************************************************************* |
| @* |
| @* @brief |
| @* This function implements a two stage cascaded six tap filter. It |
| @* applies the six tap filter in the horizontal direction on the |
| @* predictor values, followed by applying the same filter in the |
| @* vertical direction on the output of the first stage. It then averages |
| @* the output of the 1st stage and the output of the 2nd stage to obtain |
| @* the quarter pel values. The six tap filtering operation is described |
| @* in sec 8.4.2.2.1 titled "Luma sample interpolation process". |
| @* |
| @* @par Description: |
| @* This function is called to obtain pixels lying at the following |
| @* location (1/2,1/4) or (1/2,3/4). The function interpolates |
| @* the predictors first in the horizontal direction and then in the |
| @* vertical direction to output the (1/2,1/2). It then averages |
| @* the output of the 2nd stage and (1/2,1/2) value to obtain (1/2,1/4) |
| @* or (1/2,3/4) depending on the offset. |
| @* |
| @* @param[in] pu1_src |
| @* UWORD8 pointer to the source |
| @* |
| @* @param[out] pu1_dst |
| @* UWORD8 pointer to the destination |
| @* |
| @* @param[in] src_strd |
| @* integer source stride |
| @* |
| @* @param[in] dst_strd |
| @* integer destination stride |
| @* |
| @* @param[in] ht |
| @* integer height of the array |
| @* |
| @* @param[in] wd |
| @* integer width of the array |
| @* |
| @* @param[in] pu1_tmp: temporary buffer |
| @* |
| @* @param[in] dydx: x and y reference offset for qpel calculations |
| @* |
| @* @returns |
| @* |
| @* @remarks |
| @* None |
| @* |
| @******************************************************************************* |
| @*; |
| |
| @void ih264_inter_pred_luma_horz_hpel_vert_qpel(UWORD8 *pu1_src, |
| @ UWORD8 *pu1_dst, |
| @ WORD32 src_strd,, |
| @ WORD32 dst_strd, |
| @ WORD32 ht, |
| @ WORD32 wd, |
| @ UWORD8* pu1_tmp, |
| @ UWORD32 dydx) |
| |
| @**************Variables Vs Registers***************************************** |
| @ r0 => *pu1_src |
| @ r1 => *pu1_dst |
| @ r2 => src_strd |
| @ r3 => dst_strd |
| @ r4 => ht |
| @ r5 => wd |
| @ r7 => dydx |
| @ r9 => *pu1_tmp |
| |
| .text |
| .p2align 2 |
| |
| .global ih264_inter_pred_luma_horz_hpel_vert_qpel_a9q |
| |
| ih264_inter_pred_luma_horz_hpel_vert_qpel_a9q: |
| |
| stmfd sp!, {r4-r12, r14} @ store register values to stack |
| vstmdb sp!, {d8-d15} @push neon registers to stack |
| ldr r4, [sp, #104] @ loads ht |
| sub r0, r0, r2, lsl #1 @ pu1_src-2*src_strd |
| sub r0, r0, #2 @ pu1_src-2 |
| ldr r5, [sp, #108] @ loads wd |
| ldr r7, [sp, #116] @ loads dydx |
| lsr r7, r7, #3 @ dydx >> 2 followed by dydx & 0x3 and dydx>>1 to obtain the deciding bit |
| ldr r9, [sp, #112] @ pu1_tmp |
| add r7, r7, #2 |
| mov r6, #48 |
| mla r7, r7, r6, r9 |
| |
| subs r12, r5, #4 @if wd=4 branch to loop_4 |
| beq loop_4_start |
| |
| subs r12, r5, #8 @if wd=8 branch to loop_8 |
| beq loop_8_start |
| |
| @when wd=16 |
| vmov.u16 q11, #20 @ Filter coeff 0x14 into Q11 |
| vmov.u16 q12, #5 @ Filter coeff 0x5 into Q12 |
| add r8, r0, #8 |
| add r14, r1, #8 |
| add r10, r9, #8 |
| mov r12, r4 |
| add r11, r7, #8 |
| |
| loop_16_lowhalf_start: |
| vld1.32 {q0}, [r0], r2 @ row -2 load for horizontal filter |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q3, d0, d5 |
| |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q4, d2, d3 |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q3, q4, q11 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q4, d1, d4 |
| vld1.32 {q0}, [r0], r2 @ row -1 load for horizontal filter |
| vmls.u16 q3, q4, q12 |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q4, d0, d5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q5, d2, d3 |
| |
| vst1.32 {q3}, [r9], r6 @ store temp buffer 0 |
| |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q4, q5, q11 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q5, d1, d4 |
| vld1.32 {q0}, [r0], r2 @ row 0 load for horizontal filter |
| vmls.u16 q4, q5, q12 |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q5, d0, d5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q6, d2, d3 |
| |
| vst1.32 {q4}, [r9], r6 @ store temp buffer 1 |
| |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q5, q6, q11 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q6, d1, d4 |
| vld1.32 {q0}, [r0], r2 @ row 1 load for horizontal filter |
| vmls.u16 q5, q6, q12 |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q6, d0, d5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q7, d2, d3 |
| |
| vst1.32 {q5}, [r9], r6 @ store temp buffer 2 |
| |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q6, q7, q11 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q7, d1, d4 |
| vld1.32 {q0}, [r0], r2 @ row 2 load for horizontal filter |
| vmls.u16 q6, q7, q12 |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q7, d0, d5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q8, d2, d3 |
| |
| vst1.32 {q6}, [r9], r6 @ store temp buffer 3 |
| |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q7, q8, q11 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q8, d1, d4 |
| |
| vmls.u16 q7, q8, q12 |
| loop_16_lowhalf: |
| |
| vld1.32 {q0}, [r0], r2 @ row 3 load for horizontal filter |
| vext.8 d5, d0, d1, #5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q8, d0, d5 |
| |
| vst1.32 {q7}, [r9], r6 @ store temp buffer 4 |
| vaddl.u8 q9, d2, d3 |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q8, q9, q11 |
| vext.8 d1, d0, d1, #1 |
| vadd.s16 q14, q4, q7 |
| vaddl.u8 q9, d1, d4 |
| vadd.s16 q15, q5, q6 |
| vmls.u16 q8, q9, q12 |
| vld1.32 {q0}, [r0], r2 @ row 4 load for hoorizontal filter |
| vext.8 d5, d0, d1, #5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q10, d0, d5 |
| |
| vst1.32 {q8}, [r9], r6 @ store temp buffer r5 |
| |
| vaddl.s16 q9, d6, d16 |
| |
| vld1.32 {q13}, [r7], r6 @ load from temp buffer 0 |
| |
| vaddl.s16 q3, d7, d17 |
| |
| vqrshrun.s16 d26, q13, #5 |
| |
| vmlal.s16 q9, d30, d22 |
| vmlsl.s16 q9, d28, d24 |
| vmlal.s16 q3, d31, d22 |
| vmlsl.s16 q3, d29, d24 |
| vaddl.u8 q1, d2, d3 |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q10, q1, q11 |
| vqrshrun.s32 d18, q9, #10 |
| vext.8 d1, d0, d1, #1 |
| vqrshrun.s32 d19, q3, #10 |
| vadd.s16 q14, q5, q8 |
| vaddl.u8 q1, d1, d4 |
| vadd.s16 q15, q6, q7 |
| vmls.u16 q10, q1, q12 |
| vqmovn.u16 d18, q9 |
| vld1.32 {q0}, [r0], r2 @ row 5 load for horizontal filter |
| |
| vrhadd.u8 d26, d18, d26 |
| |
| vext.8 d5, d0, d1, #5 |
| vext.8 d2, d0, d1, #2 |
| |
| vst1.32 {q10}, [r9], r6 @ store temp buffer r6 |
| |
| vaddl.s16 q9, d8, d20 |
| |
| vaddl.s16 q3, d9, d21 |
| |
| vld1.32 {q4}, [r7], r6 @load from temp buffer 1 |
| |
| |
| vst1.32 d26, [r1], r3 @ store row 0 |
| |
| vmlal.s16 q9, d30, d22 |
| vmlsl.s16 q9, d28, d24 |
| |
| vqrshrun.s16 d28, q4, #5 |
| |
| vmlal.s16 q3, d31, d22 |
| vmlsl.s16 q3, d29, d24 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q4, d0, d5 |
| vaddl.u8 q1, d2, d3 |
| vqrshrun.s32 d18, q9, #10 |
| vext.8 d4, d0, d1, #4 |
| vqrshrun.s32 d19, q3, #10 |
| vmla.u16 q4, q1, q11 |
| vext.8 d1, d0, d1, #1 |
| vadd.s16 q13, q6, q10 |
| vaddl.u8 q1, d1, d4 |
| vqmovn.u16 d18, q9 |
| vadd.s16 q15, q7, q8 |
| vmls.u16 q4, q1, q12 |
| vld1.32 {q0}, [r0], r2 @ row 6 load for horizontal filter |
| |
| vrhadd.u8 d28, d28, d18 |
| |
| vext.8 d5, d0, d1, #5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| |
| vst1.32 d28, [r1], r3 @ store row 1 |
| |
| vaddl.u8 q14, d0, d5 |
| |
| vst1.32 {q4}, [r9], r6 @ store temp buffer r7 |
| |
| vaddl.s16 q9, d10, d8 |
| vaddl.s16 q3, d11, d9 |
| |
| vld1.32 {q5}, [r7], r6 @ load from temp buffer 2 |
| |
| vmlal.s16 q9, d30, d22 |
| vmlsl.s16 q9, d26, d24 |
| vmlal.s16 q3, d31, d22 |
| |
| vqrshrun.s16 d26, q5, #5 |
| |
| vmlsl.s16 q3, d27, d24 |
| vaddl.u8 q1, d2, d3 |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q14, q1, q11 |
| vqrshrun.s32 d18, q9, #10 |
| vext.8 d1, d0, d1, #1 |
| vqrshrun.s32 d19, q3, #10 |
| vadd.s16 q5, q7, q4 |
| vaddl.u8 q1, d1, d4 |
| vadd.s16 q15, q8, q10 |
| vmls.u16 q14, q1, q12 |
| vqmovn.u16 d27, q9 |
| |
| vaddl.s16 q9, d12, d28 |
| vaddl.s16 q3, d13, d29 |
| |
| vrhadd.u8 d26, d26, d27 |
| |
| vmlal.s16 q9, d30, d22 |
| vmlsl.s16 q9, d10, d24 |
| vmlal.s16 q3, d31, d22 |
| vmlsl.s16 q3, d11, d24 |
| |
| vst1.32 d26, [r1], r3 @ store row 2 |
| |
| vst1.32 {q14}, [r9] |
| |
| |
| vqrshrun.s32 d18, q9, #10 |
| vmov q5, q10 |
| vld1.32 {q15}, [r7], r6 @ load from temp buffer 3 |
| |
| vqrshrun.s32 d19, q3, #10 |
| subs r4, r4, #4 |
| |
| vqrshrun.s16 d30, q15, #5 |
| |
| vqmovn.u16 d18, q9 |
| vmov q6, q4 |
| vmov q3, q7 |
| vrhadd.u8 d30, d18, d30 |
| vmov q4, q8 |
| vmov q7, q14 |
| vst1.32 d30, [r1], r3 @ store row 3 |
| |
| bgt loop_16_lowhalf @ looping if height =16 |
| |
| |
| loop_16_highhalf_start: |
| vld1.32 {q0}, [r8], r2 |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q3, d0, d5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q4, d2, d3 |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q3, q4, q11 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q4, d1, d4 |
| vld1.32 {q0}, [r8], r2 |
| vmls.u16 q3, q4, q12 |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q4, d0, d5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q5, d2, d3 |
| |
| vst1.32 {q3}, [r10], r6 |
| |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q4, q5, q11 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q5, d1, d4 |
| vld1.32 {q0}, [r8], r2 |
| vmls.u16 q4, q5, q12 |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q5, d0, d5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q6, d2, d3 |
| |
| vst1.32 {q4}, [r10], r6 |
| |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q5, q6, q11 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q6, d1, d4 |
| vld1.32 {q0}, [r8], r2 |
| vmls.u16 q5, q6, q12 |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q6, d0, d5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q7, d2, d3 |
| |
| vst1.32 {q5}, [r10], r6 |
| |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q6, q7, q11 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q7, d1, d4 |
| vld1.32 {q0}, [r8], r2 |
| vmls.u16 q6, q7, q12 |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q7, d0, d5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q8, d2, d3 |
| |
| vst1.32 {q6}, [r10], r6 |
| |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q7, q8, q11 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q8, d1, d4 |
| |
| vmls.u16 q7, q8, q12 |
| |
| loop_16_highhalf: |
| |
| vld1.32 {q0}, [r8], r2 |
| vext.8 d5, d0, d1, #5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q8, d0, d5 |
| |
| vst1.32 {q7}, [r10], r6 |
| |
| vaddl.u8 q9, d2, d3 |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q8, q9, q11 |
| vext.8 d1, d0, d1, #1 |
| vadd.s16 q14, q4, q7 |
| vaddl.u8 q9, d1, d4 |
| vadd.s16 q15, q5, q6 |
| vmls.u16 q8, q9, q12 |
| vld1.32 {q0}, [r8], r2 |
| vext.8 d5, d0, d1, #5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q10, d0, d5 |
| |
| vst1.32 {q8}, [r10], r6 |
| |
| vaddl.s16 q9, d6, d16 |
| |
| vld1.32 {q13}, [r11], r6 |
| |
| vaddl.s16 q3, d7, d17 |
| |
| vqrshrun.s16 d26, q13, #5 |
| |
| vmlal.s16 q9, d30, d22 |
| vmlsl.s16 q9, d28, d24 |
| vmlal.s16 q3, d31, d22 |
| vmlsl.s16 q3, d29, d24 |
| vaddl.u8 q1, d2, d3 |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q10, q1, q11 |
| vqrshrun.s32 d18, q9, #10 |
| vext.8 d1, d0, d1, #1 |
| vqrshrun.s32 d19, q3, #10 |
| vadd.s16 q14, q5, q8 |
| vaddl.u8 q1, d1, d4 |
| vadd.s16 q15, q6, q7 |
| vmls.u16 q10, q1, q12 |
| vqmovn.u16 d18, q9 |
| vld1.32 {q0}, [r8], r2 |
| |
| vrhadd.u8 d26, d18, d26 |
| |
| vext.8 d5, d0, d1, #5 |
| vext.8 d2, d0, d1, #2 |
| |
| vst1.32 {q10}, [r10], r6 |
| |
| vaddl.s16 q9, d8, d20 |
| vaddl.s16 q3, d9, d21 |
| |
| vld1.32 {q4}, [r11], r6 |
| |
| |
| vst1.32 d26, [r14], r3 @store row 0 |
| |
| vmlal.s16 q9, d30, d22 |
| vmlsl.s16 q9, d28, d24 |
| |
| vqrshrun.s16 d28, q4, #5 |
| |
| vmlal.s16 q3, d31, d22 |
| vmlsl.s16 q3, d29, d24 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q4, d0, d5 |
| vaddl.u8 q1, d2, d3 |
| vqrshrun.s32 d18, q9, #10 |
| vext.8 d4, d0, d1, #4 |
| vqrshrun.s32 d19, q3, #10 |
| vmla.u16 q4, q1, q11 |
| vext.8 d1, d0, d1, #1 |
| vadd.s16 q13, q6, q10 |
| vaddl.u8 q1, d1, d4 |
| vqmovn.u16 d18, q9 |
| vadd.s16 q15, q7, q8 |
| vmls.u16 q4, q1, q12 |
| vld1.32 {q0}, [r8], r2 |
| |
| vrhadd.u8 d28, d28, d18 |
| |
| vext.8 d5, d0, d1, #5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| |
| vst1.32 d28, [r14], r3 @store row 1 |
| |
| vaddl.u8 q14, d0, d5 |
| |
| vst1.32 {q4}, [r10], r6 |
| |
| vaddl.s16 q9, d10, d8 |
| vaddl.s16 q3, d11, d9 |
| |
| vld1.32 {q5}, [r11], r6 |
| |
| vmlal.s16 q9, d30, d22 |
| vmlsl.s16 q9, d26, d24 |
| vmlal.s16 q3, d31, d22 |
| |
| vqrshrun.s16 d26, q5, #5 |
| |
| vmlsl.s16 q3, d27, d24 |
| vaddl.u8 q1, d2, d3 |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q14, q1, q11 |
| vqrshrun.s32 d18, q9, #10 |
| vext.8 d1, d0, d1, #1 |
| vqrshrun.s32 d19, q3, #10 |
| vadd.s16 q5, q7, q4 |
| vaddl.u8 q1, d1, d4 |
| vadd.s16 q15, q8, q10 |
| vmls.u16 q14, q1, q12 |
| vqmovn.u16 d27, q9 |
| |
| |
| vaddl.s16 q9, d12, d28 |
| vaddl.s16 q3, d13, d29 |
| |
| vrhadd.u8 d26, d26, d27 |
| |
| vmlal.s16 q9, d30, d22 |
| vmlsl.s16 q9, d10, d24 |
| vmlal.s16 q3, d31, d22 |
| vmlsl.s16 q3, d11, d24 |
| |
| vst1.32 d26, [r14], r3 @ store row 2 |
| |
| vst1.32 {q14}, [r10] |
| |
| vqrshrun.s32 d18, q9, #10 |
| vmov q5, q10 |
| vld1.32 {q15}, [r11], r6 |
| |
| vqrshrun.s32 d19, q3, #10 |
| subs r12, r12, #4 |
| |
| vqrshrun.s16 d30, q15, #5 |
| |
| vqmovn.u16 d18, q9 |
| vmov q6, q4 |
| vmov q3, q7 |
| vrhadd.u8 d30, d18, d30 |
| vmov q4, q8 |
| vmov q7, q14 |
| vst1.32 d30, [r14], r3 @ store row 3 |
| |
| bgt loop_16_highhalf @ looping if height = 8 or 16 |
| b end_func |
| |
| loop_8_start: |
| |
| vmov.u16 q11, #20 @ Filter coeff 20 into Q11 |
| vmov.u16 q12, #5 @ Filter coeff 5 into Q12 |
| vld1.32 {q0}, [r0], r2 @ row -2 load for horizontal filter |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q3, d0, d5 |
| |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q4, d2, d3 |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q3, q4, q11 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q4, d1, d4 |
| vld1.32 {q0}, [r0], r2 @ row -1 load for horizontal filter |
| vmls.u16 q3, q4, q12 |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q4, d0, d5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q5, d2, d3 |
| |
| vst1.32 {q3}, [r9], r6 @ store temp buffer 0 |
| |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q4, q5, q11 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q5, d1, d4 |
| vld1.32 {q0}, [r0], r2 @ row 0 load for horizontal filter |
| vmls.u16 q4, q5, q12 |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q5, d0, d5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q6, d2, d3 |
| |
| vst1.32 {q4}, [r9], r6 @ store temp buffer 1 |
| |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q5, q6, q11 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q6, d1, d4 |
| vld1.32 {q0}, [r0], r2 @ row 1 load for horizontal filter |
| vmls.u16 q5, q6, q12 |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q6, d0, d5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q7, d2, d3 |
| |
| vst1.32 {q5}, [r9], r6 @ store temp buffer 2 |
| |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q6, q7, q11 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q7, d1, d4 |
| vld1.32 {q0}, [r0], r2 @ row 2 load for horizontal filter |
| vmls.u16 q6, q7, q12 |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q7, d0, d5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q8, d2, d3 |
| |
| vst1.32 {q6}, [r9], r6 @ store temp buffer 3 |
| |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q7, q8, q11 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q8, d1, d4 |
| |
| vmls.u16 q7, q8, q12 |
| loop_8: |
| |
| vld1.32 {q0}, [r0], r2 @ row 3 load for horizontal filter |
| vext.8 d5, d0, d1, #5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q8, d0, d5 |
| |
| vst1.32 {q7}, [r9], r6 @ store temp buffer 4 |
| |
| vaddl.u8 q9, d2, d3 |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q8, q9, q11 |
| vext.8 d1, d0, d1, #1 |
| vadd.s16 q14, q4, q7 |
| vaddl.u8 q9, d1, d4 |
| vadd.s16 q15, q5, q6 |
| vmls.u16 q8, q9, q12 |
| vld1.32 {q0}, [r0], r2 @ row 4 load for hoorizontal filter |
| vext.8 d5, d0, d1, #5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q10, d0, d5 |
| |
| vst1.32 {q8}, [r9], r6 @ store temp buffer r5 |
| |
| vaddl.s16 q9, d6, d16 |
| |
| vld1.32 {q13}, [r7], r6 @ load from temp buffer 0 |
| |
| vaddl.s16 q3, d7, d17 |
| |
| vqrshrun.s16 d26, q13, #5 |
| |
| vmlal.s16 q9, d30, d22 |
| vmlsl.s16 q9, d28, d24 |
| vmlal.s16 q3, d31, d22 |
| vmlsl.s16 q3, d29, d24 |
| vaddl.u8 q1, d2, d3 |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q10, q1, q11 |
| vqrshrun.s32 d18, q9, #10 |
| vext.8 d1, d0, d1, #1 |
| vqrshrun.s32 d19, q3, #10 |
| vadd.s16 q14, q5, q8 |
| vaddl.u8 q1, d1, d4 |
| vadd.s16 q15, q6, q7 |
| vmls.u16 q10, q1, q12 |
| vqmovn.u16 d18, q9 |
| vld1.32 {q0}, [r0], r2 @ row 5 load for horizontal filter |
| |
| vrhadd.u8 d26, d18, d26 |
| |
| vext.8 d5, d0, d1, #5 |
| vext.8 d2, d0, d1, #2 |
| |
| vst1.32 {q10}, [r9], r6 @ store temp buffer r6 |
| |
| vaddl.s16 q9, d8, d20 |
| |
| vaddl.s16 q3, d9, d21 |
| |
| vld1.32 {q4}, [r7], r6 @load from temp buffer 1 |
| |
| |
| vst1.32 d26, [r1], r3 @ store row 0 |
| |
| vmlal.s16 q9, d30, d22 |
| vmlsl.s16 q9, d28, d24 |
| |
| vqrshrun.s16 d28, q4, #5 |
| |
| vmlal.s16 q3, d31, d22 |
| vmlsl.s16 q3, d29, d24 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q4, d0, d5 |
| vaddl.u8 q1, d2, d3 |
| vqrshrun.s32 d18, q9, #10 |
| vext.8 d4, d0, d1, #4 |
| vqrshrun.s32 d19, q3, #10 |
| vmla.u16 q4, q1, q11 |
| vext.8 d1, d0, d1, #1 |
| vadd.s16 q13, q6, q10 |
| vaddl.u8 q1, d1, d4 |
| vqmovn.u16 d18, q9 |
| vadd.s16 q15, q7, q8 |
| vmls.u16 q4, q1, q12 |
| vld1.32 {q0}, [r0], r2 @ row 6 load for horizontal filter |
| |
| vrhadd.u8 d28, d28, d18 |
| |
| vext.8 d5, d0, d1, #5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| |
| vst1.32 d28, [r1], r3 @ store row 1 |
| |
| vaddl.u8 q14, d0, d5 |
| |
| vst1.32 {q4}, [r9], r6 @ store temp buffer r7 |
| |
| vaddl.s16 q9, d10, d8 |
| vaddl.s16 q3, d11, d9 |
| |
| vld1.32 {q5}, [r7], r6 @ load from temp buffer 2 |
| |
| vmlal.s16 q9, d30, d22 |
| vmlsl.s16 q9, d26, d24 |
| vmlal.s16 q3, d31, d22 |
| |
| vqrshrun.s16 d26, q5, #5 |
| |
| vmlsl.s16 q3, d27, d24 |
| vaddl.u8 q1, d2, d3 |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 q14, q1, q11 |
| vqrshrun.s32 d18, q9, #10 |
| vext.8 d1, d0, d1, #1 |
| vqrshrun.s32 d19, q3, #10 |
| vadd.s16 q5, q7, q4 |
| vaddl.u8 q1, d1, d4 |
| vadd.s16 q15, q8, q10 |
| vmls.u16 q14, q1, q12 |
| vqmovn.u16 d27, q9 |
| |
| vaddl.s16 q9, d12, d28 |
| vaddl.s16 q3, d13, d29 |
| |
| vrhadd.u8 d26, d26, d27 |
| |
| vmlal.s16 q9, d30, d22 |
| vmlsl.s16 q9, d10, d24 |
| vmlal.s16 q3, d31, d22 |
| vmlsl.s16 q3, d11, d24 |
| |
| vst1.32 d26, [r1], r3 @ store row 2 |
| |
| vst1.32 {q14}, [r9] |
| |
| |
| vqrshrun.s32 d18, q9, #10 |
| vmov q5, q10 |
| vld1.32 {q15}, [r7], r6 @ load from temp buffer 3 |
| |
| vqrshrun.s32 d19, q3, #10 |
| subs r4, r4, #4 |
| |
| vqrshrun.s16 d30, q15, #5 |
| |
| vqmovn.u16 d18, q9 |
| vmov q6, q4 |
| vmov q3, q7 |
| vrhadd.u8 d30, d18, d30 |
| vmov q4, q8 |
| vmov q7, q14 |
| vst1.32 d30, [r1], r3 @ store row 3 |
| |
| bgt loop_8 @if height =8 or 16 loop |
| b end_func |
| |
| loop_4_start: |
| vmov.u16 d22, #20 @ Filter coeff 20 into D22 |
| vmov.u16 d23, #5 @ Filter coeff 5 into D23 |
| |
| vld1.32 {q0}, [r0], r2 @row -2 load |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q3, d0, d5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q4, d2, d3 |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 d6, d8, d22 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q4, d1, d4 |
| vld1.32 {q0}, [r0], r2 @ row -1 load |
| vmls.u16 d6, d8, d23 |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q4, d0, d5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q5, d2, d3 |
| |
| vst1.32 d6, [r9], r6 @ store temp buffer 0 |
| |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 d8, d10, d22 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q5, d1, d4 |
| vld1.32 {q0}, [r0], r2 @ row 0 load |
| vmls.u16 d8, d10, d23 |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q5, d0, d5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q6, d2, d3 |
| |
| vst1.32 d8, [r9], r6 @ store temp buffer 1 |
| |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 d10, d12, d22 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q6, d1, d4 |
| vld1.32 {q0}, [r0], r2 @ row 1 load |
| vmls.u16 d10, d12, d23 |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q6, d0, d5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q7, d2, d3 |
| |
| vst1.32 d10, [r9], r6 @ store temp buffer 2 |
| |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 d12, d14, d22 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q7, d1, d4 |
| vld1.32 {q0}, [r0], r2 @ row 2 load |
| vmls.u16 d12, d14, d23 |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q7, d0, d5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q8, d2, d3 |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 d14, d16, d22 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q8, d1, d4 |
| |
| vst1.32 d12, [r9], r6 @ store temp buffer 3 |
| |
| vmls.u16 d14, d16, d23 |
| |
| loop_4: |
| |
| vld1.32 {q0}, [r0], r2 @ row 3 load |
| vext.8 d5, d0, d1, #5 |
| vaddl.u8 q8, d0, d5 |
| vext.8 d2, d0, d1, #2 |
| vext.8 d3, d0, d1, #3 |
| vaddl.u8 q9, d2, d3 |
| vst1.32 d14, [r9], r6 @ store temp buffer 4 |
| vext.8 d4, d0, d1, #4 |
| vmla.u16 d16, d18, d22 |
| vext.8 d1, d0, d1, #1 |
| vaddl.u8 q9, d1, d4 |
| vadd.s16 d2, d10, d12 |
| vmls.u16 d16, d18, d23 |
| vadd.s16 d3, d8, d14 |
| vld1.32 {q9}, [r0], r2 @ row 4 load |
| vext.8 d25, d18, d19, #5 |
| vaddl.u8 q13, d18, d25 |
| vext.8 d20, d18, d19, #2 |
| |
| vst1.32 d16, [r9], r6 @ store temp buffer 5 |
| |
| vaddl.s16 q0, d6, d16 |
| vmlal.s16 q0, d2, d22 |
| vext.8 d21, d18, d19, #3 |
| vaddl.u8 q14, d20, d21 |
| vext.8 d24, d18, d19, #4 |
| vmlsl.s16 q0, d3, d23 |
| vmla.u16 d26, d28, d22 |
| vext.8 d19, d18, d19, #1 |
| vaddl.u8 q14, d19, d24 |
| vadd.s16 d2, d12, d14 |
| vmls.u16 d26, d28, d23 |
| vqrshrun.s32 d0, q0, #0xa |
| vadd.s16 d3, d10, d16 |
| vld1.32 {q9}, [r0], r2 @ row 5 load |
| vext.8 d25, d18, d19, #5 |
| vqmovn.u16 d11, q0 |
| vaddl.u8 q14, d18, d25 |
| |
| vst1.32 d26, [r9], r6 @ store temp buffer 6 |
| |
| @Q3 available here |
| vld1.32 d6, [r7], r6 @ load from temp buffer 0 |
| vld1.32 d7, [r7], r6 @ load from temp buffer 1 |
| vqrshrun.s16 d9, q3, #5 |
| |
| vext.8 d20, d18, d19, #2 |
| |
| vaddl.s16 q0, d8, d26 |
| vmlal.s16 q0, d2, d22 |
| vext.8 d21, d18, d19, #3 |
| vaddl.u8 q3, d20, d21 |
| vext.8 d24, d18, d19, #4 |
| vmlsl.s16 q0, d3, d23 |
| vmla.u16 d28, d6, d22 |
| vext.8 d19, d18, d19, #1 |
| vaddl.u8 q3, d19, d24 |
| vadd.s16 d2, d14, d16 |
| vmls.u16 d28, d6, d23 |
| vqrshrun.s32 d0, q0, #0xa |
| vadd.s16 d3, d12, d26 |
| vld1.32 {q9}, [r0], r2 @ row 6 load |
| vext.8 d25, d18, d19, #5 |
| vqmovn.u16 d13, q0 |
| |
| vtrn.32 d11, d13 |
| vaddl.s16 q0, d10, d28 |
| vrhadd.u8 d9, d9, d11 |
| |
| vst1.32 d28, [r9], r6 @ store temp buffer 7 |
| |
| vmlal.s16 q0, d2, d22 |
| vaddl.u8 q15, d18, d25 |
| |
| vst1.32 d9[0], [r1], r3 @ store row 0 |
| |
| vext.8 d20, d18, d19, #2 |
| |
| vst1.32 d9[1], [r1], r3 @ store row 1 |
| |
| vext.8 d21, d18, d19, #3 |
| vmlsl.s16 q0, d3, d23 |
| vaddl.u8 q4, d20, d21 |
| vext.8 d24, d18, d19, #4 |
| vmla.u16 d30, d8, d22 |
| vext.8 d19, d18, d19, #1 |
| vaddl.u8 q4, d19, d24 |
| vqrshrun.s32 d0, q0, #0xa |
| vadd.s16 d2, d16, d26 |
| vmls.u16 d30, d8, d23 |
| vqmovn.u16 d4, q0 |
| |
| vadd.s16 d3, d14, d28 |
| |
| |
| vaddl.s16 q0, d12, d30 |
| |
| vst1.32 d30, [r9] |
| |
| vmlal.s16 q0, d2, d22 |
| |
| vld1.32 d8, [r7], r6 @ load from temp buffer 2 |
| vld1.32 d9, [r7], r6 @ load from temp buffer 3 |
| vmlsl.s16 q0, d3, d23 |
| subs r4, r4, #4 |
| vqrshrun.s16 d10, q4, #5 |
| |
| vmov d12, d28 |
| |
| vqrshrun.s32 d0, q0, #0xa |
| vmov d6, d14 |
| vmov d8, d16 |
| |
| vqmovn.u16 d5, q0 |
| |
| vtrn.32 d4, d5 |
| vrhadd.u8 d4, d4, d10 |
| vmov d10, d26 |
| vmov d14, d30 |
| |
| vst1.32 d4[0], [r1], r3 @ store row 2 |
| vst1.32 d4[1], [r1], r3 @ store row 3 |
| |
| bgt loop_4 |
| |
| end_func: |
| vldmia sp!, {d8-d15} @ Restore neon registers that were saved |
| ldmfd sp!, {r4-r12, pc} @Restoring registers from stack |
| |
| |
