| @/****************************************************************************** |
| @ * |
| @ * Copyright (C) 2018 The Android Open Source Project |
| @ * |
| @ * Licensed under the Apache License, Version 2.0 (the "License"); |
| @ * you may not use this file except in compliance with the License. |
| @ * You may obtain a copy of the License at: |
| @ * |
| @ * http://www.apache.org/licenses/LICENSE-2.0 |
| @ * |
| @ * Unless required by applicable law or agreed to in writing, software |
| @ * distributed under the License is distributed on an "AS IS" BASIS, |
| @ * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. |
| @ * See the License for the specific language governing permissions and |
| @ * limitations under the License. |
| @ * |
| @ ***************************************************************************** |
| @ * Originally developed and contributed by Ittiam Systems Pvt. Ltd, Bangalore |
| @*/ |
| |
| |
| .text |
| .p2align 2 |
| .global ixheaacd_post_twid_overlap_add_armv7 |
| |
| ixheaacd_post_twid_overlap_add_armv7: |
| |
| STMFD sp!, {R4-R12} |
| VPUSH {d8 - d15} |
| |
| LDR R4, [sp, #100] |
| LDR R5, [sp, #104] |
| LDR R6, [sp, #108] |
| |
| LSL R9, R3, #2 |
| ASR R9, R9, #1 |
| ADD R6, R6, R9 |
| SUB R6, R6, #4 |
| |
| MOVW R8, #7500 |
| ADD R2, R2, R8 |
| |
| |
| |
| VMOV.S16 D18, #50 |
| RSB R9, R5, #15 |
| VMOV.S32 Q10, #0x00008000 |
| VDUP.32 Q8, R5 |
| SUB R5, R5, #16 |
| STR R5, [sp, #116] |
| MOV R8, #1 |
| LSL R8, R8, R9 |
| STR R8, [sp, #120] |
| |
| |
| ARM_PROLOGUE: |
| |
| |
| LDR R8, [R1], #4 |
| LDR R9, [R1], #4 |
| |
| LDR R10, [R2], #4 |
| |
| SMULWT R11, R8, R10 |
| SMULWB R12, R9, R10 |
| SMULWB R5, R8, R10 |
| SMLAWT R7, R9, R10, R5 |
| SUB R8, R12, R11 |
| MVN R5, R7 |
| ADD R5, R5, #1 |
| |
| MOV R9, #50 |
| MOV R12, #-50 |
| SMULWB R10, R5, R9 |
| SMULWB R11, R8, R12 |
| |
| ADD R8, R8, R10 |
| ADD R5, R5, R11 |
| |
| LDR R11, [sp, #104] |
| LDR R10, [R6], #-32 |
| |
| |
| SMULWB R7, R8, R10 |
| MVN R8, R8 |
| ADD R8, R8, #1 |
| SMULWT R12, R8, R10 |
| |
| CMP R11, #0 |
| BLT NEXT |
| |
| RSBS R9, R11, #16 |
| |
| |
| |
| |
| LDR R8, [sp, #120] |
| QADD R5, R5, R8 |
| ASR R5, R5, R9 |
| |
| RSBS R9, R11, #31 |
| MOVS R8, R7, ASR R9 |
| CMNLT R8, #1 |
| MOVLT R7, #0x80000000 |
| MVNGT R7, #0x80000000 |
| MOVEQ R7, R7, LSL R11 |
| |
| RSBS R9, R11, #31 |
| MOVS R8, R12, ASR R9 |
| CMNLT R8, #1 |
| MOVLT R12, #0x80000000 |
| MVNGT R12, #0x80000000 |
| MOVEQ R12, R12, LSL R11 |
| |
| B NEXT1 |
| NEXT: |
| MVN R11, R11 |
| ADD R11, R11, #1 |
| ASR R5, R5, R11 |
| MOV R8, #0x8000 |
| QADD R5, R5, R8 |
| ASR R5, R5, #16 |
| ASR R7, R7, R11 |
| ASR R12, R12, R11 |
| |
| NEXT1: |
| LDR R9, [R4] |
| MOV R8, #0x8000 |
| |
| STR R5, [R4], #4 |
| |
| |
| UXTH R5, R10, ROR #16 |
| UXTH R10, R10 |
| |
| |
| VDUP.32 D0, R9 |
| VDUP.32 D2, R10 |
| VDUP.32 D3, R5 |
| VZIP.32 D2, D3 |
| VMULL.S32 Q0, D2, D0 |
| VQMOVN.S64 D8, Q0 |
| |
| |
| VDUP.32 D0, R12 |
| VDUP.32 D1, R7 |
| |
| VZIP.32 D0, D1 |
| VQSUB.S32 D8, D0, D8 |
| |
| |
| VQSHL.S32 D8, D8, #2 |
| VDUP.32 D0, R8 |
| VQADD.S32 D8, D8, D0 |
| VSHR.S32 D8, D8, #16 |
| |
| |
| |
| LDR R7, [sp, #112] |
| LSL R10, R7, #1 |
| |
| ASR R5, R3, #1 |
| SMULBB R5, R10, R5 |
| ADD R5, R5, R0 |
| SUB R0, R5, R10 |
| MVN R9, R10 |
| ADD R9, R9, #1 |
| |
| VST1.16 D8[2], [R0], R9 |
| VST1.16 D8[0], [R5], R10 |
| |
| |
| MOV R8, R1 |
| LSL R12, R3, #2 |
| |
| ADD R1, R1, R12 |
| |
| SUB R1, R1, #40 |
| |
| MOV R12, #-32 |
| |
| |
| |
| PROLOGUE_NEON: |
| |
| ASR R3, R3, #2 |
| SUB R3, R3, #4 |
| ASR R3, R3, #2 |
| SUB R3, R3, #2 |
| |
| VLD2.32 {Q0, Q1}, [R1], R12 |
| VUZP.16 D0, D1 |
| VUZP.16 D2, D3 |
| |
| VREV64.16 Q0, Q0 |
| VREV64.16 Q1, Q1 |
| VLD2.16 {D8, D9}, [R2]! |
| |
| VLD2.32 {Q2, Q3}, [R8]! |
| VMULL.U16 Q15, D0, D9 |
| |
| VUZP.16 D4, D5 |
| VMULL.U16 Q14, D2, D8 |
| |
| VUZP.16 D6, D7 |
| VMULL.U16 Q13, D0, D8 |
| |
| |
| VMULL.U16 Q12, D2, D9 |
| |
| VLD2.32 {Q5, Q6}, [R6], R12 |
| VSHR.U32 Q15, Q15, #16 |
| |
| VUZP.16 D10, D11 |
| VSHR.U32 Q14, Q14, #16 |
| |
| VUZP.16 D12, D13 |
| VMLAL.S16 Q15, D1, D9 |
| |
| VREV64.16 Q5, Q5 |
| VMLAL.S16 Q14, D3, D8 |
| |
| VREV64.16 Q6, Q6 |
| VSHR.U32 Q13, Q13, #16 |
| |
| |
| VSHR.U32 Q12, Q12, #16 |
| |
| VMLAL.S16 Q13, D1, D8 |
| VMLAL.S16 Q12, D3, D9 |
| |
| |
| |
| VADD.I32 Q15, Q15, Q14 |
| VNEG.S32 Q15, Q15 |
| |
| VMULL.U16 Q11, D4, D8 |
| |
| VSUB.I32 Q14, Q12, Q13 |
| |
| |
| VMOV Q13, Q15 |
| VMOV Q12, Q14 |
| |
| VUZP.16 D24, D25 |
| |
| |
| VUZP.16 D26, D27 |
| VMULL.U16 Q1, D24, D18 |
| |
| VMULL.U16 Q0, D26, D18 |
| |
| VSHR.U32 Q11, Q11, #16 |
| VMLAL.S16 Q11, D5, D8 |
| |
| VSHR.U32 Q1, Q1, #16 |
| VSHR.U32 Q0, Q0, #16 |
| VMLAL.S16 Q1, D25, D18 |
| VMLAL.S16 Q0, D27, D18 |
| |
| VMULL.U16 Q12, D4, D9 |
| VMULL.U16 Q13, D6, D8 |
| |
| VNEG.S32 Q1, Q1 |
| VADD.I32 Q14, Q14, Q0 |
| VADD.I32 Q15, Q15, Q1 |
| |
| VMULL.U16 Q0, D6, D9 |
| VSHR.S32 Q12, Q12, #16 |
| VMLAL.S16 Q12, D5, D9 |
| VSHR.S32 Q13, Q13, #16 |
| VSHR.S32 Q0, Q0, #16 |
| VMLAL.S16 Q13, D7, D8 |
| VMLAL.S16 Q0, D7, D9 |
| |
| |
| |
| |
| VADD.I32 Q11, Q11, Q0 |
| VNEG.S32 Q11, Q11 |
| VSUB.I32 Q12, Q13, Q12 |
| |
| |
| |
| LDR R11, [sp, #120] |
| VDUP.S32 Q7, R11 |
| VQADD.S32 Q14, Q14, Q7 |
| LDR R11, [sp, #116] |
| VDUP.S32 Q0, R11 |
| VQSHL.S32 Q14, Q14, Q0 |
| |
| VMOV Q0, Q11 |
| VMOV Q7, Q12 |
| |
| |
| VUZP.16 D24, D25 |
| |
| VUZP.16 D22, D23 |
| VMULL.U16 Q4, D24, D18 |
| VMULL.U16 Q13, D22, D18 |
| |
| VNEG.S32 Q1, Q15 |
| VUZP.16 D30, D31 |
| |
| VUZP.16 D2, D3 |
| VMULL.U16 Q2, D30, D12 |
| |
| VMULL.U16 Q3, D2, D13 |
| |
| VSHR.U32 Q4, Q4, #16 |
| VSHR.U32 Q13, Q13, #16 |
| |
| VMLAL.S16 Q4, D25, D18 |
| VMLAL.S16 Q13, D23, D18 |
| |
| VSHR.U32 Q2, Q2, #16 |
| VSHR.U32 Q3, Q3, #16 |
| |
| VMLAL.S16 Q2, D31, D12 |
| VMLAL.S16 Q3, D3, D13 |
| |
| VNEG.S32 Q4, Q4 |
| VADD.I32 Q7, Q7, Q13 |
| VADD.I32 Q0, Q0, Q4 |
| |
| LDR R11, [sp, #120] |
| VDUP.S32 Q4, R11 |
| VQADD.S32 Q0, Q0, Q4 |
| LDR R11, [sp, #116] |
| VDUP.S32 Q13, R11 |
| VQSHL.S32 Q0, Q0, Q13 |
| |
| VMOV Q13, Q14 |
| |
| VLD2.32 {Q14, Q15}, [R4] |
| |
| VZIP.32 Q13, Q0 |
| VST1.32 {Q13}, [R4]! |
| VST1.32 {Q0}, [R4]! |
| |
| VMOV.S32 D1, #0 |
| VADDL.S16 Q0, D13, D1 |
| |
| |
| VMULL.S32 Q13, D28, D0 |
| VQMOVN.S64 D8, Q13 |
| VMULL.S32 Q13, D29, D1 |
| VQMOVN.S64 D9, Q13 |
| |
| VMOV.S32 D1, #0 |
| VADDL.S16 Q0, D12, D1 |
| |
| |
| VMULL.S32 Q12, D28, D0 |
| VQMOVN.S64 D26, Q12 |
| VMULL.S32 Q12, D29, D1 |
| VQMOVN.S64 D27, Q12 |
| |
| VQSHL.S32 Q2, Q2, Q8 |
| VQSHL.S32 Q3, Q3, Q8 |
| |
| VQSUB.S32 Q2, Q2, Q4 |
| VQSUB.S32 Q3, Q3, Q13 |
| |
| VNEG.S32 Q13, Q7 |
| VUZP.16 D14, D15 |
| VUZP.16 D26, D27 |
| |
| VMOV.S32 D1, #0 |
| VADDL.S16 Q0, D10, D1 |
| VMULL.S32 Q11, D30, D0 |
| VQMOVN.S64 D24, Q11 |
| VMULL.S32 Q11, D31, D1 |
| VQMOVN.S64 D25, Q11 |
| VMOV.S32 D1, #0 |
| VADDL.S16 Q0, D11, D1 |
| VMULL.S32 Q4, D30, D0 |
| VQMOVN.S64 D22, Q4 |
| VMULL.S32 Q4, D31, D1 |
| VQMOVN.S64 D23, Q4 |
| VMULL.U16 Q4, D26, D11 |
| VMULL.U16 Q15, D14, D10 |
| |
| VLD2.32 {Q0, Q1}, [R1], R12 |
| |
| VUZP.16 D0, D1 |
| |
| VUZP.16 D2, D3 |
| VSHR.U32 Q4, Q4, #16 |
| |
| VREV64.16 Q0, Q0 |
| VSHR.U32 Q15, Q15, #16 |
| |
| VREV64.16 Q1, Q1 |
| VMLAL.S16 Q4, D27, D11 |
| |
| VMLAL.S16 Q15, D15, D10 |
| |
| VLD2.32 {Q5, Q6}, [R6], R12 |
| VQSHL.S32 Q2, Q2, #2 |
| |
| VUZP.16 D10, D11 |
| VQSHL.S32 Q3, Q3, #2 |
| |
| VUZP.16 D12, D13 |
| VQADD.S32 Q7, Q2, Q10 |
| |
| VREV64.16 Q5, Q5 |
| VQADD.S32 Q3, Q3, Q10 |
| |
| VREV64.16 Q6, Q6 |
| VSHR.S32 Q7, Q7, #16 |
| |
| VUZP.16 D14, D15 |
| VSHR.S32 Q3, Q3, #16 |
| |
| VUZP.16 D6, D7 |
| |
| VMOV D15, D6 |
| VQSHL.S32 Q4, Q4, Q8 |
| |
| VLD2.32 {Q2, Q3}, [R8]! |
| VQSHL.S32 Q15, Q15, Q8 |
| |
| VUZP.16 D4, D5 |
| VQSUB.S32 Q4, Q4, Q12 |
| |
| VUZP.16 D6, D7 |
| VQSUB.S32 Q11, Q15, Q11 |
| |
| VQSHL.S32 Q15, Q4, #2 |
| |
| VLD2.16 {D8, D9}, [R2]! |
| VQSHL.S32 Q11, Q11, #2 |
| |
| VQADD.S32 Q15, Q15, Q10 |
| VQADD.S32 Q11, Q11, Q10 |
| |
| VSHR.S32 Q15, Q15, #16 |
| |
| VUZP.16 D30, D31 |
| VSHR.S32 Q11, Q11, #16 |
| |
| |
| VUZP.16 D22, D23 |
| VMOV D23, D30 |
| |
| CORE_LOOP_PTO: |
| VST1.16 D14[0], [R0, : 16], R9 |
| VMULL.U16 Q15, D0, D9 |
| |
| VST1.16 D22[0], [R0, : 16], R9 |
| VMULL.U16 Q14, D2, D8 |
| |
| VST1.16 D14[1], [R0, : 16], R9 |
| VMULL.U16 Q13, D0, D8 |
| |
| VST1.16 D22[1], [R0, : 16], R9 |
| VMULL.U16 Q12, D2, D9 |
| |
| VST1.16 D14[2], [R0, : 16], R9 |
| VSHR.U32 Q15, Q15, #16 |
| |
| VST1.16 D22[2], [R0, : 16], R9 |
| VSHR.U32 Q14, Q14, #16 |
| |
| VST1.16 D14[3], [R0, : 16], R9 |
| VMLAL.S16 Q15, D1, D9 |
| |
| VST1.16 D22[3], [R0, : 16], R9 |
| VMLAL.S16 Q14, D3, D8 |
| |
| VST1.16 D15[0], [R5, : 16], R10 |
| VSHR.U32 Q13, Q13, #16 |
| |
| VST1.16 D23[0], [R5, : 16], R10 |
| VSHR.U32 Q12, Q12, #16 |
| |
| VST1.16 D15[1], [R5, : 16], R10 |
| VMLAL.S16 Q13, D1, D8 |
| |
| VST1.16 D23[1], [R5, : 16], R10 |
| VMLAL.S16 Q12, D3, D9 |
| |
| VST1.16 D15[2], [R5, : 16], R10 |
| VADD.I32 Q15, Q15, Q14 |
| |
| VST1.16 D23[2], [R5, : 16], R10 |
| VNEG.S32 Q15, Q15 |
| |
| VST1.16 D15[3], [R5, : 16], R10 |
| |
| VST1.16 D23[3], [R5, : 16], R10 |
| VSUB.I32 Q14, Q12, Q13 |
| |
| |
| VMOV Q13, Q15 |
| VMULL.U16 Q11, D4, D8 |
| |
| VMOV Q12, Q14 |
| |
| VUZP.16 D24, D25 |
| |
| |
| VUZP.16 D26, D27 |
| VMULL.U16 Q1, D24, D18 |
| VMULL.U16 Q0, D26, D18 |
| |
| VSHR.U32 Q11, Q11, #16 |
| VMLAL.S16 Q11, D5, D8 |
| |
| VSHR.U32 Q1, Q1, #16 |
| VSHR.U32 Q0, Q0, #16 |
| VMLAL.S16 Q1, D25, D18 |
| VMLAL.S16 Q0, D27, D18 |
| |
| VMULL.U16 Q12, D4, D9 |
| VMULL.U16 Q13, D6, D8 |
| |
| VNEG.S32 Q1, Q1 |
| VADD.I32 Q14, Q14, Q0 |
| VADD.I32 Q15, Q15, Q1 |
| |
| VMULL.U16 Q0, D6, D9 |
| VSHR.S32 Q12, Q12, #16 |
| VMLAL.S16 Q12, D5, D9 |
| VSHR.S32 Q13, Q13, #16 |
| VSHR.S32 Q0, Q0, #16 |
| VMLAL.S16 Q13, D7, D8 |
| VMLAL.S16 Q0, D7, D9 |
| |
| |
| |
| VADD.I32 Q11, Q11, Q0 |
| |
| VNEG.S32 Q11, Q11 |
| VSUB.I32 Q12, Q13, Q12 |
| |
| |
| LDR R11, [sp, #120] |
| VDUP.S32 Q7, R11 |
| VQADD.S32 Q14, Q14, Q7 |
| LDR R11, [sp, #116] |
| VDUP.S32 Q0, R11 |
| VQSHL.S32 Q14, Q14, Q0 |
| |
| |
| VMOV Q0, Q11 |
| VMOV Q7, Q12 |
| |
| VUZP.16 D24, D25 |
| |
| VUZP.16 D22, D23 |
| VMULL.U16 Q4, D24, D18 |
| VMULL.U16 Q13, D22, D18 |
| |
| VNEG.S32 Q1, Q15 |
| |
| VUZP.16 D30, D31 |
| |
| VUZP.16 D2, D3 |
| VMULL.U16 Q2, D30, D12 |
| VMULL.U16 Q3, D2, D13 |
| |
| VSHR.U32 Q4, Q4, #16 |
| VSHR.U32 Q13, Q13, #16 |
| |
| VMLAL.S16 Q4, D25, D18 |
| VMLAL.S16 Q13, D23, D18 |
| |
| VSHR.U32 Q2, Q2, #16 |
| VSHR.U32 Q3, Q3, #16 |
| |
| VMLAL.S16 Q2, D31, D12 |
| VMLAL.S16 Q3, D3, D13 |
| |
| VNEG.S32 Q4, Q4 |
| VADD.I32 Q7, Q7, Q13 |
| VADD.I32 Q0, Q0, Q4 |
| |
| |
| |
| LDR R11, [sp, #120] |
| VDUP.S32 Q4, R11 |
| VQADD.S32 Q0, Q0, Q4 |
| LDR R11, [sp, #116] |
| VDUP.S32 Q13, R11 |
| VQSHL.S32 Q0, Q0, Q13 |
| VMOV Q13, Q14 |
| |
| VLD2.32 {Q14, Q15}, [R4] |
| |
| VZIP.32 Q13, Q0 |
| VST1.32 {Q13}, [R4]! |
| VST1.32 {Q0}, [R4]! |
| |
| VMOV.S32 D1, #0 |
| VADDL.S16 Q0, D13, D1 |
| |
| |
| VMULL.S32 Q13, D28, D0 |
| VQMOVN.S64 D8, Q13 |
| VMULL.S32 Q13, D29, D1 |
| VQMOVN.S64 D9, Q13 |
| |
| VMOV.S32 D1, #0 |
| VADDL.S16 Q0, D12, D1 |
| |
| |
| VMULL.S32 Q12, D28, D0 |
| VQMOVN.S64 D26, Q12 |
| VMULL.S32 Q12, D29, D1 |
| VQMOVN.S64 D27, Q12 |
| |
| VQSHL.S32 Q2, Q2, Q8 |
| VQSHL.S32 Q3, Q3, Q8 |
| |
| |
| |
| VQSUB.S32 Q2, Q2, Q4 |
| VQSUB.S32 Q3, Q3, Q13 |
| |
| VNEG.S32 Q13, Q7 |
| VUZP.16 D26, D27 |
| |
| VMOV.S32 D1, #0 |
| VADDL.S16 Q0, D10, D1 |
| VMULL.S32 Q11, D30, D0 |
| VQMOVN.S64 D24, Q11 |
| VMULL.S32 Q11, D31, D1 |
| VQMOVN.S64 D25, Q11 |
| |
| VMOV.S32 D1, #0 |
| VADDL.S16 Q0, D11, D1 |
| |
| VMULL.S32 Q4, D30, D0 |
| VQMOVN.S64 D22, Q4 |
| VMULL.S32 Q4, D31, D1 |
| VQMOVN.S64 D23, Q4 |
| |
| |
| VUZP.16 D14, D15 |
| VMULL.U16 Q4, D26, D11 |
| VMULL.U16 Q15, D14, D10 |
| |
| |
| VLD2.32 {Q0, Q1}, [R1], R12 |
| |
| VUZP.16 D0, D1 |
| |
| VUZP.16 D2, D3 |
| VSHR.U32 Q4, Q4, #16 |
| |
| VREV64.16 Q0, Q0 |
| VSHR.U32 Q15, Q15, #16 |
| |
| VREV64.16 Q1, Q1 |
| VMLAL.S16 Q4, D27, D11 |
| |
| VMLAL.S16 Q15, D15, D10 |
| |
| VLD2.32 {Q5, Q6}, [R6], R12 |
| VQSHL.S32 Q2, Q2, #2 |
| |
| VUZP.16 D10, D11 |
| VQSHL.S32 Q3, Q3, #2 |
| |
| VUZP.16 D12, D13 |
| VQADD.S32 Q7, Q2, Q10 |
| |
| VREV64.16 Q5, Q5 |
| VQADD.S32 Q3, Q3, Q10 |
| |
| VREV64.16 Q6, Q6 |
| VSHR.S32 Q7, Q7, #16 |
| |
| VUZP.16 D14, D15 |
| VSHR.S32 Q3, Q3, #16 |
| |
| VUZP.16 D6, D7 |
| |
| VMOV D15, D6 |
| VQSHL.S32 Q4, Q4, Q8 |
| |
| VLD2.32 {Q2, Q3}, [R8]! |
| VQSHL.S32 Q15, Q15, Q8 |
| |
| VUZP.16 D4, D5 |
| VQSUB.S32 Q4, Q4, Q12 |
| |
| VUZP.16 D6, D7 |
| VQSUB.S32 Q11, Q15, Q11 |
| |
| VQSHL.S32 Q15, Q4, #2 |
| |
| VLD2.16 {D8, D9}, [R2]! |
| VQSHL.S32 Q11, Q11, #2 |
| |
| VQADD.S32 Q15, Q15, Q10 |
| VQADD.S32 Q11, Q11, Q10 |
| |
| VSHR.S32 Q15, Q15, #16 |
| |
| VUZP.16 D30, D31 |
| VSHR.S32 Q11, Q11, #16 |
| |
| |
| VUZP.16 D22, D23 |
| VMOV D23, D30 |
| |
| SUBS R3, R3, #1 |
| BNE CORE_LOOP_PTO |
| |
| |
| |
| |
| |
| EPILOGUE: |
| |
| VST1.16 D14[0], [R0], R9 |
| VMULL.U16 Q15, D0, D9 |
| |
| VST1.16 D22[0], [R0], R9 |
| VMULL.U16 Q14, D2, D8 |
| |
| VST1.16 D14[1], [R0], R9 |
| VMULL.U16 Q13, D0, D8 |
| |
| VST1.16 D22[1], [R0], R9 |
| VMULL.U16 Q12, D2, D9 |
| |
| VST1.16 D14[2], [R0], R9 |
| VSHR.U32 Q15, Q15, #16 |
| |
| VST1.16 D22[2], [R0], R9 |
| VSHR.U32 Q14, Q14, #16 |
| |
| VST1.16 D14[3], [R0], R9 |
| VMLAL.S16 Q15, D1, D9 |
| |
| VST1.16 D22[3], [R0], R9 |
| VMLAL.S16 Q14, D3, D8 |
| |
| VST1.16 D15[0], [R5], R10 |
| VSHR.U32 Q13, Q13, #16 |
| |
| VST1.16 D23[0], [R5], R10 |
| VSHR.U32 Q12, Q12, #16 |
| |
| VST1.16 D15[1], [R5], R10 |
| VMLAL.S16 Q13, D1, D8 |
| |
| VST1.16 D23[1], [R5], R10 |
| VMLAL.S16 Q12, D3, D9 |
| |
| VST1.16 D15[2], [R5], R10 |
| VADD.I32 Q15, Q15, Q14 |
| |
| VST1.16 D23[2], [R5], R10 |
| VNEG.S32 Q15, Q15 |
| |
| VST1.16 D15[3], [R5], R10 |
| |
| |
| VST1.16 D23[3], [R5], R10 |
| VSUB.I32 Q14, Q12, Q13 |
| |
| |
| VMULL.U16 Q11, D4, D8 |
| VMOV Q13, Q15 |
| VMOV Q12, Q14 |
| |
| VMOV Q13, Q15 |
| VMOV Q12, Q14 |
| |
| VUZP.16 D26, D27 |
| VUZP.16 D24, D25 |
| |
| |
| VMULL.U16 Q1, D24, D18 |
| VMULL.U16 Q0, D26, D18 |
| |
| VSHR.U32 Q11, Q11, #16 |
| VMLAL.S16 Q11, D5, D8 |
| |
| VSHR.U32 Q1, Q1, #16 |
| VSHR.U32 Q0, Q0, #16 |
| VMLAL.S16 Q1, D25, D18 |
| VMLAL.S16 Q0, D27, D18 |
| |
| VMULL.U16 Q12, D4, D9 |
| VMULL.U16 Q13, D6, D8 |
| |
| VNEG.S32 Q1, Q1 |
| VADD.I32 Q14, Q14, Q0 |
| VADD.I32 Q15, Q15, Q1 |
| |
| VMULL.U16 Q0, D6, D9 |
| VSHR.S32 Q12, Q12, #16 |
| VMLAL.S16 Q12, D5, D9 |
| VSHR.S32 Q13, Q13, #16 |
| VSHR.S32 Q0, Q0, #16 |
| VMLAL.S16 Q13, D7, D8 |
| VMLAL.S16 Q0, D7, D9 |
| |
| |
| |
| |
| |
| VADD.I32 Q11, Q11, Q0 |
| VNEG.S32 Q11, Q11 |
| VSUB.I32 Q12, Q13, Q12 |
| |
| |
| |
| |
| LDR R11, [sp, #120] |
| VDUP.S32 Q7, R11 |
| VQADD.S32 Q14, Q14, Q7 |
| LDR R11, [sp, #116] |
| VDUP.S32 Q0, R11 |
| VQSHL.S32 Q14, Q14, Q0 |
| |
| |
| VMOV Q0, Q11 |
| VMOV Q7, Q12 |
| |
| |
| VUZP.16 D22, D23 |
| VUZP.16 D24, D25 |
| |
| VMULL.U16 Q4, D24, D18 |
| VMULL.U16 Q13, D22, D18 |
| |
| VNEG.S32 Q1, Q15 |
| VUZP.16 D30, D31 |
| VUZP.16 D2, D3 |
| |
| VMULL.U16 Q2, D30, D12 |
| VMULL.U16 Q3, D2, D13 |
| |
| VSHR.U32 Q4, Q4, #16 |
| VSHR.U32 Q13, Q13, #16 |
| |
| VMLAL.S16 Q4, D25, D18 |
| VMLAL.S16 Q13, D23, D18 |
| |
| VSHR.U32 Q2, Q2, #16 |
| VSHR.U32 Q3, Q3, #16 |
| |
| VMLAL.S16 Q2, D31, D12 |
| VMLAL.S16 Q3, D3, D13 |
| |
| VNEG.S32 Q4, Q4 |
| VADD.I32 Q7, Q7, Q13 |
| VADD.I32 Q0, Q0, Q4 |
| |
| LDR R11, [sp, #120] |
| VDUP.S32 Q4, R11 |
| VQADD.S32 Q0, Q0, Q4 |
| LDR R11, [sp, #116] |
| VDUP.S32 Q13, R11 |
| VQSHL.S32 Q0, Q0, Q13 |
| |
| |
| VMOV Q13, Q14 |
| |
| VLD2.32 {Q14, Q15}, [R4] |
| VZIP.32 Q13, Q0 |
| VST1.32 {Q13}, [R4]! |
| VST1.32 {Q0}, [R4]! |
| |
| VMOV.S32 D1, #0 |
| VADDL.S16 Q0, D13, D1 |
| |
| VMULL.S32 Q13, D28, D0 |
| VQMOVN.S64 D8, Q13 |
| VMULL.S32 Q13, D29, D1 |
| VQMOVN.S64 D9, Q13 |
| |
| VMOV.S32 D1, #0 |
| VADDL.S16 Q0, D12, D1 |
| |
| VMULL.S32 Q12, D28, D0 |
| VQMOVN.S64 D26, Q12 |
| VMULL.S32 Q12, D29, D1 |
| VQMOVN.S64 D27, Q12 |
| |
| VQSHL.S32 Q2, Q2, Q8 |
| VQSHL.S32 Q3, Q3, Q8 |
| |
| VQSUB.S32 Q2, Q2, Q4 |
| VQSUB.S32 Q3, Q3, Q13 |
| |
| VNEG.S32 Q13, Q7 |
| VUZP.16 D14, D15 |
| VUZP.16 D26, D27 |
| |
| VMOV.S32 D1, #0 |
| VADDL.S16 Q0, D10, D1 |
| |
| |
| VMULL.S32 Q11, D30, D0 |
| VQMOVN.S64 D24, Q11 |
| VMULL.S32 Q11, D31, D1 |
| VQMOVN.S64 D25, Q11 |
| |
| VMOV.S32 D1, #0 |
| VADDL.S16 Q0, D11, D1 |
| |
| VMULL.S32 Q4, D30, D0 |
| VQMOVN.S64 D22, Q4 |
| VMULL.S32 Q4, D31, D1 |
| VQMOVN.S64 D23, Q4 |
| |
| |
| VMULL.U16 Q4, D26, D11 |
| VMULL.U16 Q15, D14, D10 |
| |
| VSHR.U32 Q4, Q4, #16 |
| |
| VSHR.U32 Q15, Q15, #16 |
| |
| VMLAL.S16 Q4, D27, D11 |
| |
| VMLAL.S16 Q15, D15, D10 |
| |
| VQSHL.S32 Q2, Q2, #2 |
| |
| VQSHL.S32 Q3, Q3, #2 |
| |
| VQADD.S32 Q7, Q2, Q10 |
| |
| VQADD.S32 Q3, Q3, Q10 |
| |
| VSHR.S32 Q7, Q7, #16 |
| |
| VUZP.16 D14, D15 |
| VSHR.S32 Q3, Q3, #16 |
| |
| VUZP.16 D6, D7 |
| |
| VMOV D15, D6 |
| VQSHL.S32 Q4, Q4, Q8 |
| |
| VQSHL.S32 Q15, Q15, Q8 |
| |
| VQSUB.S32 Q4, Q4, Q12 |
| |
| VQSUB.S32 Q11, Q15, Q11 |
| |
| VQSHL.S32 Q15, Q4, #2 |
| |
| VQSHL.S32 Q11, Q11, #2 |
| |
| VQADD.S32 Q15, Q15, Q10 |
| VQADD.S32 Q11, Q11, Q10 |
| |
| VSHR.S32 Q15, Q15, #16 |
| |
| VUZP.16 D30, D31 |
| VSHR.S32 Q11, Q11, #16 |
| |
| VUZP.16 D22, D23 |
| VMOV D23, D30 |
| |
| |
| |
| |
| VST1.16 D14[0], [R0], R9 |
| VST1.16 D22[0], [R0], R9 |
| VST1.16 D14[1], [R0], R9 |
| VST1.16 D22[1], [R0], R9 |
| VST1.16 D14[2], [R0], R9 |
| VST1.16 D22[2], [R0], R9 |
| VST1.16 D14[3], [R0], R9 |
| VST1.16 D22[3], [R0], R9 |
| VST1.16 D15[0], [R5], R10 |
| VST1.16 D23[0], [R5], R10 |
| VST1.16 D15[1], [R5], R10 |
| VST1.16 D23[1], [R5], R10 |
| VST1.16 D15[2], [R5], R10 |
| VST1.16 D23[2], [R5], R10 |
| VST1.16 D15[3], [R5], R10 |
| VST1.16 D23[3], [R5], R10 |
| |
| ARM_EPILOGUE: |
| |
| ARM_LOOP: |
| |
| VLD2.32 {Q0, Q1}, [R1] |
| |
| VUZP.16 D0, D1 |
| VUZP.16 D2, D3 |
| |
| VREV64.16 Q0, Q0 |
| VREV64.16 Q1, Q1 |
| |
| VLD2.16 {D8, D9}, [R2]! |
| |
| VLD2.32 {D4, D6}, [R8]! |
| VMOV.S32 D5, #0x00000000 |
| VMOV.S32 D7, #0x00000000 |
| |
| VLD1.32 D5[0], [R8]! |
| VLD1.32 D7[0], [R8] |
| |
| MOV R12, #16 |
| |
| VUZP.16 D4, D5 |
| VUZP.16 D6, D7 |
| |
| ADD R6, R6, #16 |
| |
| MOV R12, #-4 |
| VLD2.32 {D11, D13}, [R6], R12 |
| |
| |
| VMOV.S32 D10, #0x00000000 |
| |
| VLD1.32 D12[1], [R6], R12 |
| VLD1.32 D10[1], [R6], R12 |
| VLD1.32 D12[0], [R6], R12 |
| |
| VUZP.16 D10, D11 |
| VUZP.16 D12, D13 |
| |
| VREV64.16 Q5, Q5 |
| VREV64.16 Q6, Q6 |
| |
| VMULL.U16 Q15, D0, D9 |
| VMULL.U16 Q14, D2, D8 |
| VMULL.U16 Q13, D0, D8 |
| VMULL.U16 Q12, D2, D9 |
| |
| VSHR.U32 Q15, Q15, #16 |
| VSHR.U32 Q14, Q14, #16 |
| |
| VMLAL.S16 Q15, D1, D9 |
| VMLAL.S16 Q14, D3, D8 |
| |
| VSHR.U32 Q13, Q13, #16 |
| VSHR.U32 Q12, Q12, #16 |
| |
| VMLAL.S16 Q13, D1, D8 |
| VMLAL.S16 Q12, D3, D9 |
| |
| VADD.I32 Q15, Q15, Q14 |
| VNEG.S32 Q15, Q15 |
| |
| VMULL.U16 Q11, D4, D8 |
| |
| VSUB.I32 Q14, Q12, Q13 |
| |
| |
| VMOV Q13, Q15 |
| VMOV Q12, Q14 |
| |
| VUZP.16 D26, D27 |
| VUZP.16 D24, D25 |
| |
| |
| VMULL.U16 Q1, D24, D18 |
| VMULL.U16 Q0, D26, D18 |
| |
| VSHR.U32 Q11, Q11, #16 |
| VMLAL.S16 Q11, D5, D8 |
| |
| VSHR.U32 Q1, Q1, #16 |
| VSHR.U32 Q0, Q0, #16 |
| VMLAL.S16 Q1, D25, D18 |
| VMLAL.S16 Q0, D27, D18 |
| |
| VMULL.U16 Q12, D4, D9 |
| VMULL.U16 Q13, D6, D8 |
| |
| VNEG.S32 Q1, Q1 |
| VADD.I32 Q14, Q14, Q0 |
| VADD.I32 Q15, Q15, Q1 |
| |
| VMULL.U16 Q0, D6, D9 |
| VSHR.S32 Q12, Q12, #16 |
| VMLAL.S16 Q12, D5, D9 |
| VSHR.S32 Q13, Q13, #16 |
| VSHR.S32 Q0, Q0, #16 |
| VMLAL.S16 Q13, D7, D8 |
| VMLAL.S16 Q0, D7, D9 |
| |
| VADD.I32 Q11, Q11, Q0 |
| VNEG.S32 Q11, Q11 |
| VSUB.I32 Q12, Q13, Q12 |
| |
| LDR R11, [sp, #120] |
| VDUP.S32 Q7, R11 |
| VQADD.S32 Q14, Q14, Q7 |
| LDR R11, [sp, #116] |
| VDUP.S32 Q0, R11 |
| VQSHL.S32 Q14, Q14, Q0 |
| |
| VMOV Q0, Q11 |
| VMOV Q7, Q12 |
| |
| VUZP.16 D22, D23 |
| VUZP.16 D24, D25 |
| |
| VMULL.U16 Q4, D24, D18 |
| VMULL.U16 Q13, D22, D18 |
| |
| VNEG.S32 Q1, Q15 |
| VUZP.16 D30, D31 |
| VUZP.16 D2, D3 |
| |
| VMULL.U16 Q2, D30, D12 |
| VMULL.U16 Q3, D2, D13 |
| |
| VSHR.U32 Q4, Q4, #16 |
| VSHR.U32 Q13, Q13, #16 |
| |
| VMLAL.S16 Q4, D25, D18 |
| VMLAL.S16 Q13, D23, D18 |
| |
| VSHR.U32 Q2, Q2, #16 |
| VSHR.U32 Q3, Q3, #16 |
| |
| VMLAL.S16 Q2, D31, D12 |
| VMLAL.S16 Q3, D3, D13 |
| |
| VNEG.S32 Q4, Q4 |
| VADD.I32 Q7, Q7, Q13 |
| VADD.I32 Q0, Q0, Q4 |
| |
| LDR R11, [sp, #120] |
| VDUP.S32 Q4, R11 |
| VQADD.S32 Q0, Q0, Q4 |
| LDR R11, [sp, #116] |
| VDUP.S32 Q13, R11 |
| VQSHL.S32 Q0, Q0, Q13 |
| |
| VMOV Q13, Q14 |
| |
| MOV R6, R4 |
| |
| VLD1.32 {D28, D29}, [R4]! |
| VMOV.S32 D31, #0x00000000 |
| VLD1.32 D30[0], [R4]! |
| VLD1.32 D30[1], [R4]! |
| VLD1.32 D31[0], [R4]! |
| VUZP.32 Q14, Q15 |
| |
| |
| VST1.32 D26[0], [R6]! |
| VST1.32 D0[0], [R6]! |
| VST1.32 D26[1], [R6]! |
| VST1.32 D0[1], [R6]! |
| VST1.32 D27[0], [R6]! |
| VST1.32 D1[0], [R6]! |
| VST1.32 D27[1], [R6]! |
| |
| VMOV.S32 D1, #0 |
| VADDL.S16 Q0, D13, D1 |
| |
| VMULL.S32 Q13, D28, D0 |
| VQMOVN.S64 D8, Q13 |
| VMULL.S32 Q13, D29, D1 |
| VQMOVN.S64 D9, Q13 |
| |
| VMOV.S32 D1, #0 |
| VADDL.S16 Q0, D12, D1 |
| |
| VMULL.S32 Q12, D28, D0 |
| VQMOVN.S64 D26, Q12 |
| VMULL.S32 Q12, D29, D1 |
| VQMOVN.S64 D27, Q12 |
| |
| VQSHL.S32 Q2, Q2, Q8 |
| VQSHL.S32 Q3, Q3, Q8 |
| |
| VQSUB.S32 Q2, Q2, Q4 |
| VQSUB.S32 Q3, Q3, Q13 |
| |
| VNEG.S32 Q13, Q7 |
| VUZP.16 D14, D15 |
| VUZP.16 D26, D27 |
| |
| VMOV.S32 D1, #0 |
| VADDL.S16 Q0, D10, D1 |
| |
| |
| VMULL.S32 Q11, D30, D0 |
| VQMOVN.S64 D24, Q11 |
| VMULL.S32 Q11, D31, D1 |
| VQMOVN.S64 D25, Q11 |
| |
| |
| VMOV.S32 D1, #0 |
| VADDL.S16 Q0, D11, D1 |
| |
| VMULL.S32 Q4, D30, D0 |
| VQMOVN.S64 D22, Q4 |
| VMULL.S32 Q4, D31, D1 |
| VQMOVN.S64 D23, Q4 |
| |
| |
| VMULL.U16 Q4, D26, D11 |
| VMULL.U16 Q15, D14, D10 |
| |
| VSHR.U32 Q4, Q4, #16 |
| |
| VSHR.U32 Q15, Q15, #16 |
| |
| VMLAL.S16 Q4, D27, D11 |
| |
| VMLAL.S16 Q15, D15, D10 |
| |
| VQSHL.S32 Q2, Q2, #2 |
| |
| VQSHL.S32 Q3, Q3, #2 |
| |
| VQADD.S32 Q7, Q2, Q10 |
| |
| VQADD.S32 Q3, Q3, Q10 |
| |
| VSHR.S32 Q7, Q7, #16 |
| |
| VUZP.16 D14, D15 |
| VSHR.S32 Q3, Q3, #16 |
| |
| VUZP.16 D6, D7 |
| |
| VMOV D15, D6 |
| VQSHL.S32 Q4, Q4, Q8 |
| |
| VQSHL.S32 Q15, Q15, Q8 |
| |
| VQSUB.S32 Q4, Q4, Q12 |
| |
| VQSUB.S32 Q11, Q15, Q11 |
| |
| VQSHL.S32 Q15, Q4, #2 |
| |
| VQSHL.S32 Q11, Q11, #2 |
| |
| VQADD.S32 Q15, Q15, Q10 |
| VQADD.S32 Q11, Q11, Q10 |
| |
| VSHR.S32 Q15, Q15, #16 |
| |
| VUZP.16 D30, D31 |
| VSHR.S32 Q11, Q11, #16 |
| |
| VUZP.16 D22, D23 |
| VMOV D23, D30 |
| |
| |
| |
| |
| VST1.16 D14[0], [R0], R9 |
| VST1.16 D22[0], [R0], R9 |
| VST1.16 D14[1], [R0], R9 |
| VST1.16 D22[1], [R0], R9 |
| VST1.16 D14[2], [R0], R9 |
| VST1.16 D22[2], [R0], R9 |
| VST1.16 D14[3], [R0], R9 |
| |
| VST1.16 D15[0], [R5], R10 |
| VST1.16 D23[0], [R5], R10 |
| VST1.16 D15[1], [R5], R10 |
| VST1.16 D23[1], [R5], R10 |
| VST1.16 D15[2], [R5], R10 |
| VST1.16 D23[2], [R5], R10 |
| VST1.16 D15[3], [R5], R10 |
| |
| VPOP {d8 - d15} |
| LDMFD sp!, {R4-R12} |
| BX LR |
| |
| |
