【JNI】OPUS压缩与解压的JNI调用(.DLL版本)

9/6/2015来源:Java教程人气:1908

【JNI】OPUS压缩与解压的JNI调用(.DLL版本)


OPUS压缩与解压的JNI调用(.DLL版本)
一、写在开头:

理论上讲,这是我在博客园的第一篇原创的博客,之前也一直想找个地方写点东西,把最近做的一些东西归纳总结下,但是一般工程做完了一高兴就把东西丢一边就很久不碰了,久而久之就淡忘了。这不是一个很好的习惯,古人也说更好记性不如烂笔头,无论是做学术还是做工程,定期总结与归纳都是一个不错的巩固与提高的方法。另外,也希望给后来者一点可行性的参考(有误导的地方请轻喷)。


二、引言:

言归正传,最近在做Android的一个工程,大体是实现在Android平台的录音、压缩、传输、解压、识别的功能。其中,识别包括语音识别与音乐片段的识别,这是两个很大的模块,有其他的工程师负责。我负责录音、压缩、传输、解压等几个小模块。

其中录音功能是比较简单的,网上参考的范例比较多,以后找时间再整理下。压缩部分包括语音压缩(VAD+压缩)与旋律的压缩,因为用过Speex压缩,所以语音压缩模块就直接沿用了之前的范例,但是Speex只能对语音进行压缩,不能对旋律进行压缩(失真较大,影响片段的检索),所以考虑采用一种较新的压缩方式:Opus压缩。


三、OPUS简介:

Opus编码器 是一个有损声音编码的格式,由互联网工程任务组(IETF)进来开发,适用于网络上的实时声音传输,标准格式为RFC6716。Opus 格式是一个开放格式,使用上没有任何专利或限制。

Opus压缩几乎包含了Speex压缩的所有功能,并且支持对旋律的压缩,可以说功能是相当强大的,同Speex一样,Opus也是开源的,可以在官网上下载到Opus的源码。我下载的是最新的1.1版本的,解压后如下图所示:

但是除了官网外,Opus压缩的参考比较少,跨平台应用的就更少了点,做惯了伸手党的我对此相当郁闷,所以就花了点时间研究了下,实现了Android客户端(.so库)与windows服务器端(.dll库)的调用。

服务器端相对简单一点,基本思路是:利用VS2010创建生成相应的dll库,然后在服务器端利用NDK实现JNI接口,继而在主函数中实现调用。


四、Opus的DLL生成过程

Opus使用C语言实现的,并且官网上给了几个不错的DEMO,要实现java对C/C++跨平台的调用,首先我们要保证我们的C语言接口是正确的,也就是说,首先要在VS2010等平台上将调用的函数跑通,只有测试函数通过了,才能保证我们移植到JVM上的程序是正确的。之后要根据正确的测试函数书写C语言接口,然后将C语言写的接口编译生成相应的dll库。

4.1、书写完整的测试函数

打开Opus官网上给的工程,其中,测试了一下,test_opus_encode工程和test_opus_decode工程里面都有完整的压缩与解压实体。所以,我们只需要改写其中的一个工程的主函数OK了,主函数书写的基本思路为:压缩与解压对象的创建、参数的设置、压缩/解压、资源的释放,代码如下:

  1 #ifdef HAVE_CONFIG_H  2 #include "config.h"  3 #endif  4 #include <stdio.h>  5 #include <stdlib.h>  6 #include <limits.h>  7 #include <stdint.h>  8 #include <math.h>  9 #include <string.h> 10 #include <time.h> 11 #if (!defined WIN32 && !defined _WIN32) || defined(__MINGW32__) 12 #include <unistd.h> 13 #else 14 #include <PRocess.h> 15 #define getpid _getpid 16 #endif 17 #include "opus_multistream.h" 18 #include "opus.h" 19 #include "../src/opus_private.h" 20 //#include "test_opus_common.h" 21  22 /*#define MAX_PACKET (1500) 23 #define SAMPLES (48000*30) 24 #define SSAMPLES (SAMPLES/3) 25 #define MAX_FRAME_SAMP (5760)*/ 26  27 int error; 28 int Fs=16000; 29 int channels=1; 30 int application=OPUS_APPLICATION_AUDIO; 31 OpusEncoder *enc=NULL; 32  33 opus_int32 bitrate_bps=16000; 34 int bandwidth = OPUS_AUTO; 35 int use_vbr = 0; 36 int cvbr=1; 37 int complexity = 8; 38  39 int frame_size_1=320; 40 int frame_size_2=320; 41 opus_int32 max_data_bytes=2500; 42  43 unsigned char *data; 44 const opus_int16 *pcm; 45 opus_int16 *pcm_re; 46  OpusDecoder *dec=NULL; 47  unsigned char data_1[60][40]; 48  opus_int16 pcm_re_1[60][320]; 49  opus_int16 pcm_bf[60][320]; 50  51 #define PI (3.141592653589793238462643f) 52     int i; 53     int j; 54     int n; 55     int m; 56     int packet_loss_perc=0; 57  58     int max_frame_size = 2*16000; 59     int output_samples; 60     opus_uint32 dec_final_range; 61     int dur; 62  63     FILE *fp; 64     FILE *fp_1; 65     int num_pcm; 66     int num_pcm_re; 67     short temp_end[19200]; 68  69 int main(int _argc, char **_argv) 70 { 71     short temp[19200]; 72     FILE *foo; 73     printf("I am lzhen\n"); 74     //memset(temp,1,600); 75      76   77     if((fp=fopen("e:\\dkdt.pcm","rb"))==NULL) 78     { 79        printf("cant open the file"); 80     } 81      82 num_pcm=fread(&temp[0],sizeof(short),19200,fp);   83  84 printf("%d ",num_pcm); 85 //for(i=0;i<19200;i++) 86 //{ 87     //printf("%d ",temp[i]); 88 //} 89    fclose(fp);//将打开的文件关闭 90  91    for (i=0;i<60;i++) 92        for(j=0;j<320;j++) 93        { 94        pcm_bf[i][j]=temp[320*i+j]; 95        } 96  97  98     enc = opus_encoder_create(Fs, channels, application, &error); 99 100     if (error != OPUS_OK)101     {printf("创建失败");102     }else103     {printf("创建成功");104     }105 106     //for(pcm=number,i=0;i<2000;i++,pcm++)107     //{printf("%d  ",*pcm);}108 109        opus_encoder_ctl(enc, OPUS_SET_BITRATE(bitrate_bps));110        opus_encoder_ctl(enc, OPUS_SET_BANDWIDTH(bandwidth));111        opus_encoder_ctl(enc, OPUS_SET_VBR(use_vbr));112        opus_encoder_ctl(enc, OPUS_SET_VBR_CONSTRAINT(cvbr));113        opus_encoder_ctl(enc, OPUS_SET_COMPLEXITY(complexity));114        opus_encoder_ctl(enc, OPUS_SET_PACKET_LOSS_PERC(packet_loss_perc));115        /*opus_encoder_ctl(enc, OPUS_SET_INBAND_FEC(use_inbandfec));116        opus_encoder_ctl(enc, OPUS_SET_FORCE_CHANNELS(forcechannels));117        opus_encoder_ctl(enc, OPUS_SET_DTX(use_dtx));118        opus_encoder_ctl(enc, OPUS_SET_PACKET_LOSS_PERC(packet_loss_perc));119 120        opus_encoder_ctl(enc, OPUS_GET_LOOKAHEAD(&skip));121        opus_encoder_ctl(enc, OPUS_SET_LSB_DEPTH(16));122        opus_encoder_ctl(enc, OPUS_SET_EXPERT_FRAME_DURATION(variable_duration));*/123 124        for(i=0;i<60;i++)125        {126        pcm=pcm_bf[i]; 127        data=data_1[i];128 129     n=opus_encode(130          enc,131          pcm,132          frame_size_1,133          data,134          max_data_bytes);135        }//OPUS压缩136     opus_encoder_destroy(enc);//释放资源137     dec = opus_decoder_create(Fs, channels, &error);138     139     output_samples = max_frame_size;140     /*opus_decoder_ctl(dec, OPUS_GET_LAST_PACKET_DURATION(&output_samples));141     opus_decoder_ctl(dec, OPUS_GET_FINAL_RANGE(&dec_final_range));142     opus_decoder_ctl(dec, OPUS_GET_LAST_PACKET_DURATION(&dur));*/143 144     for(i=0;i<60;i++)145     {146     data=data_1[i];147     pcm_re=pcm_re_1[i];148     m=opus_decode(149          dec,150          data,151          n,152          pcm_re,153          frame_size_2,154          0);155     }156     opus_decoder_destroy(dec);157     printf("\n\n\n解压后的长度为:%d\n  ",m);158 159    for (i=0;i<60;i++)160        for(j=0;j<320;j++)161        {162        temp_end[320*i+j]=pcm_re_1[i][j];163        }164 165     if((fp_1=fopen("e:\\dkdt_re.pcm","wb"))==NULL)166     {167        printf("cant open the file");168     }169     num_pcm_re=fwrite(&temp_end[0],sizeof(short),19200,fp_1);  170 getchar();171 }

这里面我用一个dkdt.pcm的语音文件做范例,分帧进行压缩与解压,每一帧为320short,压缩后为40byte,压缩比为16,之后进行解压还原,生成相应的dkdt_out.pcm文件。这里给出我的测试结果,如下图所示:第一个是压缩前的音频信号,第二个是压缩解压后恢复的音频文件。

可以看到压缩前后还原后的波形几乎是一致的(听起来无差别),所以我们写的测试函数中压缩与解压是没有问题的。这一步很关键,是我们接下来的基础。

4.2、JNI接口的C语言部分

上一步OK了之后,就可以根据书写的测试函数书写JNI接口的C语言部分,这部分是比较简单的,稍微改下就OK了,JNI的书写规则,网上参考的东西比较详细,这里就不在赘述,直接给出代码如下:

  1 #ifdef HAVE_CONFIG_H  2 #include "config.h"  3 #endif  4 #include "StdAfx.h"  5 #include <stdio.h>  6 #include <stdlib.h>  7 #include <limits.h>  8 #include <stdint.h>  9 #include <math.h> 10 #include <string.h> 11 #include "jni.h" 12 #include <time.h> 13 #if (!defined WIN32 && !defined _WIN32) || defined(__MINGW32__) 14 #include <unistd.h> 15 #else 16 #include <process.h> 17 #define getpid _getpid 18 #endif 19 #include "opus_multistream.h" 20 #include "opus.h" 21 #include "../src/opus_private.h" 22  23 int opus_num; 24 int pcm_num; 25 short pcm_data_encoder[320]; 26 unsigned char opus_data_encoder[40]; 27 short pcm_data_decoder[320]; 28 unsigned char opus_data_decoder[40]; 29 OpusEncoder *enc=NULL; 30 OpusDecoder *dec=NULL; 31  32  33  34 JNIEXPORT int JNICALL Java_audioTest_OpusJni_test(JNIEnv *env, jobject thiz) 35 { 36   return 103;//测试函数 37 } 38  39 JNIEXPORT void JNICALL Java_audioTest_OpusJni_Init(JNIEnv *env, jobject thiz) 40 { 41   int error; 42   int Fs=16000; 43   int channels=1; 44   int application=OPUS_APPLICATION_AUDIO; 45    46   opus_int32 bitrate_bps=16000; 47   int bandwidth = OPUS_AUTO; 48   int use_vbr = 0; 49   int cvbr=1; 50   int complexity = 8; 51   int packet_loss_perc=0; 52    53   enc = opus_encoder_create(Fs, channels, application, &error); 54   dec = opus_decoder_create(Fs, channels, &error); 55  56    opus_encoder_ctl(enc, OPUS_SET_BITRATE(bitrate_bps)); 57    opus_encoder_ctl(enc, OPUS_SET_BANDWIDTH(bandwidth)); 58    opus_encoder_ctl(enc, OPUS_SET_VBR(use_vbr)); 59    opus_encoder_ctl(enc, OPUS_SET_VBR_CONSTRAINT(cvbr)); 60    opus_encoder_ctl(enc, OPUS_SET_COMPLEXITY(complexity)); 61    opus_encoder_ctl(enc, OPUS_SET_PACKET_LOSS_PERC(packet_loss_perc)); 62 } 63  64 JNIEXPORT jint JNICALL Java_audioTest_OpusJni_opusEncoder(JNIEnv *env, jobject thiz,jshortArray encoder_insrc,jbyteArray encoder_out) 65 { 66   int frame_size=320; 67   opus_int32 max_data_bytes=2500; 68   jshort* pcm_data_encoder=(*env)->GetShortArrayElements(env, encoder_insrc, 0); 69   jbyte* opus_data_encoder=(*env)->GetByteArrayElements(env, encoder_out, 0); 70  71   opus_num=opus_encode( 72          enc, 73          pcm_data_encoder, 74          frame_size, 75          opus_data_encoder, 76          max_data_bytes); 77  78   (*env)->ReleaseShortArrayElements(env, encoder_insrc, pcm_data_encoder, 0); 79   (*env)->ReleaseByteArrayElements(env, encoder_out, opus_data_encoder, 0); 80   if((*env)->ExceptionCheck(env)) 81      { 82         return - 1; 83      } 84   return opus_num; 85 } 86  87 JNIEXPORT jint JNICALL Java_audioTest_OpusJni_opusDecoder(JNIEnv *env, jobject thiz,jbyteArray decoder_insrc,jshortArray decoder_out) 88 { 89   int frame_size=320; 90   jshort* pcm_data_decoder=(*env)->GetShortArrayElements(env, decoder_out, 0); 91   jbyte* opus_data_decoder=(*env)->GetByteArrayElements(env, decoder_insrc, 0); 92   pcm_num=opus_decode( 93          dec, 94          opus_data_decoder, 95          40, 96          pcm_data_decoder, 97          frame_size, 98          0); 99          100   (*env)->ReleaseShortArrayElements(env, decoder_out, pcm_data_decoder, 0);101   (*env)->ReleaseByteArrayElements(env, decoder_insrc, opus_data_decoder, 0);102   if((*env)->ExceptionCheck(env))103      {104         return - 1;105      }106   return pcm_num;107 }108 109 JNIEXPORT void JNICALL Java_audioTest_OpusJni_Destroy(JNIEnv *env, jobject thiz)110 {111   opus_encoder_destroy(enc);112   opus_decoder_destroy(dec);113 }

这里面稍微说一下,一个师兄跟我说,写这种跨平台的东西总会遇到各种莫名奇妙的问题,但是一切的BUG都是有原因的,这里写一个JNIEXPORT int JNICALL Java_audioTest_OpusJni_test(JNIEnv *env, jobject thiz)这样的测试函数,就可以简单地判断我们的JNI时候调用成功,成功的话,其他的就是调用函数内部的问题了。这样可以很快的缩小BUG的范围。

4.3、编译生成相应的dll库

写完JNI接口之后,就要将我们用到的所有依赖的文件(包括.c 、.h)一起打包编译为.dll文件。在VS2010中新建dll工程,dll工程里面有一个DEMO,我们这里用不到,可以讲里面的东西删了,将上一步写的接口文件拷贝其中,如下图所示:

和一般的C/C++工程一样,我们需要添加依赖的.C文件与.h文件,首先我们需要添加头文件,Opus依赖头文件分布的比较零散,不像speex全部在include文件里面,不过这里我们也只需要指定好路径,编译器会自动链接到相应的头文件,如下图所示:

此外,我们还要设置好依赖(调用)的.C文件,最直观的办法是将所有需要的.C文件都添加进工程,要不重不漏,重了会报重复定义的错误,漏了会报缺少定义的错误,编译Android的依赖库.so文件的时候,我的确是这么做的,这个过程需要一定时间的调试,要理清开源库中函数之间的关系,知道需要调用哪些函数。这里其实有个更加简单粗暴地办法,之前我们第一步编译测试工程的时候,会生成四个相应的.lib库,如下图所示:

只需要指定依赖的库文件的路径,如下图所示:

并将这四个库添加到依赖库中,如下图,编译器在编译的时候就可以直接连接到相应的函数实体。

这步成功之后,就可以在Release或者Debug文件夹中找到我们编译成功的opus.dll文件,157KB,沉甸甸的。接下来就就是Java部分对dll文件的调用了。


五、Opus的DLL调用过程

首先,我们需要书写Java端的JNI接口部分,这部分代码比较简单,直接给出。如下所示:

 1 package audioTest; 2 /** 3  * 压缩库 4  *  5  * @author lzhen 6  * 7  */ 8 public class OpusJni 9 {10     static11     {12         System.loadLibrary("opus");13     }14     public native int test();15     public native void Init(); // 压缩初始化16     public native int opusEncoder(short[] src, byte[] out); // 压缩数据,长度为320short->40byte17     public native int opusDecoder(byte[] src, short[] out);// 解压缩数据,长度为40byte->320short18     public native void Destroy(); // 释放内存19 }

剩下的就是简单的Java对象的调用了。这里,我们可以首先测试下test()函数是否成功,如果成功的话,说明dll库至少是没问题的。

在之后.so库的调用的时候再具体总结一下Opus压缩与解压调用的详细过程,这里就不再赘述了。


六、BUG与调试BUG1:

Exception in thread "main" java.lang.UnsatisfiedLinkError: E:\jni\testopus\libs\opus.dll: Can't load IA 32-bit .dll on a AMD 64-bit platform

at java.lang.ClassLoader$NativeLibrary.load(Native Method)

at java.lang.ClassLoader.loadLibrary1(ClassLoader.java:1965)

at java.lang.ClassLoader.loadLibrary0(ClassLoader.java:1890)

at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1880)

at java.lang.Runtime.loadLibrary0(Runtime.java:849)

at java.lang.System.loadLibrary(System.java:1088)

at audioTest.OpusJni.<clinit>(OpusJni.java:12)

at audioTest.Server.main(Server.java:22)

DEBUG1:

这里是因为Opus官网上给的程序是根据32bit系统给出的,如果采用64bit系统,在VS2010中设置为X64会报错,所以只能按照X86编译,但是如果JDK是64bit的话,在eclipse中就会报上面的错误。

解决的办法是:将64bit的JDK卸载掉,安装一个32bit的JDK就可以编译通过,但是有一个问题,JDK如果卸载重装的话,有可能会失败,原因是重装的时候,之前注册表没有完全删除的问题,可以用Windows Installer Clean Up将之前的注册表彻底删除。不过,我觉得最简单的办法是重新安装一个其他版本的JDK就OK了,方法是死的,人是活的,我喜欢简单粗暴又能解决问题的方法。

BUG2:

java.lang.UnsatisfiedLinkError: E:\jni\testopus\libs\opus.dll: Can't find dependent libraries。

DEBUG2:

意思是找不到依赖库,我们编译生成的opus.dll文件可以放在系统的DLL库中(C:\Windows\System32),当然,也可以直接放在工程中,这样都是可以load到的,所以Can't find dependent libraries不是说找不到我们编译生成的DLL文件,而是我们编译生成的DLL文件也需要一些依赖库,这里面有两种情况:

一种是,我们在一台主机上编译生成的,拿到另外一台主机上面跑,可能两台主机配置或者是其他种种不同,系统DLL库会有所差异,可以用DLL依赖查看工具这个软件查找缺失的依赖库,如下图所示:

黄色标记表示缺失的DLL,我这里是因为,换了一台没有安装VS2010的主机上测试导致的,解决办法很简单,可以在网上下载缺失的DLL放到C:\Windows\System32中,或者,直接在编译的那台PC上拷贝,都是可以的。

第二种情况比较复杂一点,就是,我们在编译的时候,没有添加最原始的.lib库,这在不同的工程中会有所不同,一般用DLL依赖查看工具检察缺失的为.exe文件就是这种情况,那就要回头检察,我们在编译之前添加的.lib文件是不是有问题了。

BUG3:

## A fatal error has been detected by the Java Runtime Environment:## EXCEPTION_access_VIOLATION (0xc0000005) at pc=0x15c21781, pid=5264, tid=14016## JRE version: Java(TM) SE Runtime Environment (8.0_11-b12) (build 1.8.0_11-b12)# Java VM: Java HotSpot(TM) Client VM (25.11-b03 mixed mode, sharing windows-x86 )# Problematic frame:# C [test_opus_decode.exe+0x51781]## Failed to write core dump. Minidumps are not enabled by default on client versions of Windows## An error report file with more information is saved as:# C:\Users\test\Desktop\Music0808_sever\hs_err_pid5264.log## If you would like to submit a bug report, please visit:# http://bugreport.sun.com/bugreport/crash.jsp# The crash happened outside the Java Virtual Machine in native code.# See problematic frame for where to report the bug.#

DEBUG3:

这个bug在很多游戏里面会出现,在JNI的跨平台调用中,出现类似情况,其实也是容易判断的,首先,我们要看一下,我们在Java端查看test()函数是否运行成功,如果成功过了,那么说明DLL库的编译是没有问题的,那么接下来,就可以通过单步调试,查找具体在哪一个调用函数出现问题了,同时,在C语言端要通过注释等方式联合调试,最终确定具体是哪一个函数的哪一句出现了问题,目前,我还没有发现在DLL内部单步调试的方法,所以只能用这种方法尝试,不过效果还是很明显的,我的问题是初始化函数出现了一点问题。

另外,现在eclipse已经支持直接的NDK编译了,所以在Android平台上,好像是可以对.so库进行单步调试的,这个以后再说。


七、后记

写到这里,本章差不多结束了,有机会希望能够跟大家一起沟通交流,相互促进,相互提高,我的微博地址:http://weibo.com/3109428257/profile?rightmod=1&wvr=5&mod=personinfo。最后,跟大家分享一句OPUS官网上对开源的解释,我觉得很赞!

——Imagine a road system where each type of car could only drive on its own manufacturer's pavement. We all benefit from living in a world where all the roads are connected. This is why Opus, unlike many codecs, is free.

Reference:

https://wiki.xiph.org/Main_Page

http://int.zhubajie.com/case-studies/3307420?utm_source=TiaoZhuan_RenWuYe&utm_medium=RenWuYe_3307420&utm_campaign=TiaoZhuan