学位论文简介
物联网技术和人工智能的快速发展，促进了语音交互模式在智能设备中的普及。然而，基于语音助手的语音交互模式在提供高效、便捷、自然的人机交互的同时，也给用户带来了严重的安全和隐私问题。首先，语音助手容易遭受欺骗攻击：攻击者在获得用户的语音样本后，可以通过模仿、重放、合成、转换等方式生成虚假语音指令，欺骗语音助手以实施对智能设备的恶意控制。其次，不可信的语音助手会窃取用户隐私：由于语音助手的唤醒需要用户说出特定唤醒词或触碰特定语音按钮进行授权，而恶意的语音助手会在无用户授权的情况下私自启动并窃听用户对话，造成严重的用户隐私泄露。为保护语音助手免遭欺骗攻击和抵御语音助手的窃听攻击，本文展开如下研究工作：
(1) 针对语音助手容易遭受语音模仿攻击的问题，本文提出了基于声学线性分析的语音欺骗攻击检测方案。鉴于现有语音模仿研究存在数据集不足且检测方案通用性不强等问题，本文首次从综艺节目《声临其境》中采集大量真实与模仿音频，构建了语音模仿数据集。为了实现通用于文本相关与文本无关的语音模仿攻击检测，本文分析了真实与模仿音频的梅尔频率倒谱系数(Mel Frequency Cepstral Coefficient, MFCC)特征，并发现真实音频的MFCC特征在欧式空间中分布紧密，而模仿音频的MFCC特征则分布离散。通过数值检验论证了真实音频的MFCC特征的紧密状态服从类高斯分布。因此，本文构建了类高斯分布模型，通过模型匹配实现了真实音频与模仿音频的有效区分。
(2) 针对语音助手除了容易遭受(1)中所述的语音模仿攻击，还容易遭受录制重放、语音合成和语音转换攻击的问题，本文提出了基于声学非线性分析的语音欺骗攻击检测方案。首先，通过对人体与扬声器产生声音的方式和过程进行分发现，人体与扬声器发声系统均为非线性系统。其次，通过对捕获的音频进行分析，本文发现了由非线性系统所产生的高次谐波存在，进一步论证了发声系统的真实非线性特性。因此，本文从输入/输出角度构建了通用的非线性模型来表征非线性发声系统。针对现有防御方案通用性不足且部署繁杂等问题，根据人与扬声器发声系统的构成部件差异性的特点，本文从构建的非线性模型中提取出有效的非线性特征，实现了无需额外设备支持且通用于录制重放攻击、语音合成攻击和语音转换的欺骗攻击检测。
(3) 针对不可信的语音助手会窃听用户对话，造成用户隐私泄露，本文提出了基于屏幕触碰感知的语音窃听攻击检测方案。首先，本文通过原生开发与注入攻击等多种方式设计窃听移动应用程序(mibole application, App)。通过将窃听App安装在不同品牌、不同型号且搭载不同版本系统的安卓设备上，验证了窃听攻击的可行性和危害性。为了抵御窃听攻击，根据App语音助手的唤醒需要用户触碰屏幕上特定语音按钮进行授权的特点，本文将用户触碰屏幕行为视为请求行为，将App访问麦克风行为视为响应行为，基于此构建了请求响应时间模型。通过对请求与响应行为的一致性检验，实现了有效的窃听攻击检测。%最后，在检测到窃听行为后，本文设计了简洁明了的悬浮窗来将显示窃听App的名称，以达到实时通知用户的目的。
(4) 针对恶意语音助手可以绕过现有检测以实现隐蔽窃听攻击，本文进一步提出了基于麦克风图标识别的语音窃听攻击检测方案。首先，本文对安卓系统感知用户触碰屏幕的方式进行了分析，并总结出一个通用调用流程。根据总结的流程，本文分别采用了重写和钩取的方式设计恶意App，以在用户触碰屏幕时访问麦克风，实现隐蔽窃听的目的。通过将攻击App安装在一些列设备上，攻击结果表明，隐蔽的窃听行为可以在设备与用户均无感的情况下自由的进行。为了抵御任意App在任意窃听逻辑下的窃听攻击，根据麦克风图标是连接用户与App语音助手唯一媒介的特点，本文设计了轻量化的麦克风图标识别模型。通过在App访问麦克风时判断屏幕上是否出现麦克风图标，并且判断麦克风图标否被用户触碰进行授权，实现了对任意App在任意窃听逻辑下的攻击检测。
主要学术成果
Wenbin Huang, Wenjuan Tang, Kuan Zhang, Haojin Zhu, and Yaoxue Zhang. “Thwarting Unauthorized Voice Eavesdropping via Touch Sensing in Mobile Systems.” IEEE INFOCOM, pp.31-40, 2022. (CCF A 类会议)
Wenbin Huang, Wenjuan Tang, Hanyuan Chen, Hongbo Jiang, and Yaoxue Zhang. “Unauthorized Microphone Access Restraint Based on User Behavior Perception in Mobile Devices.” IEEE Transactions on Mobile Computing. (CCF A类期刊，在线发表)
Wenbin Huang, Wenjuan Tang, Hongbo Jiang, Jun Luo, and Yaoxue Zhang. “Stop Deceiving! An Effective Defense Scheme Against Voice Impersonation Attacks on Smart Devices.” IEEE Internet of Things Journal, vol. 9, no. 7, pp. 5304-5314, 2022.(SCI 中科院1 区 Top)
Wenbin Huang, Kun Xie, and Jie Li. “A Novel Sequence Tensor Recovery Algorithm for Quick and Accurate Anomaly Detection.” IEEE Transactions on Network Science and Engineering, vol. 9, no. 5, pp. 3531-3545, 2022. (SCI 中科院 2 区 Top)
Wenbin Huang, Wenjuan Tang, Hongbo Jiang, and Yaoxue Zhang. “Resisting Voice Spoofing Attacks via Acoustic Nonlinearity Dissection for Mobile Devices.” IEEE Transactions on Mobile Computing. (CCF A类期刊，Under Review in R1)
Wenbin Huang, Wenjuan Tang, Hanyuan Chen, Hongbo Jiang, Zheng Qin, and Yaoxue Zhang. “Learning Based Versatile Voice Eavesdropping Prevention for Mobile Devices.” IEEE Transactions on Dependable and Secure Computing (CCF A类期刊，Under Review)
Mengyuan Wang, Hongbo Jiang, Peng Peng, Youhuan Li, Wenbin Huang. “Toward Accurate Butterfly Counting with Edge Privacy Preserving in Bipartite Graphs.” IEEE INFOCOM (CCF A类会议，Under Review)
Yiran Wang, Jing Bai, Zhu Xiao, Zheng Chen, Wenbin Huang, Talal Ahmed Ali Ali, and Licheng Jiao. “AutoSMC: An Automated Machine Learning Framework for Signal Modulation Classification.” IEEE Transactions on Wireless Communications (SCI 中科院1 区 Top，CCF B类期刊，Under Review)
基于增量塔克分解的在线异常检测方法、系统及存储介质. (实审，排名第一)
基于触碰感知的移动应用程序的窃听检测方法及系统. (实审，排名第一)
一种基于差分隐私保护的聚合位置数据发布方法. (实审，排名第三)
荣誉奖项
2022, 博士研究生校长奖学金
2022, 湖南大学优秀研究生
2022, Student Travel Grant, IEEE INFOCOM 2022
2021, 博士研究生校长奖学金
2020, 湖南省大数据与人工智能国际研究生暑期学校暨创新论坛-优秀营员
