[Note] A Noise-Robust Self-supervised Pre-training Model Based Speech Representation Learning for Automatic Speech Recognition

https://arxiv.org/abs/2201.08930

  • wav2vec2.0 has a good robustness against the domain shift, while noise robustness is still unclear.
  • First analyze the noise robustness of wav2vec2.0 via expeiments
  • Observation:
    • Wav2vec2.0 pretrained on noisy data can obtain good performance on noisy dataset, however brings performance degration on clean set.
  • Proposed: Enhanced wav2vec2.0
    • Noisy and clean speech are fed into the same encoder,

[Note] A Noise-Robust Self-supervised Pre-training Model Based Speech Representation Learning for Automatic Speech Recognition Read More »

[Note] Efficient Adapter Transfer of Self-Supervised Speech Models for Automatic Speech Recognition

https://arxiv.org/abs/2202.03218

  • Self-supervised learning model(wav2vec, HuBERT) gain great success
    • Fine-tune the pretrained model is computationally expensive and does not scale well. $O(10^8)$ parameters per task.

Contributions:

  • Applying adapters to wav2vec2.0 model to reduce the number of parameters required for down-stream tasks.
    • Adapters are small trainable modules can be applied into the layers of a frozen pre-trained nedwork for a particular task.

[Note] Efficient Adapter Transfer of Self-Supervised Speech Models for Automatic Speech Recognition Read More »

Tomofun 狗音辨識挑戰賽:初賽資料處理與模型(Top10%)

初賽靠著隊友 Carry 進決賽,決賽的時候主要負責 MLOps 的部份,分成兩篇文章來分別描述一下初賽時我的方法以及決賽時我們怎麼處理多出來的難關 — 在 AWS 上進行 Incremental training。

本實驗的貢獻:沒有用額外的資料集,也沒有 Pre-trained 模型,只將主辦單位提供的資料做 Augmentation & Pseudo Labeling 的技巧, 用 ResNet18 就獲得不錯的 Baseline 成績(Top 10%)。

Code: kehanlu/Tomofun-DogSound-recognition

Tomofun 狗音辨識挑戰賽:初賽資料處理與模型(Top10%) Read More »

Facebook Hate Speech Detection

只要有人類的地方就會有惡意言論,而 Facebook 身為全球最大的社交平台,從以往僱用審查團隊去人工檢視,近年來也開始引入 AI 系統來輔助偵測,在 NLP 領域令人振奮的 BERT 系列模型更扮演了關鍵的角色。

本文由黃偉愷Ke-Han Lu 共同完成,是「人工智慧與大數據之商業價值」這門課的期末報告,我們分成兩大方向調查了 Facebook 在惡意言論偵測的近期發展:

Facebook Hate Speech Detection Read More »

AIS3 Pre-exam Write up

第一次參加 AIS3 pre-exam,應該也算第一次自己打 CTF。上學期修了資安實務,才終於開始打 CTF,之前在資安社的時候都只是在下面聽聽,沒有真的認真打過比賽。最終解了 10 題,排第45名(。◕∀◕。)

我主要都是解 Web 題(Web*3, Misc*3, Crypto*2, Reverse*1),再陸續把各個項目低分的題目解一解。大部分 1xx 分的都滿簡單的,可以一眼就差不多看出題目的思路,找相關的資料或是需要耐心慢慢看就能看出答案。經過資安實務的摧殘產生的心裡陰影,有時候會把題目想的太複雜,突然解出 Flag 還會覺得:「蛤?就這樣喔,我想太多惹」。

花很多時間的 震撼彈-ais3-官網疑遭駭,是一個很惡劣的題目,靠眼力(+細心?)就能找到一個怪怪的封包,找到之後竟然還只是一個簡單的 shell,我大概花了三四個小時在摸那包封包吧。

最後的時間都在解 XSS Me,大概花了 6,7 個小時在東戳西戳,就是找不到繞過字數限制的 XSS 方法,最後也沒有解出來QQ。後來得到提示之後還是解出來了,也把 Write up 補一補。

對了,我是有參加第一天的 MyFirstCTF 啦,但不小心睡太晚了

ヽ(・×・´)ゞ

AIS3 Pre-exam Write up Read More »

Use reveal-md to generate multiple slides and host them on GitHub Page

As a computer science student, most of my presentations require tons of code demo and math equations. Google Slides and Office PPT are not the best option for me. Additionally, I want a convenient way to manage and share my slides.

Recently I use reveal-md to generate reveal.js slide from markdown and serve it on GitHub Page.

In this article:

  • The workflow I use to create my slides
  • Use reveal-md to generate revealjs slides
  • Host multiple static slides on GitHub Page.

Use reveal-md to generate multiple slides and host them on GitHub Page Read More »

德國 TU Darmstadt 交換心得

結束了在德國半年的交換,很不巧的遇到了瘟疫,所以一切的計畫都變得很不一樣,不過也是一次很有趣的體驗。本文是交到教育部和國際事務處的報告,裡面包含了一些如何在德國生存、生活花費、疫情的處理。還有很多可以寫的之後再發文補充,因為要趕快畢業所以先把心得寫一寫 XD

研習心得

  • 系所:資訊工程系
  • 交換學校/國家:Technische Universität Darmstadt / Germany
  • 研習學期: 2020 Sommer
  • 研習學校授課語言:英文/德文
  • 研習期間: 2020/03/01~2020/08/31

德國 TU Darmstadt 交換心得 Read More »