22
1 紅外線駕駛頭部偏移偵測系統 車道偏移警告系統 聯合大學電子工程學系顏瑞成、陳漢臣

按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

  • Upload
    others

  • View
    7

  • Download
    0

Embed Size (px)

Citation preview

Page 1: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

按一下以編輯母片標題樣式

1

紅外線駕駛頭部偏移偵測系統車道偏移警告系統

聯合大學電子工程學系顏瑞成、陳漢臣

Page 2: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

2

行車安全系統分類與比較

Page 3: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

按一下以編輯母片標題樣式

3

行車安全系統分類

根據駕駛的生理訊號

− 例如腦波、心電圖訊號、心跳速率、脈搏速率、呼吸狀況、心跳數

根據駕駛頭部或臉部的狀態

− 例如頭部移動、眨眼率、眼睛閉合、眼皮移動、眼睛凝視方向、嘴巴形狀、瞳孔改變、臉部表情改變等

根據車輛行進間狀態

− 例如車輛橫向位置、與道路標線距離、與前車距離、油門與煞車的使用、車輛移動方向等

結合上述的方法

Page 4: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

按一下以編輯母片標題樣式

4

各分類優缺點比較

優點 缺點

駕駛的生理訊號 生理指標能反應駕駛的生理狀態

量取生理訊號需有接觸性感測器

駕駛頭部或臉部的狀態

非接觸性的感測器即可取得相關訊號、訊號處理技術成熟

克服光線的劇烈變化是個挑戰

車輛行進間狀態 非接觸性的感測器即可取得相關訊號、訊號處理技術成熟

系統的穩定性會受到氣候環境與道路狀況的影響

Page 5: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

按一下以編輯母片標題樣式

5

駕駛頭部或臉部的狀態

偵測駕駛的眼睛

− 眼睛能忠實反映駕駛的精神狀況

− 以可見光攝影機擷取影像,系統穩定性易受到光線急遽變化(例如進出隧道)或夜間駕駛的影響

− 以紅外線影像處理的方式,產生的亮瞳效果可以分辨瞳孔,並進而判斷駕駛的精神狀況,但須以紅外線持續照射眼睛,可能造成眼睛的傷害

商品: 「由田新技」之產品「智能副駕 (ICP)」具有接聽手機偵測、視線偏離偵測、眨眼頻率異常偵測與閉眼偵測四大功能。

https://www.youtube.com/watch?v=nbcUE9A85Qc

Page 6: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

按一下以編輯母片標題樣式

6

駕駛頭部或臉部的狀態

偵測駕駛頭部的偏移

− 駕駛在打瞌睡時、分心與其他人說話時、尋找或拿取物品時,會有不正常的頭部偏移

− 以可見光攝影機擷取影像,系統穩定性仍易受到光線急遽變化(例如進出隧道)或夜間駕駛的影響

− 以置於駕駛頭部後方之紅外線發射器與置於駕駛前方之紅外線感測器來監測駕駛頭部位置的變化,是簡單且具強健性的方式

Page 7: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

7

紅外線駕駛頭部偏移偵測系統

聯合大學電子工程學系

顏瑞成

Page 8: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

按一下以編輯母片標題樣式

8

紅外線駕駛頭部偏移偵測系統

【駕駛頭部偏移偵測裝置】− 中華民國新型專利− 專利證書號碼:新型第 M 478813 號− 新型創作人:顏瑞成、阮瑞祥− 專利權人:國立聯合大學− 專利權期間:2014/5/21~2024/1/26− 技術報告:比對結果代碼 6

【駕駛頭部偏移偵測裝置】− 中國新型專利− 專利證書號碼: ZL 2014 2 0547476.2− 新型創作人:顏瑞成、阮瑞祥− 專利權人:國立聯合大學− 專利權期間:2014/9/22~2024/9/22

Page 9: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

按一下以編輯母片標題樣式

9

新型專利

Page 10: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

按一下以編輯母片標題樣式

10

系統設計

紅外線發射器

紅外線接收器

頭部偏移偵測演算法

警告裝置

Page 11: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

按一下以編輯母片標題樣式

11

頭部偏移偵測演算法

頭部偏移偵測模式

首次穩定偵測模式

計時穩定偵測模式

fstable(0:35)

穩定狀態偵測

系統啟動

Page 12: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

按一下以編輯母片標題樣式

12

系統實現

MPC89E515A

0

1

.

.

.

34

35

.

.

.

36個紅外線發射器

警示聲蜂鳴器

2個紅外線接收器

實現演算法FPGA

Altera 60nm Cyclone IV E FPGA

with 115K LEs

Page 13: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

按一下以編輯母片標題樣式

13

系統實現

偵測系統 紅外線發射器

紅外線接收器

警示燈

警示聲

Page 14: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

按一下以編輯母片標題樣式

14

實現結果展示

https://www.youtube.com/watch?v=yVhwf5-W9fQ

Page 15: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

按一下以編輯母片標題樣式

15

系統特點

能對駕駛往下點頭、頭部右偏、頭部右偏發出警告

駕駛看後視鏡時不會發出警告

系統成本低

對於車外光線的變化具有強健性

不會有額外光線進入眼睛而造成眼睛疲勞或傷害

紅外線為不可見光,不會對車內及對向來車造成視覺的干擾

不會受到駕駛配戴太陽眼鏡的影響

Page 16: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

16

車道偏移警告系統

聯合大學電子工程學系

顏瑞成、陳漢臣

Page 17: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

按一下以編輯母片標題樣式

17

系統設計

車道偏移警告系統

攝影機

FPGA驗證平台車道偏移偵測演算法

警告駕駛

Page 18: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

按一下以編輯母片標題樣式

18

車道偏移偵測演算法

判斷是否雨刷畫面

前處理

前處理

判斷白天或晚上

處理

晚上

符合警告門檻

發出警告

方向燈訊號

判斷雨刷速度

i=i+1

參數設定

擷取畫面 fi

大雨

i=i+1

取代

非大雨

左右注意區域

計算新閥值

二值化與細線化霍夫轉換

白天 否

左右注意區域

計算新閥值

二值化與細線化限制角度霍夫轉換

錯誤偵測與補償

Page 19: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

按一下以編輯母片標題樣式

19

系統實現

車美仕行車紀錄器

DVD Player

TVDecoder

警示聲蜂鳴器

類比轉數位視訊解碼器

實現演算法FPGA

7吋LCD液晶螢幕

AV輸出

microSD

Page 20: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

按一下以編輯母片標題樣式

20

Altera DE2-115 教學開發平台

Video In

TV Decoder(NTSC/PAL)

Altera 60nm Cyclone IV E FPGA

with 115K LEs

Page 21: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

按一下以編輯母片標題樣式

21

實現結果展示

https://www.youtube.com/watch?v=gdvzIUc8WuM

(1)軟體模擬結果(2)硬體模擬結果(3)硬體實測結果

Page 22: 按一下以編輯母片標題樣式 - ivs.ee.nctu.edu.twivs.ee.nctu.edu.tw/iac/pdf/簡報檔-聯合顏瑞成教授20150626.pdf有接觸性感測器: 駕駛頭部或臉部 的狀態

按一下以編輯母片標題樣式

22

系統特點

針對六段測試視訊(早晨、下午、隧道、夜間、小雨、大雨)模擬結果顯示,系統都能正確找出車道線並正確發出警告

克服光線劇烈變化的問題(陽光斜射造成陰影、陽光直射造成過度曝光、進出隧道)

克服低光源的影響(夜間低光源與路面反光標誌)

克服大雨的影響