【課程】Duckietown 自走車工作坊,最完整的自走車學習體驗,利用ROS 打造機器人系統、建構 Duckiebot 平台環境

【馬上報名!】Duckietown 自走車工作坊

20191214_techbang-duckietown-01-banner

我們這次又和T客邦合作一起辦 【課程】Duckietown 自走車工作坊,歡迎大家報名參加。

Duckietown(小鴨城)源自於 MIT 2.166 自動駕駛車開放課程,使用樹莓派加魚眼相機加上馬達控制板建立一個自走小車(DuckieBot)。

DuckieBot(小鴨車)是在樹莓派上安裝 Ubuntu + ROS(Robot Operating System) 做為自走車的開發架構,使用魚眼鏡頭進行物體辨識,將當前環境根據非線性估計後使用馬達控制板控制左右馬達進行車道跟隨(lane following)。

兩天的活動,讓你由淺入深,從 ROS 介紹到電腦視覺,自動駕駛原理一次學會。

【Duckietown 自走車工作坊】

目標:學習自動駕駛原理,包括 ROS 使用、電腦視覺與相機校正、非線性估計、物體辨識、投影轉換和車道跟隨一次學會。

【實作介紹】
兩天的活動,讓你由淺入深,從 ROS 介紹到電腦視覺,自動駕駛原理一次學會。

【學習目標】
* 學習自動駕駛原理
* ROS 使用
* 電腦視覺與相機校正
* 非線性估計
* 物體辨識
* 投影轉換和車道跟隨

【課程規劃】

第一天
0930 – 1030: 1) Duckietown 介紹
1030 – 1100: 2) Duckiebot 組裝
1100 – 1200: 3) Duckiebot環境設定(SSH設定/虛擬機設定)
1300 – 1730: 4) 單元測試(車體校正/相機校正/投影轉換/車道跟隨)

第二天
0930 – 1200: 1) ROS介紹與練習(ROS架構/GPIO控制/攝影機讀取)
1300 – 1500: 2) 電腦視覺與相機校正(內外參數)
1500 – 1730: 3) 自動駕駛原理與實做

【過去活動影片】

【學員條件】
* 本活動是進階課程,建議有使用過樹莓派和在上面開發程式的人參加;會介紹影像處理,但不會從基礎介紹起。

【課前準備】
* 下載安裝 VirtualBox
* 學員當天需自備筆電,Windows / Linux / Mac 皆可。

【課程硬體】
* Pi 3B 入門組(含Pi 3B、32G SD、電源)。
* EW-7811UTC AC600雙頻USB迷你無線網路卡
* 小鴨車套件全套(包含:雙層小車、160 度魚眼相機、相機座、Adafruit 馬達驅動板(已焊接)、鋰電池擴充板、2.4G 搖桿、全車螺絲包、USB 轉 TTL、黃色小鴨)。
* 海報紙、膠帶。

注意事項:
* 學員當天需自備筆電,Windows / Linux / Mac 皆可。
* 報名費用已含【課程硬體】。

【其他說明】
* 講師:sosorry / 台灣樹莓派
* 時間:2019/12/14-15 (六、日) 09:30-17:30
* 地點:T客邦總部/台北市中山區民生東路二段141號6F
* 午餐:中午休息時間由學員自理。費用不包含午餐。

【馬上報名!】Duckietown 自走車工作坊

[紀錄] Raspberry Pi社群聚會 #28 會後資料(樹莓派上的台灣創新專案)

第二十八次 Raspberry Pi 社群聚會會後資料,希望透過社群活動的分享和交流,找到更多 Raspberry Pi 的可能。本次主題是「樹莓派上的台灣創新專案」。過往資訊可看共筆,報名可到 KKTIX

樹莓派自 2012 年問世後,歷經多次改版,最新的型號是 Pi 4。一開始是在教育用途上,但現在許多商用領域也可以看見樹莓派的身影。台灣也有許多公司使用樹莓派做專案或是做產品,這次的聚會有兩家台灣新創團隊分享了他們在樹莓派上的應用。

天瓏書局 2F Coding Space
這次主題吸引很多同好來瞭解技術細節,天瓏書局 2F Coding Space 又被我們擠爆了。

Swind
第一位是 CloudMosa 的 Swind,負責軟體測試開發。

CloudMosa
CloudMosa 沈修平博士在 2009 年創立,目前公司的主要開發人員在台北。

CloudMosa Products
Puffin Web Browser 是 CloudMosa 的主要產品,是一個專注在手機上的網頁瀏覽器應用程式,目前全球累積一億的下載量,DAU(Daily Active User, 日活躍使用者)有兩百萬人。而 Puffin Internet Terminal 將是今天要介紹的主題。

Puffin OS
除了 Puffin Web Browser 和主打教育市場的 Puffin Internet Terminal 以外,CloudMosa 正在做可以跑在手機上的 Puffin OS ,希望能讓低階手機更為普及,彌平世界數位落差。

Puffin Internet Terminal
Puffin Internet Terminal 是一個瀏覽器的解決方案。能讓 Raspberry Pi 3 Model B+($35)的瀏覽網頁體驗可以媲美要價上千元 ChromeBook,並降低使用網路取得資訊的門檻。
由於學校單位大量使用 Adobe Flash 技術,Puffin Internet Terminal 可以跨平台和跨瀏覽器的特性讓許多教育單位採用。

Benchmark
由於越來越多的應用程式是以網頁(Web)的方式呈現,因此 Puffin Internet Terminal 的高效能也是主打特色之一。Swind 也展示了和 Chromium 的效能比較,是使用 JetStream 做評比,分數越高越好。

Why Puffin is fast?
為什麼 Puffin Internet Terminal 可以這麼快? 這其實是 CloudMosa 累積了多年的軟體工程能量達成的。簡單說可分為這三個部份。
1. 大幅降低 Client(和樹莓派) 端運算需求。
2. 節省大約 70% 資料傳輸量。
3. 強大且快速的伺服器與網路。

Puffin architecture
要介紹 Puffin Internet Terminal 就直接介紹 Puffin Browser,兩者在架構上是一樣的。Puffin Browser 的架構是,用戶端(Browser)不會直接連到 Web Server,而是透過 Puffin Cloud Server 向 Web Server 做請求,再回傳到用戶端。這樣的技術似乎和 Proxy 很像,但 Proxy 雖然會做快取(cache)或是壓縮,但並不會幫忙做運算,因此傳回到用戶端的資料還是需要用戶端即時運算顯示。這樣的問題是現行的網頁特效很多,如果將運算都移到用戶端,那用戶端的裝置需要在一定的規格以上才能有良好體驗。

Remote browser
所以 Puffin Browser 就像是一個 Remote Browser,幫用戶端在 Puffin Cloud Server 運算完畢後再將運算結果回傳。也因為雲端已經做完運算,等於節省用戶手機上的運算流量,幫沒有網路吃到飽方案的用戶省下費用。

Puffin Cloud Server
Puffin Browser 能跑得這麼快的第二個原因是歸功於 Puffin Cloud Server 的佈建。CloudMosa 目前有三個資料中心(Data Center),近萬台獨立的中高階實體伺服器與擁有近萬個 Public IP,這樣就可以快速的和全球各地的網頁伺服器進行高速傳輸。
除了架設伺服器做 remote browser 以外,Puffin Browser 可以用資料中心超快的網路去 Web Server 取得資料,還能因此大量減少 Client 與 Server 之間 資料傳輸的次數以及傳輸量,達到快速的回應時間。

Optimal for Raspberry Pi
而 Puffin Internet Terminal 針對 Raspberry Pi 的優化包括有。
1. 因為效能考量而不使用 Windows 版本正在用的 React Native,改使用 GTK 重新開發。
2. 支援 Raspberry Pi 的 GPU。

Brian
大家對於 Puffin Internet Terminal 後端的運作原理非常感興趣,對資源分配與安全性等都提出相關問題。因此 CloudMosa 的 Brian 在 QA 時間也回答了許多技術細節。

Puffin Internet Terminal 採取訂閱製,現在正在大特價,每個月只要 USD$1 就可以讓你的 Pi 快速和安全,非常適合學校單位、國安單位、軍方單位使用。

當 Puffin 瀏覽器跑在 Raspberry Pi 上 Puffin Internet Terminal 的投影片

 

Bofu
第二位來分享的講者是 DT42 的技術長 Bofu。

DT42
DT42 成立於 2015 年,是由一群對數據分析、深度學習與運算系統充滿熱忱的資訊工程師與數據工程師組成的合作團隊,團隊成員均曾於軟體開發、影像辨識專業單位,擁有豐富的技術能量,專長包括數據分析、智慧機器學習、嵌入式系統開發、智能圖像辨識等專業領域,我們利用嵌入式系統開發、資料科學以及人工智慧演算法方面的專長,降低了人工智慧應用開發門檻,不僅支援多種資料型態,且能簡易地被佈署到多樣化的硬體平台。

BerryNet
BerryNet 是 DT42 在 2017/04 年的開源專案,使用者(或開發者)可以透過 BerryNet 快速的在 Raspberry Pi(或者其他裝置) 上打造 AI Gateway,利用 Raspberry Pi 做運算深度學習,對影像或語音做即時分析。
在 2017 年時,DT42 展示了使用 BerryNet 在 Pi 3B 上進行物件偵測(Object Detection)可以達到 1FPS,在當時是很先進的。

AIoT - 01
AI Gateway 的經典範例就是一個 AI + IoT 的實際情境。例如有一隻貓來到你家後院,可是你想把他趕走,而不用花費人力,該怎麼做?
答案有很多,其中一個可能是架設一個 BerryNet 把貓嚇走。

AIoT - 02
當你架設好 BerryNet 以後,就可以透過自訂的攝影機將影像串流到 Raspberry Pi,再透過 BerryNet 內建的深度模型進行物件偵測。當有偵測到貓時就透過 WiFi 或是其他協定控制灑水系統進行灑水驅趕貓咪。
在這個情境中,物件辨識就是屬於 A.I.,而控制灑水系統則是 IoT 的概念。BerryNet 可以在樹莓派上完美的整合這兩者,成為 AI Gateway。雖然貓咪不一定會如你預期的被嚇走,搞不好還會玩的更開心 QQ。

Server AI
Bofu 再利用 YouBike 的演進說明了 Server AI 和 Edge AI 的分別。在過去,所有借還 YouBike 必須要先使用悠遊卡在 YouBike 的基站感應,而該站台會連回雲端主機,有著運算資源充沛、中央控管和容易追蹤各裝置狀況等優點。但也有受到基礎建設的限制或是佈署花費較高等缺點。這樣透過基站來計算處理資訊的方式稱為是 Server AI,也就是 YouBike 1.0。

Edge AI
而如果現在使用 YouBike,會發現使用體驗更順暢。包括了將基站主機的功能隱藏到每台車上成為各別的閘道器,所有感測資料就透過閘道器和雲端連線,有便於攜帶、容易部署和整體成本較低等優點。但有著受到本地運算機之運算資源限制和分散式系統個別更新不易等缺點。這樣透過各別低價的閘道器和和雲端主機直接連線做資訊交換,甚至多數的計算功能可以在閘道器上直接處理掉,這樣的方式稱為是 Edge AI,也就是 YouBike 2.0。

BerryNet Design Concept
BerryNet 希望成為 AI 和 IoT 的橋樑。目前各家廠商都有提出自己的 Framework,例如 FacebookPyTorch、或是 GoogleTensorFlow。許多硬體廠商,例如 Intel 也有推 OpenVINO 或是 NVIDIATensorRT
如果你只想要做個簡單的 AI 應用,光是選哪一套框架就會開始苦惱了,何況要控制後端的硬體控制又要再學習一堆硬體相關知識。那 BerryNet 提供了一個彈性的架構,讓使用者可以快速的整 AI 和 IoT 這兩端,專注在應用方面。

BerryNet Architecture
BerryNet 的架構可以從這張圖來說明。使用者會有多種 I/O 裝置,例如攝影機、麥克風或是要控制的硬體。而這些 I/O 裝置會透過 MQTT 的協定和 Raspberry Pi 溝通。而 BerryNet 整合多種深度學習模型,讓使用者可以透過指令列就能指定輸入/輸出設備,並設定適合的網路模型與參數,快速的部署一個 AIOT 的應用。

BerryNet step-by-step
整個操作情境,可以這樣舉例。如果你有一個手機當作影像的輸入來源,接著在 Raspberry Pi 跑 BerryNet,你就可以很輕鬆的透過可能是 RTSP 的協定將影像接到 Pi 上,並初始化 BerryNet 上的 TensorFlow Lite,決定好儀表板的顯示方式輸出到外接螢幕,如此一來我們就完成一個 BerryNet 的基本設定。

BerryNet result
接著我們就可以在螢幕上顯示推論結果(Dashboard),例如物件辨識,將辨認出的物體標記出來。

AIKEA
根據上一個範例,你可以發現使用者很輕鬆的就可以搭建出 AIOT 的應用,當然你會需要先準備一些硬體,包括 Raspberry Pi 和 Pi Camera 等。
如果你不想準備這些硬體與額外的設定,DT42 也在 Kickstarter 發起了 AIKEA 的群幕專案,標的物是是家庭的私有攝影機。但如果你仔細看專案說明,就會知道支持者最後會拿到 Pi 4BPi Camera 還有一個外盒。這是 DT42 團隊想要表達,使用者不需要花大錢買昂貴的硬體,只要使用手邊的裝置就可以建構出 AIOT 的應用。

BerryNet demo in 1 day
甚至 DT42 非技術性的專案經理,可以在一天之內從無到有使用 BerryNet 做出一個 AIOT 的應用。該應用是可以偵測過馬路的行人是否為長者或是行動不便的人士,而根據行人來決定是否要延長紅綠燈的秒數,能減少更多交通意外發生。
當然如果要做這樣的應用,使用者會需要蒐集足夠的影像來訓練模型才行。但這樣的範例告訴我們,很多使用者有很實際的應用,但因為缺乏技術性所以無法實做並驗證這些應用,而 BerryNet 可以快速打造 AIOT 應用,降低了人工智慧應用開發門檻。

BerryNet Demo
最後,Bofu 的 Live Demo 是使用手機收影像後,透過 RTSP 傳到 Pi 4 上的 BerryNet 即時做人物偵測。在沒有額外的硬體加速器的情形,大概有 5FPS 左右。

BerryNet – The first deep learning gateway for edge devices 的投影片

我們很高興能邀請到台灣的一些新創團隊來社群聚會分享,讓更多人看到台灣的創新能量。如果大家有想分享的主題,可以來信告訴我們(service_AT_raspberrypi.com.tw)。

【活動】Duckietown工作坊高雄場 | 小鴨車 | 小鴨城 | ROS | 機器人視覺 | 影像處理 | 自走車一次學會

duckietown_workshop_03_kaohsiung_banner_1200x606

Duckietown(小鴨城)源自於 MIT 2.166 自動駕駛車開放課程,使用樹莓派加魚眼相機加上馬達控制板建立一個自走小車(DuckieBot)。

DuckieBot(小鴨車)是在樹莓派上安裝 Ubuntu + ROS(Robot Operating System) 做為自走車的開發架構,使用魚眼鏡頭進行物體辨識,將當前環境根據非線性估計後使用馬達控制板控制左右馬達進行車道跟隨(lane following)。

兩天的活動,讓你由淺入深,從 ROS 介紹到電腦視覺,自動駕駛原理一次學會。

【Duckietown小鴨城自走車工作坊】

目標:學習自動駕駛原理,包括 ROS 使用、電腦視覺與相機校正、非線性估計、物體辨識、投影轉換和車道跟隨一次學會。

【實作介紹】
兩天的活動,讓你由淺入深,從 ROS 介紹到電腦視覺,自動駕駛原理一次學會。

【學習目標】
* 學習自動駕駛原理
* ROS 使用
* 電腦視覺與相機校正
* 非線性估計
* 物體辨識
* 投影轉換和車道跟隨

【課程規劃】

第一天
0930 – 1030: 1) Duckietown 介紹
1030 – 1100: 2) Duckiebot 組裝
1100 – 1200: 3) Duckiebot環境設定(SSH設定/虛擬機設定)
1300 – 1730: 4) 單元測試(車體校正/相機校正/投影轉換/車道跟隨)

第二天
0930 – 1200: 1) ROS介紹與練習(ROS架構/GPIO控制/攝影機讀取)
1300 – 1500: 2) 電腦視覺與相機校正(內外參數)
1500 – 1730: 3) 自動駕駛原理與實做

【過去活動影片】

【學員條件】
* 本活動是進階課程,建議有使用過樹莓派和在上面開發程式的人參加;會介紹影像處理,但不會從基礎介紹起。

【課前準備】
* 下載安裝 VirtualBox
* 學員當天需自備筆電,Windows / Linux / Mac 皆可。

【費用說明】
* 購買全套設備:$9,450。包含樹莓派 Pi 3B 必備套件小鴨車材料包2.4/5GHz 雙頻無線網卡
* 租借全套設備:$5,250。包含樹莓派 Pi 3B 必備套件,小鴨車材料包。結束後需歸還

【其他說明】
* 講師:sosorry / 台灣樹莓派
* 時間:2019/4/20-21 (六、日) 09:30-17:30
* 地點:義守推廣教育中心/高雄市前金區五福三路21號7樓(一般教室-9A)
* 午餐:中午休息時間由學員自理。費用不包含午餐。

【馬上報名!】Raspberry Pi 工作坊候補表單  <==報名額滿了,填寫候補表單!

[活動] MakerConf 2018! Duckietown篇

makerconf_2018_duckietown

自從 2014 年和 2016 年舉辦的 MakerConf,我們承襲兩年舉辦一次的傳統(?),這次一樣是採工作坊的形式舉辦。為了讓更多人能參加到不同的活動,我們將活動時間分開。第二場將是 Duckietown自走車開發實作工作坊

【內容介紹】
Duckietown(小鴨城)源自於 MIT 2.166 自動駕駛車開放課程,使用樹莓派加魚眼相機加上馬達控制板建立一個自走小車(DuckieBot)。

DuckieBot(小鴨車)是在樹莓派上安裝 Ubuntu + ROS(Robot Operating System) 做為自走車的開發架構,使用魚眼鏡頭進行物體辨識,將當前環境根據非線性估計後使用馬達控制板控制左右馬達進行車道跟隨(lane following)。

【實作介紹】
兩天的活動,讓你由淺入深,從 ROS 介紹到電腦視覺,自動駕駛原理一次學會。

【學習目標】
* 學習自動駕駛原理
* ROS 使用
* 電腦視覺與相機校正
* 非線性估計
* 物體辨識
* 投影轉換和車道跟隨

【課程規劃】

第一天
0900 – 1000: 1) Duckietown 介紹
1000 – 1100: 2) Duckiebot 組裝
1100 – 1200: 3) Duckiebot環境設定(SSH設定/虛擬機設定)
1300 – 1800: 4) 單元測試(車體校正/相機校正/投影轉換/車道跟隨)

第二天
0900 – 1200 1) ROS介紹與練習(ROS架構/GPIO控制/攝影機讀取)
1300 – 1500 2) 電腦視覺與相機校正(內外參數)
1500 – 1800 3) 自動駕駛原理與實做

【學員條件】
* 本活動是進階課程,建議有使用過樹莓派和在上面開發程式的人參加;會介紹影像處理,但不會從基礎介紹起。

【課前準備】
* 下載安裝 VirtualBox
* 學員當天需自備筆電,Windows / Linux / Mac 皆可。

【材料說明】
材料費為 $9,450 元已涵蓋於報名費中,材料包包含:
─── 樹莓派 Pi 3B 必備套件 ───
Pi 3B + 32G SD卡 + 5V/2.5A 電源 + PL2303HXD傳輸線
─── 小鴨車材料包 ───
雙層小車、160 度魚眼相機、相機座、Adafruit 馬達驅動板(已焊接)、鋰電池擴充板、2.4G 搖桿、全車螺絲包、USB 轉 TTL、黃色小鴨
─── 2.4/5GHz 雙頻無線網卡 ───
EW-7811UTC AC600雙頻USB迷你無線網路卡

不包含午餐。

【講師介紹】
sosorry / 台灣樹莓派

* 主辦單位:MakerConf
* 協辦單位:RICELEE台灣樹莓派天瓏資訊圖書
* 時間:2019/1/5-6 (六、日) 09:00-18:00
* 地點:台北市中正區重慶南路一段105號 (天瓏書局2F)
* 聯絡方式:hi@ricelee.com
* 午餐:中午休息時間由學員自理

報名:Raspberry Pi 工作坊候補表單  <==活動結束了,填寫候補表單!

[紀錄] Raspberry Pi社群聚會 #23 會後資料(樹莓派自走車)

第二十三次 Raspberry Pi 社群聚會會後資料,希望透過社群活動的分享和交流,找到更多 Raspberry Pi 的可能。本次主題是「樹莓派自走車」。過往資訊可看共筆,報名可到 KKTIX

天瓏書局(Tenlong Bookstore)
這次的活動是在天瓏書局 CodingSpace 舉辦,場地很新設備很好,小老闆很給力提供了很多協助。

Raspberry Pi社群聚會 #23(Raspberry Pi Meetup #23)
但這次因為報名人數爆棚所以略顯擁擠,下次聚會要吃 Pizza 應該會更擠吧?

樹莓派基金會贊助貼紙(Raspberry Pi Foundation donate stickers to us)
這次活動樹莓派基金會有贊助貼紙,所以來參加的朋友都很開心的拿了不同的貼紙做紀念。

如何玩Donkey Car(Donkey Car How to Play)
這次的講者李翼介紹 Donkey Car 怎麼玩。Donkey Car 是一個機器學習加上馬達控制的綜合型專案,也就是使用者先在車道上使用搖桿控制小車,並且將影像資訊和搖桿資訊記錄下來。再將蒐集到的資料訓練出對應的模型,之後再把訓練好的模型放到小車上試著讓它自走,並持續做蒐集資料、訓練模型、測試小車的動作直到符合預期結果。

Donkey Car硬體清單(The Donkey Car Hardware List)
Donkey Car 的硬體清單,包含了 Pi 3、車體、相機模組、搖桿以外,還用了冰棍做相機支架,非常有趣。


目前比較難取得的是 RC Car,還要再搭配專用擴充板,不過這都可以再進行改造的。對 Donkey Car 來說,相機模組是唯一的資料輸入來源。

Donkey Car軟體架構(The Donkey Car Software Architecture)
在 Donkey Car 的軟體架構中,包含了認知(Perception)、規劃(Planning)、控制(Control)和資料收集(Data Collection)等步驟。所謂的認知就是自駕車需要取得當前的狀態(state),包括是否正在前進還是後退?如果知道狀態以後,就可以根據條件做規劃,例如左轉、右轉或是避障等。有了規劃結果以後就可以發出控制訊號來控制馬達調整車子動作,最後就是持續把從相機讀進來的影像資料或是搖桿資料給保存下來。

Donkey Car身經網路(The Donkey Neural Network Model)
Donkey Car 的核心精神就是使用神經網路將影像和對應的動作做連結,因此選擇適合的模型與調整參數是很重要的。

Donkey Car資料類別(The Donkey Car Data)
除了有好的神經網路模型以外,如何挑選好的資料在機器學習領域也是非常重要的。對此李翼分享了自身的經驗,不能只給模型乖乖的控制資料,必須要加上一些錯誤再導正的控制資料,就像是我們人在開車時的行為。

Donkey Car車道設計(Donkey Car Lane Design)
車道設計也是大哉問,不論是地板材質、膠帶材質與顏色都會影響辨識結果,並且特別要注意車道轉彎角度必須要小於車子的迴轉半徑,才不會做出一個無法跑得賽道出來。

結語
最後的結論就是雖然神經網路是一個黑盒子,但多數的行為是可以根據訓練資料而得到的,因此除了模型設計以外,使用乾淨和有設計過的資料做訓練才會得到理想的結果,也就是 “餵什麼像什麼”。


李翼的分享非常精彩,中場休息時還被團團圍住。大家都想要在這次的分享吸收講者的經驗以減少自己摸索的時間。

驢車學走路(樹莓派在自駕遙控車的應用)的投影片下載

 

源自於MIT的小鴨車專案(Duckietown Project from MIT)
我們這次介紹小鴨城(Duckietown)專案,這是一個基於 Raspberry PiROS 的開源無人小車專案,源自於 MIT。在 2016 年課程初設計時,還是一個靠著影像辨識加控制理論所搭建的自走車平台,但到了 2017/2018 年已經可以結合機器學習做到多種環境識別與容器化等更適合在學校推廣的機器人平台。


這是在 2016 年課程(2.166)的架構,一開始會需要設定樹莓派(Duckiebot)和開發環境(Virtualbox),並且讓兩邊的網路透過名稱解析方式互通。一開始會做車輪校正(Wheel Calibration)確認小車能行走直線不偏移,再來從小車的視角去觀察世界可以看到如果要做到最簡單的車道跟隨(Lane Following)會需要找到左邊的黃色線段和右邊的白色車道,因此經過影像處理的技術,包括色彩空間轉換、濾波、邊緣偵測和找直線等可得到黃線和白線的線段座標。再經過相機校正(Camera Calibration)後,可以讓影像資訊從二維相機影像座標映射到真實世界三維座標。最後經過投票與條件機率可決定最適合的參數,再根據此一參數調整馬達控制訊號讓小車狀態改變達到能沿著車道行走的功能。

車道跟隨展示(Lane Following Demo)
sosorry 也展示了車道跟隨(Lane Following)的功能。但當天的光線太暗,黃線的部份並沒有清楚的看到,但在經過亮度補償後有改善,可以完整跑完一圈。

採果機器人展示(FarmHarvestBot Demo)
我們在之前的工作坊有遇到 FarmBotTUG 的朋友,他們開了一個新的採果機器人專案(FarmHarvestBot) ,希望能做到可以自動採收水果的機器人。我們也根據他們的想法做了一個簡單的展示,可以一邊自走 S 型車道,再一邊進行手臂控制夾取物品。未來將會做成原型車,能透過影像辨識再使用機器手臂自動抓取物品。

小鴨城(Duckietown)一個基於Raspberry Pi和ROS 的開源無人小車專案介紹投影片下載
 
我們預計在十二月還會在舉辦一次小鴨車的工作坊,活動時間與地點近期會公佈,歡迎大家一起來玩。

[活動] Duckietown小鴨城自走車工作坊(兩天)

上限 20 人。購買全套配件:$9450元。
Raspberry Pi 工作坊候補表單  <==額滿了,填寫候補表單!

Duckietown(小鴨城)源自於 MIT 2.166 自動駕駛車開放課程,使用樹莓派加魚眼相機加上馬達控制板建立一個自走小車(DuckieBot)。

DuckieBot(小鴨車)是在樹莓派上安裝 Ubuntu + ROS(Robot Operating System) 做為自走車的開發架構,使用魚眼鏡頭進行物體辨識,將當前環境根據非線性估計後使用馬達控制板控制左右馬達進行車道跟隨(lane following)。

兩天的活動,讓你由淺入深,從 ROS 介紹到電腦視覺,自動駕駛原理一次學會。

【Duckietown小鴨城自走車工作坊】
目標:學習自動駕駛原理,包括 ROS 使用、電腦視覺與相機校正、非線性估計、物體辨識、投影轉換和車道跟隨一次學會。
時間:2018/09/15-16(六-日) 早上 09:00~下午 18:00
地點:CLBC台北市大安區復興南路一段293號4樓
講師:
1. YC_thumb YC 老師,Robotist。Pioneer in Duckietown。第一屆 ROS.Taipei 2018 年會年協辦,ROS.Taipei 2018年會發表 “I am supposed to build robots!
2. HY_thumb HY 老師,Robotist。Pioneer in Duckietown。Unity, Unreal遊戲引擎專家。新竹Mars團隊, 新竹實驗中學與光武國中STEM教學資深講師。悠遊虛擬與現實間。

9/15(週六)

09:00 – 10:00: 1. Duckiebot環境設定(SSH設定/虛擬機設定)
10:00 – 12:00: 2. 單元測試與ROS介紹與練習(ROS/底盤校正/攝影機讀取)
13:00 – 14:00: 3. 電腦視覺與相機校正(內外參數/OpenCV基礎)
14:00 – 17:30: 4. 自動駕駛原理(一)(非線性估計/光補償校正)

9/16(週日)

09:00 – 10:30: 1. 自動駕駛原理(二)(物體辨識/投影轉換/車道跟隨(1))
10:30 – 12:00: 2. 自動駕駛原理(三)(車道跟隨(2))
13:00 – 17:00: 3. 實地測試

上限 20 人。購買全套配件:$9450元 Raspberry Pi 工作坊候補表單  <==額滿了,填寫候補表單!
包含樹莓派 Pi 3B 必備套件(Pi 3B + 32G SD卡 + 5V/2.5A 電源 + PL2303HXD傳輸線) + 小鴨車材料包(雙層小車、160 度魚眼相機、相機座、Adafruit 馬達驅動板(已焊接)、鋰電池擴充板、2.4G 搖桿、全車螺絲包、USB 轉 TTL、黃色小鴨),不包含午餐。

注意事項:
* 完成付款即完成報名。
* 學員當天需自備筆電,Windows / Linux / Mac 皆可。
* 本活動是進階課程,建議有使用過樹莓派和在上面開發程式的人參加。

更多介紹可以參考:

小鴨城(Duckietown) 一個基於Raspberry Pi和ROS 的開源無人小車專案介紹
from raspberrypi-tw

[活動] Raspberry Pi社群聚會 #22 @2018/08/13

報名:Raspberry Pi社群聚會 #22

第二十二次 Raspberry Pi 社群聚會,希望能透過社群活動的分享和交流,找到更多 Raspberry Pi 的可能。本次主題是「樹莓派在物聯網上的應用案例,從 Maker 到 Mass Production第二彈」。

分享者1:Vincent/誠德科技
題目:可程式化控制器以樹莓派研製與應用
1. 為何當創客?Why being a maker?
2. 為何要量產?Why doing mass production?
3. 量產之前 Before doing mass production
4. 量產時 When doing mass production
5. 產品出來了 After produced
6. 相關應用 Applications
> 停車場智慧化 Smart Parking Lots Management
> 室內空氣品質連續監測 IAQ Management

lightning talk:sosorry (台灣樹莓派)
題目:樹莓派空氣盒子(PiM25)
1. 發想與雛型。
2. 專案現況。
3. 下一步計畫。

活動資訊

  • 活動時間: 2018/08/13(週一) 19:10 ~ 21:30 (6:40pm 開始入場)
  • 活動人數上限: 100
  • 活動地點:CLBC台北市大安區復興南路一段293號4樓
  • 交通資訊:(地圖:http://clbc.tw/location/)至捷運大安站下車,出口後直走60秒內可抵達 CLBC 大安館

clbc_map
顯示詳細地圖

費用

  • 每人150元場地費用
  • 帶作品展示的參加者免收場地費用

備註

  • 活動場地有提供無線網路

報名:Raspberry Pi社群聚會 #22

[活動] Raspberry Pi社群聚會 #21 會後資料(樹莓派在物聯網上的應用案例,從 Maker 到 Mass Production)

第二十一次 Raspberry Pi 社群聚會會後資料,希望透過社群活動的分享和交流,找到更多 Raspberry Pi 的可能。本次主題是「樹莓派在物聯網上的應用案例,從 Maker 到 Mass Production」。過往資訊可看共筆


這次的主題是分享使用樹莓派(Raspberry Pi)量產的經驗或是產品。第一位是由威名資訊介紹使將樹莓派做成灑水器的商業化應用經驗談。


產品的需求是從空污而來。空氣污染的來源之一是柴油引擎的排放物,其組成主要是氮氧化物(NOx)和微粒(包含碳煙),其次是碳氫化合物(HC) 。如果能使用氨氣作為還原劑,可以讓氨氣和氮氧化物反應生成氮氣和水,就可以無害的排放到大氣中。但由於使用氨氣需要一套複雜的控制系統,因此使用尿素(環保汽車尿素,Diesel exhaust fluid)會更為方便,因為尿素的水溶液在 200°C 的溫度以上,會產生 NH3 可達到和氨氣一樣的效果。


威名資訊所設計的灑水器的硬體組成有 Raspberry Pi 和 Arduino。讀取油料的高低和加注尿素是由 Arduino 負責,其資訊會透過 UART 和 Pi 傳輸,而 Pi 則負責顯示畫面,並將加注結果傳回伺服器。


圖為灑水器內部的線路。使用 Pi 或是 Arduino 這類硬體的好處,就是在於開發快速。只要設計好適當的線路圖,就可以用麵包板和杜邦線等電子零件驗證想法。如果初步的測試沒問題,就可以手工焊接讓雛型系統更穩固。經過一段時間的實測猴,就能再進行 PCB 的生產等後續量產動作。


產品量產後的問題之一,就是蒐集 log。如果是一開始就有先考慮到的都不會是問題,但你永遠不知道使用者會怎麼用這產品。因此威名資訊曾經接到尿素加注資料讀取錯誤的問題回報,為了第一時間瞭解狀況,就在半夜從台北直奔彰化花壇,只為了取回 log 和釐清問題所在。


大部分的人還是只拿 Pi 做概念驗證,因此提問的人很多,都想多瞭解可能會發生的問題,看能不能少踩幾個坑。

威名資訊的投影片下載

 


第二位講者 sosorry 也分享國內外使用樹莓派做產品的幾個要點。第一個案例是使用樹莓派做監控系統。
目前市面上大多數的監控設備都是使用可見光的 Camera,但這會受到天候或是光線等影響,因此為了能降低環境影響,有廠商使用可見光的相機模組熱紅外線影像相機模組融合成監視系統。這是使用雙相機做 alpha blending 的效果。


第二個案例是使用樹莓派做能源監控系統。這是國外所發起的 OpenEnergyMonitor 專案,整體架構包含了可單獨運作的溫度監控模組(emonTH)、可偵測電流消耗的能源監控模組(emonTx)、使用了 Pi 和 ATmega328 擴充板做為系統核心的物聯網閘道器(emonPi),和最後資料分析與視覺化的儀表板(emonCMS)。

特別介紹這專案不只是這已經是量產的產品,而是觀摩別人怎麼經營開源專案。這專案所有的項目都是開源的,包括了硬體開源,但也提供線上購買現成的模組。其次是軟體開源,包括了前端韌體到網頁後台都可以在 github 下載。再來是所有的訊息傳遞都使用開放標準,可方便各種軟體的串接與硬體擴充。當然教學文件教學影片也是必備的,還有線上社群可以作為你最後的支援。以上所有專案資料可以到網站上取得。

最後還分享了一些使用樹莓派量產的注意事項。完整內容可參考投影片
樹莓派在物聯網上的應用案例 from raspberrypi-tw

 


這次 Noah 有給了一個 lightning talk,主要是推廣 FOSSASIAPSLab 的一些精神與產品,和樹莓派是相仿的。不過可惜的是沒有實機展出,也許下次可以結合樹莓派做更多的分享。

 

歡迎大家來參加社群聚會,相關活動我們都會在網頁facebook 公告,如果有主題想分享也請來信 service AT raspberrypi.com.tw。

[活動] Raspberry Pi社群聚會 #21 @2018/05/21

報名:Raspberry Pi社群聚會 #21

第二十一次 Raspberry Pi 社群聚會,希望能透過社群活動的分享和交流,找到更多 Raspberry Pi 的可能。本次主題是「樹莓派在物聯網上的應用案例,從 Maker 到 Mass Production」。

分享者1:Henry (Allware)
題目:樹莓派商業化應用-以尿素加注機為例
大綱:
1. 為何選擇樹莓派。 (成本 vs 時程/商業量產成本/讓我們化腐杇為神奇)
2.週邊硬體的整合。 (電源/感測器/配線/週邊)
3.當機。 (樹莓派偶爾不明的當機/USB裝置死當)
4.與雲端網站整合。 (E1872(3G)/E3372(4G))
5.Python 的坑。 (Thread/Rs232效能)
6.如何更穩定。 (Log啊Log)
7. 實機展示。

分享者2:sosorry (台灣樹莓派)
題目:樹莓派在物聯網上的應用實例
1. 樹莓派現況。
2. 熱影像資訊分析。
3. 能源監控分析。
4. 應用挑戰。

活動資訊

  • 活動時間: 2018/05/21(週一) 19:10 ~ 21:30 (6:40pm 開始入場)
  • 活動人數上限: 100
  • 活動地點:CLBC台北市大安區復興南路一段293號4樓
  • 交通資訊:(地圖:http://clbc.tw/location/)至捷運大安站下車,出口後直走60秒內可抵達 CLBC 大安館

clbc_map
顯示詳細地圖

費用

  • 每人150元場地費用
  • 帶作品展示的參加者免收場地費用

備註

  • 活動場地有提供無線網路

報名:Raspberry Pi社群聚會 #21

[產品] 智慧開關(Smart Relay)學習套件

smart-relay-learning-kit

《特色》
1. 四小時工作坊,手把手教學,附完整範例程式。
2. 從 GPIO 控制 LED 到控制 110V 家用電器。
3. 全系列 Pi 都可以使用。

《規格》
1. 插座 x1
2. 插頭電線 x1
3. 單心線 x3
4. 光耦合兩路繼電器(規格書下載) x1
5. 快速接頭 x2
6. 杜邦線(母對母) x5
7. 杜邦線(公對母) x5
8. USB 接頭 x1
9. USB LED(小夜燈) x1

《教學》

智慧插座(Smart Relay): 從GPIO到繼電器 from raspberrypi-tw

《範例程式》
* https://github.com/raspberrypi-tw/smart-relay

$550 


※若無法使用Paypal購買,請到 這裡 填寫表單購買,造成您的不便敬請見諒。

[活動] Raspberry Pi社群聚會 #20 @2017/09/26

報名:Raspberry Pi社群聚會 #20

第二十次 Raspberry Pi 社群聚會,希望能透過社群活動的分享和交流,找到更多 Raspberry Pi 的可能。本次主題是「語音控制與應用(Voice Control and Applications)」。

分享者1:Zoe Chen(YPCloud), 胡志剛(利凌企業)
題目:樹莓派透過 YPCloud 與 MQTT 讓 Alexa 語音操控 NVR
大綱:
1. YPCloud 簡報10分鐘。
2. LILIN 簡報15分鐘。
3. 實際動手做15分鐘。
4. Q&A 5分鐘。

分享者2:Ryan Hang(威盛電子 OLAMI 人工智慧開放平台)
題目:用樹莓派 + OLAMI 雲平台打造中文智慧喇叭
1. OLAMI 人工智慧開放平台簡介。
2. 以樹莓派為基礎的語音智慧喇叭展示。
3. DIY 實作流程分享。

活動資訊

  • 活動時間: 2017/09/26(週二) 19:10 ~ 21:30 (6:40pm 開始入場)
  • 活動人數上限: 100
  • 活動地點:CLBC台北市大安區復興南路一段293號4樓
  • 交通資訊:(地圖:http://clbc.tw/location/)至捷運大安站下車,出口後直走60秒內可抵達 CLBC 大安館

clbc_map
顯示詳細地圖

費用

  • 每人150元場地費用
  • 帶作品展示的參加者免收場地費用

備註

  • 活動場地有提供無線網路
  • 場地有飲料,由覓茶提供

報名:Raspberry Pi社群聚會 #20

The 20th of the Raspberry Pi meetup, the topic is “Voice Control and Applications”.

Speaker 1:Zoe Chen(YPCloud), Steve Hu(LILIN)
Topic: Raspberry Pi control NVR with YPCloud + MQTT + Alexa
Outline:
1. YPCloud
2. LILIN
3. Hands-on
4. Q&A

Speaker 2:Ryan Hang (OLAMI Open AI – VIA Technologies, Inc)
Topic: Build your own smart speaker with Raspberry Pi + OLAMI AI platform
Outline:
1. Introduction to OLAMI Open cloud-based AI platform.
2. Build your own smart speaker with Raspberry Pi + OLAMI AI platform.
3. DIY and Demo.

Additional Information:

  • 2017/09/26(Tuesday) 19:10 ~ 2017/09/26 21:30
  • 4F-1., No.293, Sec. 1, Fuxing S. Rd., Da’an Dist., Taipei City 106
  • $150 per person

Register: Raspberry Pi User Group Meetup #20

[教學] Raspberry Pi Camera + Python + OpenCV投影片和範例程式 @虎科大

20170727_NFU_Camera_Python_OpenCV_2_Days_Workshop
七月底我們應虎科大電機工程系蔡老師的邀請,帶 Raspberry Pi + Python + Camera 兩天的工作坊。最後會實作”鄉民查水表”功能,是使用 Pi Camera 拍照後,用 OpenCV 做影像處理取得水表指針角度,就可以知道水表目前度數。學生很認真程度也很好,兩天的練習與實做都可以在時間內完成。我們未來也會和虎科大有更多的合作。

 

這次的工作坊共分為兩天,第一天是介紹 Raspberry Pi Camera + Python。內容與時間如下:
1. 相機原理與應用(1 小時)
2. 控制 Raspberry Pi Camera(2 小時)
- 使用指令列
- 使用 Python
3. 串接 imagga 網路服務(1 小時)
4. Camera和 Webcam(1 小時)
5. 影像串流(3 小時)
- 使用 RTSP + H.264
- 使用 HTTP + MJPG

投影片我們已經放在 slideshare 上了。範例程式在 github 上了。
Raspberry Pi Camera + Python + OpenCV (Day1) from raspberrypi-tw

 

第二天是介紹 Raspberry Pi Camera + OpenCV。內容與時間如下:
1. 色彩空間與基本影像處理(2 小時)
- 色彩空間介紹
- 用 Python + OpenCV 做影像處理
2. 常用影像處理方法(3 小時)
- 平滑,侵蝕與膨脹
- 找邊緣與找直線
- 找重心與找輪廓
3. 機器學習應用與綜合練習(3 小時)
- 人臉偵測
- 圖形分類(手寫辨識)

其中,在第二天工作坊中的圖形分類(手寫辨識),我們參考了 Ashing’s Blog內容,裡面有許多不錯的自學心得。

投影片在 slideshare 上。範例程式在 github 上了。
Raspberry Pi Camera + Python + OpenCV (Day2) from raspberrypi-tw

[活動] Raspberry Pi社群聚會 #19 會後資料(特色相機技術與應用)

第十九次 Raspberry Pi 社群聚會會後資料,希望透過社群活動的分享和交流,找到更多 Raspberry Pi 的可能。本次主題是「特色相機技術與應用(Camera Technology and Application)」。過往資訊可看共筆


這次的活動有發放貼紙,要感謝 SZJapanese Raspberry Pi Users Group 的發起人 Masafumi Ohta 的幫忙。


活動還沒正式開始,就已經有很多人排隊簽到順便拿貼紙了。


今天第一場講者是義晶科技的 Aki。義晶科技做了第一台樹莓派的 360 相機,使用的 image sensor 是 OV10640。


由於樹莓派基金會的 GPU 目前只提供 OmniVision OV5647SONY IMX219 的 ISP 處理,但因為太多人有使用其他相機的需求,因此樹莓派基金會特別提供了一個 rawcam 的存取路徑。只要接上 MMAL 的 vc.ril.rawcam 的 component 就可以取得從 CSI-2 吐出的 raw 檔。更多資訊請參考論壇資訊
因此,使用非官方相機的資料存取路徑,就會是使用 rawcam 的存取路徑:Sensor => CPU memory => copy to GPU memory => GPU process,速度會比標準的存取路徑:Sensor => CPU memory => GPU process 慢了一些。


因為 360 相機是由兩個超過 180 度的魚眼相機所組成,因此如果直接取回 raw 並顯示可以看到兩個鏡頭各別的魚眼畫面結果,這樣的速度是最快。


如果需要將兩個魚眼畫面結果縫合成一張全景圖(Panorama),那還要透過 GPU 的運算後就會慢一些。


如果搭配 Live555 這樣的 RTSP Server,我們就可以將相機畫面轉成 RTSP 的串流。如果再註冊一個 youtube 的帳號,就可以用 360 相機開直播了,把樹莓派當作 Pi 360 直播盒。

AKi 的內容非常精實,如果有興趣的朋友們可以下載投影片。我們很快也會將這款 360 相機上架

 

Raspberry Pi特色相機介紹(熱成像攝影機+微距相機) from raspberrypi-tw


我們第一個展示的是熱成像相機的原理與應用,使用的是 FLIR Lepton LWIR Camera,小小一個鏡頭和橡皮擦差不多的大小卻價格驚人!


熱成像相機根據讀取到的不同波長的紅外線,透過波長與溫度的轉換,將溫度用色彩的方式轉成三維矩陣後回傳。因此我們可以看到溫度從白到黃到紅到紫到黑,顏色越深代表溫度越低。
熱成像相機的能量取得是靠紅外線的熱輻射,因此不受白天、晚上、煙霧、下雨等天候影響,過去是用在軍事上偵測敵人使用。


轉到商用上,就可以用在人型辨識或是人數計算等應用,但會需要透過影像處理的手法才能得到準確的結果。我們也展示了使用 Canny 邊緣偵測的方式,來得到人形邊緣結果。


我們第二個展示是使用微距相機搭配 OCR 做工業檢測,這源自於我們需要快速取得板子上的料號,希望能透過自動畫得方式進行光學文字辨識,並將結果儲存起來做為日後備料使用。
OCR 能使用的技術很多,我們是使用 Pytesseract 這套 Tesseract-OCR 的 wrapper。

 

相機與影像處理是 Raspberry Pi 的特色與強項,我們也會持續發展相關應用。下半年我們會有寵物小車二代,是一個結合行動+影像+機器人架構的專案。

歡迎大家來參加社群聚會,相關活動我們都會在網頁facebook 公告,如果有主題想分享也請來信 service AT raspberrypi.com.tw。

[產品] GPIO 遊戲機學習套件

gpio-game-console-starter-kit

《特色》
- 由淺入深,從 20 個實驗介紹 “數位/類比 x 輸入/輸出”
- Raspberry Pi 工作坊 #1#2#3#4 使用教材

《規格》
- 1K 電阻(1/4W)x5, 2K 電阻(1/4W)x5
- 5mm 紅色/黃色/綠色 LEDx2
- 大按鍵開關(顏色隨機)x4
- 滾珠(傾斜)開關x1
- 自激式蜂鳴器x1, 他激式蜂鳴器x1
- HC-SR501 人體紅外感應模組(PIR)x1
- MCP3008 直插式 SPI 協議 8 通道數位類比轉換 ICx1
- 光敏電阻x1
- 雙軸 XY 搖桿x1
- HC-SR04 超音波感測器x1
- 20pin 公對公排線(20cm)x1, 20pin 公對母排線(20cm)x1, 20pin 母對母排線(20cm)x1
- 830 洞紅藍線大麵包板x1
- 16m/m 可變電阻 10Kx1
- 180mm(W) x 85mm(D) x 45mm(H) 元件收納盒
- 元件對照表

《教學》
用Raspberry Pi學GPIO – 自己做遊戲機 from raspberrypi-tw

《下載》
* 投影片
* 範例程式

$ 600

※若無法使用Paypal購買,請到 這裡 填寫表單購買,造成您的不便敬請見諒。