background preloader

Kinect reference

Facebook Twitter

NUI

Feeling the Kinect Effect - The Official Microsoft Blog – News and Perspectives from Microsoft. When Microsoft launched Kinect for Xbox 360 one year ago this week, our initial focus was controller-free games and entertainment. Once only the stuff of science fiction, Kinect became a phenomenon across the globe. Within the first 60 days, Kinect sold more than 8 million sensors, setting the Guinness Book World Record as the fastest-selling consumer electronics device. It extended the realm of what’s possible for a traditional gaming console and changed the Interactive Entertainment Business at Microsoft, bringing new categories of consumers to Xbox 360. We knew we had a hit in gaming and entertainment on our hands. After all, we’d been testing it and playing games ourselves for a while, so we knew what magic felt like. We also knew that we were delivering a platform, one that was bigger than the living room, and bound only by the imagination and ingenuity of the world… which is to say, the sky was the limit.

So, what’s next?

Microsoft HoloDesk: when you need to juggle something that isn't

Kinect for Windows 開發社群大會課程內容 « Heresy's Space. 微软增强现实 AR 项目, Microsoft HoloDesk,用手可以操作电脑里的3D球. 时间:2011-10-22 18:42 作者: CharlesZuo 点击: 评论0 TechFrom科技源 10.22日,微软公司的团队通过博客公布了一个最新的增强现实AR 产品, via 。 HoloDesk 可以让真实的双手来 操作三维虚拟图像。 视频演示中 可以用手抓起一个小球,从真实的纸滑到真实的杯子里。 这一技术之前在概念产品中出现过,如手掌使用一个虚拟影像手机等。 难道很快就能成为现实? 微软 Microsoft HoloDesk 的官方部分说明, I won’t attempt to describe what it does in great detail, except to say that with Holodesk you can manipulate 3-D, virtual images with your hands.

HoloDesk 是微软最近在自然用户界面(NUI)的一个项目,在未来就会得到广泛的应用,如在棋盘游戏等,属于增强现实 AR 技术。 另外,微软 还有 OmniTouch 和 PocketTouch 等项目,都非常酷。 XBOX360 微软展示Kinect新技术 可与3D虚拟物体互动 - 电玩巴士. Kinectsdk + openni/nite at the same time - Google 網上論壇. Links - MMD Model Database. PMD Model Downloads - Miku Miku Beat. General Discussion—Kinect for Windows SDK 論壇.

Mikudance.info. Visual C# 2010 Express | Microsoft Visual Studio. VIML. 前一篇文章有大概介紹過微軟的 Kinect 這個新東西了∼它的深度攝影機、以及他的衍伸應用,在最近也算是已經被發揚光大,應用非常多了。 而這一篇呢,就來簡單講一下,要怎樣才能把 Kinect 裝到 PC 上,在 Windows 作業系統下使用吧∼ 基本上,Kinect 的訊號接頭雖然是特殊的 XBox 360 AUX 接頭,但是它實際上只是標準 USB 加上額外的電源而已;同時,在台灣買到的標準配件裡,也有附上把 AUX 接頭轉為 USB + 電源的線,所以要把 Kinect 接到 PC 上,並不需要做任何硬體、線路上的修改。 下方左圖就是他的 AUX 接頭,而下方右圖就是官方附的轉接線,可以把 AUX 接頭轉換成一個標準 USB 接頭和一個電源插座。 但是由於微軟官方並沒有提供給 Windows 用的驅動程式,所以直接接上去後,是沒辦法直接使用的。 而 Heresy 這邊是採用 OpenNI 這個架構來做的。 OpenNIOpenNI 的基礎 Framework。

而當這些東西都準備好後,接下來就可以來安裝了! OK,到這邊為止如果都正確無誤的話,基本上就是代表整個 Kinect + OpenNI 的環境都架設成功了! 接下來,來玩點比較有趣的吧! Miku Miku Dance(簡稱 MMD,英文官方網站、維基百科介紹)這套軟體是基於要製作 Vocaloid 的初音未來(維基百科)的跳舞影片而發展出來的軟體∼而目前的最新版本,也已經可以支援使用 Kinect + OpenNI 來擷取、錄製動作了! 要做到這件事,首先是要先按照上面的步驟,確定 Kinect 和 OpenNI 都可以正常運作。 在 MMD 中使用 Kinect 的簡易教學,大概就先講到這裡了。 而目前看來,要拿 Kinect 來做這類型的應用,可能還有幾個問題要處理: OpenNI 目前能透過 NITE 抓到的人體骨架精細度有限。 Oliver Kreylos' Research and Development Homepage. Candescent.ch. 體感技術研討會參加感想 « Heresy's Space. 經過老闆的許可,昨天應 PrimeSense 員工的邀請,跑去參加了之前介紹過的「體感技術研討會暨體感創新應用聯盟成立」。 到了會場開始後,發現參加的人比 Heresy 預期的多了不少;據說報名的人數有 600 多人、而現在座位有 400 多人左右、基本上幾乎是坐滿的。 而整個場面很正式、規模也不小。

媒體記者也不少,不過基本上,大頭和媒體大概都是第一個節目結束後就離開了。 Heresy 自己本來是有自己報名了(反正免費),但是沒想到到了會場後聯絡了邀請 Heresy 的人,才發現自己除了有標示著「Heresy」的名牌外(自己是用中文姓名報的),居然有「貴賓保留席」可以坐耶~ XD 位置相當的前面,就在第二排,Heresy 還是第一次在這種研討會坐這麼前面。 :p 下面是一些參加的感想。 工研院(官網) 主要應該是想推動一個定義好的平台、介面以及服務。 華碩(官網) 這場活動基本上應該就算是華碩的主場,他主要是想要推廣自家的 Xtion PRO 和 Xtion Pro Live 這兩個 OpenNI 相容的硬體。 PrimeSense(官網) PrimeSense 是 Microsoft Kinect 和 ASUS Xtion Pro / Pro Live 的深度感應器的核心技術廠商。 德州儀器(TI、官網) 主要是在報告他們家的 DSP 用在這個領域上的優勢,在特定的應用下,可以比 Core 2 Duo T7200 或 ARM 來得更快、更有效率。 天工開物(官網) 應該算是一家以科技來做藝術呈現的廠商,還有另一家相關的公司叫做「故事巢」;有餐與台北花博的「夢想館」的建置,101 的 88 樓也有他們的作品。 森動數碼(官網) 大陸受邀而來的廠商。 甲尚科技(官網) 基本上,算是該公司「iClone 5」的產品簡介吧~ 他們主要的目標,是讓使用者快速建立 3D 影片(動新聞? 喬登數位美語(官網) Heresy 一開始覺得在這個場合、最不搭嘎的廠商,不過以實務來看,他們算做得滿認真的! 基本上,大概就這樣了。 聯盟目前主要應該就是華碩和工研院在推,不知道目前還有哪些成員。 大概就先這樣了~ 完整的相簿. 日本微軟Kinect SDK研討會. 「Kinect for Xbox 360」用於PC的SDK「Kinect for Windows SDK beta」舉辦了研討會「如何使用Kinect for Windows SDK」。 Kinect for Windows SDK是微軟2011年6月16日公開的。

在此次研討會上,日本微軟除了介紹SDK的概要和樣本代碼(Sample Code)並進行了現場演示外,還提到了富士軟體和Second Factory等公司利用SDK的案例。 Kinect SDK與OpenNI的差異 作為將Kinect用於PC的框架,除了純正的Kinect for Windows SDK外,微軟還擁有Kinect的距離圖像感測器開發商——以色列PrimeSense公司的開放原始碼「OpenNI」。 OpenNI定義的介面將用戶各關節的位置(骨架)識別和手勢識別功能等作為組件分離出來,使其可分別作為中介軟體流通。 另外,OpenNI「標配了擊打動作等多種手勢識別功能」(Second Factory),而Kinect for Windows SDK則沒有配備。 「Kinect不過是一款感測器。 能否實現在遊戲機上的識別功能? 目前的Kinect for Windows SDK只具備最基本的功能,而Xbox 360通過微軟的努力,已經實現了利用Kinect識別面部表情和手指動作(參閱本站報導)。

單是面向PC推出純正SDK就是一大進步,僅僅是基於骨架識別的動作捕捉用法就有望衍生出多種應用。 另外,在手勢識別研究中,圖案識別演算法一般採用「HMM(hidden Markov model,隱馬爾可夫模型)」等,但此次的研討會上並沒有提及這一話題。 關於Kinect for Windows SDK和OpenNI的差異,除了上一篇中介紹的之外還有以下幾點。 OpenNI的優點除了上一篇中提到的標配手勢識別功能外,還包括(1)在未識別身體整體骨架的狀態下也可以識別手,因此「即使坐著也能識別手的動作」(Second Factory);(2)Kinect for Windows SDK的距離圖像可輸出85cm~400cm範圍的距離,而OpenNI即使是85cm以內的物體也能獲得距離,等等。 可連接2台Kinect Kinect for Windows SDK可連接2台Kinect。 最多可區分7名用戶 過度使用傾斜機構會發生異常. OpenNI / Kinect 相關文章目錄 « Heresy's Space. Kinect 的軟體開發方案:OpenNI 簡介 « Heresy's Space. 之前已經介紹過了微軟給 XBox 360 用的體感輸入裝置 Kinect 了;後來也陸續介紹了怎麼樣在 Windows 上,透過 OpenNI 來使用 Kinect 作一些應用(文章一、文章二)。 而接下來則是準備往技術面,來介紹一下,要怎麼樣用 C++ 來使用 OpenNI 了~不過這一篇,則是在進入到程式的部分前,先大概介紹一下 OpenNI 這個 Framework 的基本架構了。 OpenNI 簡介 首先,什麼是 OpenNI? 他是「Open Natural Interaction」的縮寫,大致上可以翻譯為「開放式自然操作」;而所謂的 NI 又包含哪些東西呢? OpenNI 本身則是定義了撰寫自然操作程式所需要的 API,提供一個多語言(主要是 C/C++)、跨平台的 framework;藉此提供了一個標準的介面,讓程式開發者要使用視覺、聲音相關感應器,以及對於這些資料、分析的中介軟體(middleware)時,可以更為方便。

下方則是 OpenNI 的基本架構圖: 上面的架構圖基本上分為三層,最上層是應用程式(Application),也就是我們這些程式開發者自己要撰寫的部分;最下方的一層則是硬體的部分,目前 OpenNI 支援的硬體,包含了:3D Sensor、RGB Camera、IR Camera、Audio Device 這四類。 而中間這層就是 OpenNI 的部分,他除了負責和硬體的溝通外,也在自身內部預留了加上中介軟體(middleware)的空間,可以用來做手勢辨識、或是追蹤之類的處理。 全身分析(Full body analysis)由感應器取得的資料,產生身體的相關資訊,例如關節、相對位置與角度、質心等等。 目前 PrimeSense 也已經提供了一套 NITE 當作最主要的 middleware、提供上面所列的功能;而如果有更進階的需求的話,應該也可以自己寫一套相容於 OpenNI 的 middleware 來使用。 節點(Node) 在 OpenNI 裡,他定義了所謂的「Production Node」來代表內部的基本單元,包括了硬體部分的感應器,以及 OpenNI 所提供的功能;這些 production node 分為下面三大類/層: 上面這些 Production Node 基本上都是會由不同的模組各自實作的。

能力(Capability) 讓 OpenNI 可以透過微軟 Kinect SDK 讀取 Kinect 的資料! « Heresy's Space. 針對使用 OpenNI 來進行 Kinect 的程式開發,Heresy 已經寫了好幾篇文章了;不過,基本上在一開始,Kinect 要能接到 PC 上讓 OpenNI 使用,主要就是要靠 SensorKinect(網站)這個第三方開發的驅動程式才可以。 而之前,微軟也終於推出了官方的 Beta 版 Kinect for Windows SDK(以下簡稱 MS SDK),讓大家可以用官方的 SDK、驅動程式來進行開發、使用了! 雖然兩者在功能上有些差異(功能差異請參考《微軟版 Kinect SDK Beta 版推出!》 一文),不過也算是有兩個不同的選擇了。

不過由於安裝了微軟版的 MS SDK 後,Kinect 的驅動程式也必須使用微軟版的,所以連帶的也代表 OpenNI 會因為沒有抓到 SensorKinect 而沒辦法使用了… 那如果想要同時使用 MS SDK 和 OpenNI 的話,該怎麼辦呢? 沒關係,目前已經有網路上的強者,藉著 OpenNI 的開放架構的特性,使用 MS SDK、寫出 OpenNI 能使用的模組了! Kinect-mssdk-openni-bridge 簡介 詳細的資料可以參考 Google Group 上的《kinectsdk + openni/nite at the same time》這個討論串。 對於一般人來說,如果沒打算去研究他的程式怎麼寫,只是想使用的話,只要下載「release」資料夾內的「kinect-mssdk-openni-bridge-0.0.zip」這個檔案(網頁)就可以了~ 目前「kinect-mssdk-openni-bridge」的版本(內部編號是 0.0.0.1),它主要是透過 MS SDK、實作了 OpenNI 的 Depth Generator、Image Generator 以及 User Generator 這三種 Production Node;這樣一來,在 OpenNI 裡只要使用這些 node,就可以不透過 SensorKinect,而是透過 MS SDK、來讀取 Kinect 的資料了! 安裝 kinect-mssdk-openni-bridge 測試與使用 修改 XML 設定檔 小結 附註. Kinect for Windows SDK from Microsoft Research. 不只玩遊戲,微軟 Kinect for Windows 推出 PC 的多種應用. 微軟在21日舉辦了 Kinect for Windows SDK 釋出後的第一波應用軟體開發成果展,展示教育、醫療、3D動畫三領域可以如何應用 Kinect 的全身體感技術。

以後你也可以用 Kinect 擷取自已的動作,然後處理成 3D 動畫了。 Kinect在PC上的應用軟體其實並不稀奇,但是官方版的Kinect應用軟體就夠稀奇了。 發表會上,微軟就確切的展示了一些軟體開發者所設計的新應用,希望大家對Kinect的印象除了「Kinect for Xbox 360」,還加上一個「Kinect for Windows」。 ▲從這張圖可以看出微軟的雄心,希望Kinect能廣泛應用在企業應用、醫療復健、影音動畫、教育娛樂上。 ▲而這一切都奠基在Kinect超過千萬台的銷售量上,這也是明顯優於市場上另一家強推體感周邊--華碩WAVI XTION的地方。 會場實際展示的應用有用於復健治療的體感系統,以及3D動畫製作系統,其中復健治療的體感系統概念,讓筆者想到Wii還正熱門的時候,國外有老人安養院引進讓老人家玩一下Wii Sports的保齡球,活動一下筋骨,如果日後這種復健軟體普及化,在家就可以透過PC跟Kinect做復健。 ▲這套復健系統是由中央大學跟榮總合作開發,除了搭配一個Kinect,使用者還需要帶上一個虛擬實境眼鏡,眼中看到的就是畫面中的影像。 3D動畫系統則看起來會相當類似壹動畫的製作方式,透過Kinect擷取人體動作後,就能立刻套用在3D模型上動作,只要預先設計好背景跟人物細節,就可以很快的完成一個3D動畫。 ▲這套軟體由甲尚資訊設計,Kinect捕捉人體動作後立刻反應在螢幕上。 這場會議,雖然微軟定名為分享會,但實際比較像是宣示他們有一個相當有前景的設備,想要軟體商、硬體商一起來合作推廣。 ▲除了會場展示的軟體,展示影片中還有幾個實作案例,只是裡面的用Kinect操作Excel,看起來好累喔... 延伸閱讀: Asus WAVI Xtion:我不是山寨 Kinect E3 2011微軟:Kinect 加入聲控功能,Halo 系列繼續搶錢 用 Kinect 操作 PC,玩遊戲、看照片、播簡報. Kinect for Windows 開發.

10 分鐘 Kinect for Windows 應用入門 看看別人的創意應用 Kinect for Windows SDK Beta 應用條款摘要: 2011 年 6 月所提供下載的 SDK 為 Beta 版,目前提供用於 non-commercial (非商業用途),例如:研究、展示、開發測試、教學用途;也可以此 SDK 進行教學、以 blog 等型式進行分享或透過為人寫 AP 收費,亦可先行以此 SDK 開發未來作為商業使用的應用程式。 詳細條款說明,請參考 SDK 下載網站及 EULA 說明。 Kinect for Windows 開發 - 邊做邊學 曹祖聖 jimycao@syset.com Kinect 體感遊戲在Xbox 360 上獲得極高的好評,但是對於 Windows 平台上的開發卻一直只能使用非官方的解決方案,例如 NKinect ( 配合CL NUI SDK ( 2011 年 6 月推出了 Kinect for Windows SDK Beta,特別是可以使用 C# 與.NET Framework 4.0 來進行開發,這對 .NET 開發人員來說無疑是 2011 年最好的消息了。 Kinect for Windows SDK : 本篇文章將詳細的介紹在 Windows 7 上開發 Kinect 應用程式所需要的一切知識,包含硬體原理、開發環境安裝、SDK 的使用與 API 呼叫方式,相信可以協助你一步一步的進入 Kinect 神奇的開發領域。

一、Kinect 硬體與原理介紹 Kinect 感應器可以取得以下三種資訊: 彩色影像 (透過中間那顆 RGB 鏡頭)3D 深度影像 (透過左右兩顆鏡頭) 紅外線發射器和紅外線 CMOS 攝影機聲音 (透過陣列式麥克風) Kinect 也支援追焦功能,底座馬達會隨著焦點人物而轉動 Kinect 方向 (左右各 28 度),下表是 Kinect 的詳細規格: 二、Kinect 開發環境安裝與設定 安裝 Kinect For Windows SDK 的步驟: 例如: Kinect for Xbox 360最快11月底台灣上市. 試玩╱搶先體驗Kinect 一窺基本介紹 | 單機平台遊戲 | 電玩達人. 【文/巴哈姆特編輯部報導】 【影音試玩】搶先體驗 Kinect 帶玩家一窺基本介紹以及 Kinect 大冒險 Xbox 360 身控體感周邊「Kinect for Xbox 360」將於 11 月 20 日在台推出,編輯部搶先取得 Kinect 先行體驗,以下為實際遊玩 Kinect 的影音試玩影片供玩家作為參考。 「Kinect for Xbox 360」是微軟採用 PrimeSense 技術所設計的動作捕捉周邊,結合傳統 2D 可見光全彩攝影與嶄新 3D 紅外線測距攝影,藉以分析掌握玩家的位置、身形與動作,再搭配 4 組高感度麥克風陣列,讓玩家可以透過最直覺的身體動作和語音來進行操控。 【建議撥放後點選 720P 高畫質模式,全螢幕觀看】 《Kinect 大冒險(Kinect Adventures)》則為一款泛舟遊戲,收錄基本賽道與障礙賽,最多支援 4 位玩家進行。 兩人一組的賽道模式裡,需分工控制方向和掌舵兩種動作,藉由跳躍進入特殊區域時可獲得額外點數。 【Kinect 感應器 +《Kinect 大冒險》遊戲同梱組】 供已經擁有 Xbox 360 主機的玩家選購的 Kinect 感應器與遊戲同梱組,包含 Kinect 感應器 1 組與收錄多種 Kinect 體感小遊戲的《Kinect 大冒險》遊戲 1 套,價格 5490 元。 【Xbox 360 4GB 主機 + Kinect 感應器 +《Kinect 大冒險》遊戲同梱組】 供新加入 Xbox 360 世界的玩家選購的 Kinect 感應器與主機遊戲同梱組,包含輕薄化的新型 Xbox 360 4GB 主機 1 台(內建 4GB 快閃記憶體儲存空間,不含硬碟機)、Kinect 感應器 1 組與收錄多種 Kinect 體感小遊戲的《Kinect 大冒險》遊戲 1 套,價格 10360 元。

Xbox 360 身控體感周邊「Kinect for Xbox 360」將於 11 月 20 日在台推出。 「Kinect for Xbox 360」官方網頁更多原文圖片連結 【更多電玩新聞請看《巴哈姆特電玩資訊站》】 传微软确有意参与收购雅虎:或将出资数十亿美元_互联网.