釣堀.net

マーカーレスAR技術「PTAM」をDVカメラで動作させてみる

PTAMとはオックスフォード大学のGeorg Kleinらによって研究・開発されたプログラムで、3D空間のマッピングとその空間内に3DCGを合成するものです。

言葉で説明するより見たほうがわかりやすいので以下の動画をどうぞ。

今回はこの動画に掲載されている一部の動作（マッピングと3DサンプルCGの表示）のコードが公開されたようなので試してみることにしました。

今回使用した環境

• WindowsXP Professional SP3
• Visual C++ 2005 (Microsoft Visual Studio 2005 Academic Edition)

必要なもの

• IEEE1394のカメラ（WebカメラやDVカメラでも可能ですが、作業量が増えます。）
• PTAM.zip(Licence and Download Linkリンクの中にあります。名前、所属、E-mailアドレスを入力後ライセンスに従える場合のみチェックボックスを入れてからダウンロードボタンを押してください。)
• glew-1.5.0-win32.zip
• shared-libs.zipとheaders.tar.gz
• 1394camera645_src.zip
• pthreads-w32-2-8-0-release.exe
• jpeg-6b-4.exe
• fltk-2.0.x-r6305.tar.bz2
• CVS経由で「TooN」
• CVS経由で「libcvd」
• CVS経由で「gvars3」

1. PTAM(PTAM.zip)を解凍する。
2. GLEW(glew-1.5.0-win32.zip)を解凍し、以下のデータを指定されたフォルダへ移動。
   bin/glew32.dllをWindows/system32へ。
   lib/glew32.libを{VC Root}/Libへ。
   include/GL/glew.hを{VC Root}/Include/GLへ。
   include/GL/wglew.hを{VC Root}/Include/GLへ。
   {VC Root}とはVisual Studio のVisual Cフォルダです。（VC2005なら「C:\Program Files\Microsoft Visual Studio 8\VC」などです。）
3. shared-libs.zipを解凍する。
   blas_win32.dllとlapack_win32.dllをWindows/system32へ。
   blas_win32.libとlapack_win32.libを{VC Root}/Libへ。
   headers.tar.gzを解凍する。
   lapackとblasのディレクトリを{VC Root}/Include/へ。（ディレクトリの中に入っているものではなくディレクトリごとです。）
4. 1394camera645_src.zipを解凍する。
   1394cameraフォルダに入っている「1394camera.sln」を開いてコンパイル。
   生成されたdllファイルをWindows/system32へ。
   生成されたlibファイルを{VC Root}/Libへ。
   1394cameraディレクトリのヘッダーファイル(～.h)はすべて{VC Root}/Includeへ。
5. pthreads-w32-2-8-0-release.exeを実行。3つのディレクトリがでてくる。
   生成されたディレクトリのPre-built.2/includeに入っているsemaphore.h、sched.h、pthread.hの3つのファイルを、{VC Root}/Includeへ。
   生成されたディレクトリのPre-built.2/libに入っているlibファイルとAファイル（～.a）ファイルをすべて{VC Root}/Libへ
   のこりのdllファイルをすべてWindows/system32へ。
6. jpeg-6b-4.exeは実行、インストール。
   VisualC++でインストールした場所(C:/Program Files/GnuWin32/includeとC:/Program Files/GnuWin32/lib)にパスを通します。パスの通し方
7. fltk-2.0.x-r6305.tar.bz2を解凍する。
   fltk-2.0.x-r6305フォルダの中のfltkディレクトリを{VC Root}/Includeへ。（ディレクトリの中に入っているものではなくディレクトリごとです。）
8. CVSを使ってTooN、libcvd、gvars3をダウンロードします。
   コマンドプロンプトから以下のコマンドを順に打って取得します。
   # cvs -z3 -d:pserver:anonymous@cvs.savannah.nongnu.org:/sources/toon co -D “Fri Sep 5 15:20:31 BST 2008″ TooN
   # cvs -z3 -d:pserver:anonymous@cvs.savannah.nongnu.org:/sources/libcvd co -D “Fri Sep 5 15:20:31 BST 2008″ libcvd
   # cvs -z3 -d:pserver:anonymous@cvs.savannah.nongnu.org:/sources/libcvd co -D “Fri Sep 5 15:20:31 BST 2008″ gvars3
   
9. TooNディレクトリを{VC Root}/Includeへ。（ディレクトリの中に入っているものではなくディレクトリごとです。）
10. libcvd/build/vc2005ディレクトリ中に入っている「libcvd.sln」開いてコンパイル。
    コンパイル後、libcvd/libディレクトリ中にlibファイルが生成されるのでそれを{VC Root}/Libへ。
    libcvd/cvdディレクトリを{VC Root}/Includeへ。（ディレクトリの中に入っているものではなくディレクトリごとです。）
11. gvars3/build/vc2005ディレクトリ中の「gvars3.sln」を開いてコンパイル。
    gvars3/libフォルダに生成された2つのlibファイルを{VC Root}/Libへ。
    gvars3/gvars3フォルダをまるごと{VC Root}/Includeへ。（ディレクトリの中に入っているものではなくディレクトリごとです。）

1. PTAM/Build/Win32の中のPTAM.sln、PTAM.vcproj、CameraCalibrator.vcproj、VideoSource_Win32_CMU1394.ccをPTAMディレクトリへ。
2. 先ほどコピーしたPTAMディレクトリ中の「PTAM.sln」を開いてコンパイル。
3. PTAMディレクトリ中に入っているcalib_pattern.pdfをプリンター等で印刷します。
   
   「CameraCalibrator.exe」にてキャリブレーションを行います。 やり方は上の動画を見ればわかると思いますが、「GrabFrame」をクリックして先ほど印刷した画像（calib_pattern.pdf）を3枚以上撮影します。動画のようにアングルを変えて撮影すると良いです。
   「Optimize」をクリックするとキャリブレーションが行われます。うまくいけばそのまま「save」をクリックして終了します。これで「camera.cfg」が生成されます。
4. 「PTAM.exe」を実行。スペースバーを押してカメラをゆっくりとよこにずらすことで平面が生成されます。
   「DrawAR」をクリックすると目玉（開発チームのトレードマークらしいです）が出現し、「ViewMap」をクリックするとでカメラ位置、特徴点位置の3Dマップが表示されます。

「IEEEカメラ・・・？もってねーよ！」という方にお勧めなのが「USBカメラで動作させる」という方法。工学ナビさんからソースがでています。

工学ナビの中の人の研究と周辺 研究者Xの献身

「中の人ブログ用ファイル置き場」 ＞ PTAM for Webcam ＞ PTAM_webcam.zip

EWCLIBも必要です。

●使い方

• EWCLIB (http://www.geocities.jp/in_subaru/ewclib/index.html) のページから
  EWCLIB ver.1.2 をダウンロード．ewclib.h をソースフォルダに入れる．
• PTAMにもともと同梱されている VideoSource.h の代わりに
  このフォルダに同梱されている VideoSource.h を使う．
• PTAMにもともと同梱されている VideoSource_Win32_CMU1394.cc の代わりに
  このフォルダに同梱されている VideoSource_Win32_EWCLIB.cc を使う．
• 祈る．

USBカメラで実際に使用したところ私のUSBがあまりに性能が悪いのか、キャリブレーションの動きが悪いです。 (原因は他だと後で分かったのですが。)それにUSBカメラのコードがそこまで長くなく不便なのでDVカメラを使って みることに。

さて、動作させようと思ったのですが、「ewclib.h」にて問題がでてきたようで、

VIDEOINFOHEADER *vh = (VIDEOINFOHEADER*)ewc_pmt[i]->pbFormat; vh->bmiHeader.biWidth =ewc_wx[i];//これと vh->bmiHeader.biHeight=ewc_wy[i];//これにエラーが vh->AvgTimePerFrame= (REFERENCE_TIME)floor((10000000.0/fps+0.5)); hr=ewc_pConfig->SetFormat(ewc_pmt[i]); if(hr!=S_OK){errcode=11; goto fin;}

vh->bmiHeader.biWidthとvh->bmiHeader.biHeightの値を変更し、SetFormatを実行すると見事に変数hrがエラーを受け取ってエラーコード11に飛んでいたので動作してくれませんでした。

VIDEOINFOHEADERに関する情報を色々と調べたのですがこれといった改善方法を見つけることができず。ここでカメラの画面サイズを変えないと、最終的にPTAMに表示される映像がメチャクチャなものになってしまいます。 というわけで、ここの部分はとりあえず直接手を下すしてみることに。

VideoSourceにはVideoSource::GetAndFillFrameBWandRGBというカメラから受け取ったデータをimRGB変数に格納する関数があり、この変数が 最終的にPTAMプログラム本体の方で使用されるようなので、こっちを書き換えてみることに。

void VideoSource::GetAndFillFrameBWandRGB(Image<CVD::byte> &imBW, Image<CVD::Rgb<CVD::byte> > &imRGB) { EWC_GetImage(0, m_buffer); unsigned char* pImage = m_buffer; BasicImage<CVD::byte> imCaptured(pImage, mirSize); imRGB.resize(mirSize); imBW.resize(mirSize); for (int y=0; y<mirSize.y; y++) { for (int x=0; x<mirSize.x; x++) { imRGB[y][x].blue = *pImage; pImage++; imRGB[y][x].green = *pImage; imBW[y][x] = *pImage; pImage++; imRGB[y][x].red = *pImage; pImage++; } } }

初期状態はこれです。

void VideoSource::GetAndFillFrameBWandRGB(Image<CVD::byte> &imBW, Image<CVD::Rgb<CVD::byte> > &imRGB) { EWC_GetImage(0, m_buffer); unsigned char* pImage = m_buffer; BasicImage<CVD::byte> imCaptured(pImage, mirSize); imRGB.resize(mirSize); imBW.resize(mirSize); for (int y=0; y<mirSize.y; y++) { for (int x=0; x < 720; x++) { if(x > mirSize.x){ pImage += 79 * 3; break; }; imRGB[y][x].blue = *pImage; pImage++; imRGB[y][x].green = *pImage; imBW[y][x] = *pImage; pImage++; imRGB[y][x].red = *pImage; pImage++; } } }

とりあえずテストでこのように書き換えました。（この書き方はもろ速度的にどーのこーのですが・・） 。これによりDVカメラの右端部分が切れるものの表示可能となりました。

というわけで私の環境でもとりあえず動作することが確認できました。

今回の状態ではとにかく動作が遅いのでどーにかこーにか対策していきたいと思います。

マーカレスAR（PTAM）のソースコードを動かしてみた(WindowsXP VisualC++) | happymeme

Cagylogic: PTAMのコードが公開されたので、試してみた。

Cagylogic: VS2008だとPTAMがうまく動かない

工学ナビの中の人の研究と周辺 あのマーカレスARの研究がついにソース公開！