Microsoft Visual Studio .NET 2003 Microsoft DirectX 9.0 SDK (December 2004) シェーダーモデル 2.0 |
■サーモグラフィーシェーダー | Prev Top Next |
関連ページ:なし |
今回もやっぱり簡単なやつで。サーモグラフィーシェーダーというものをやります。 元ネタもやっぱり前回と同じく「GAME Watch」のネタです。
サーモグラフィーは物体から放射される赤外線を分析し熱分布を表した画像のことです。ようするに物体の温度が把握できるということです。 ナイトスコープの場合、完全な暗闇では真っ暗なままになりますが、サーモグラフィーは人間のように熱を発散しているものであれば認識することができます。
左側が普通にレンダリングしたサンプルです。右側がサーモグラフィーシェーダーを使用したサンプルです。
サーモグラフィーっぽいと思います。
次に処理フローです。
1.オブジェクトの温度を温度マップに出力する。
2.温度マップ、サーモグラフィーマップ、ノイズマップを参照し、最終的な色を出力する。
もうちょっと詳しく解説します。
●1について
オブジェクトごとに割り当てられる温度の分布を書き込んだテクスチャー(温度マップ)を使用してレンダリングします。ちなみにトラではこんなテクスチャーを使用しています。
右の画像が温度マップです。足とか尻尾を暗めにしているのは体に比べて温度が低いかなと思ったからです。まあサンプルではちょっと下げすぎかもしれないですが。
●2について
この段階はポストエフェクトとなります。1で作成したシーン全体の温度の分布を書き込んだ温度マップを参照し、
取得した色のR成分をテクセルのTV成分としてサーモグラフィーマップをさらに参照し色を決定します。
ちなみにサーモグラフィーマップ(熱分布マップ)はこんな感じの画像です。
一般的なイメージと上下が逆転していますが、これはテクセルの位置が[0.0f]が上、[1.0f]が下になっているためです。
さらにノイズマップを参照し、いろいろ小細工します。R成分とG成分を使用します。
さてソースを見ていきます。
---Thermography.fx---
float4x4 m_WVPP; //ワールド行列 × ビュー × 遠近射影行列 float4 m_EyePos; //視点ベクトル float m_TexelOffset; //ノイズマップのテクセルの参照位置のオフセット値の調整値 sampler tex0 : register(s0); //Pass0:オブジェクトの温度テクスチャー Pass1:温度マップ sampler tex1 : register(s1); //Pass1:サーモグラフィーテクスチャー sampler tex2 : register(s2); //Pass2:ノイズマップテクスチャー(R成分:ノイズ、G成分:揺らぎ) //サーモグラフィーを適応する struct VS1_OUTPUT { float4 Pos : POSITION; float2 Tex : TEXCOORD0; float4 Eye : TEXCOORD1; float4 Normal : TEXCOORD2; }; VS1_OUTPUT VS1( float4 Pos : POSITION, float4 Normal : NORMAL, float2 Tex : TEXCOORD0 ) { VS1_OUTPUT Out; Out.Pos = mul( Pos, m_WVPP ); Out.Tex = Tex; Out.Eye = normalize( m_EyePos - Pos ); Out.Normal = Normal; return Out; } float4 PS1( VS1_OUTPUT In ) : COLOR0 { float4 Out; //視線と法線との内積を計算する //全体的に1.0fに近づくように調整を行っている float d = max( 0.0f, dot( normalize( In.Normal ), normalize( In.Eye ) ) ) * 0.5f + 0.5f; //温度情報を出力する Out = tex2D( tex0, In.Tex ).r * d; return Out; } //ノイズを適応する struct VS2_OUTPUT { float4 Pos : POSITION; float2 Tex : TEXCOORD0; }; VS2_OUTPUT VS2( float4 Pos : POSITION, float4 Normal : NORMAL, float2 Tex : TEXCOORD0 ) { VS2_OUTPUT Out; Out.Pos = Pos; Out.Tex = Tex; return Out; } float4 PS2( VS2_OUTPUT In ) : COLOR0 { float4 Out; //ノイズマップの色を取得 float4 Noise = tex2D( tex2, In.Tex ); //温度マップからサーモグラフィーテクスチャーの参照位置を取得 //ただしノイズマップのG成分を参照し、参照するテクセル位置を任意にずらしている float tu = tex2D( tex0, In.Tex + ( Noise.g - 0.5f ) * m_TexelOffset ).r; //温度情報を元にサーモグラフィーテクスチャーを参照し最終色を取得する //ノイズマップのR成分の値によりテクセル位置を調整している Out = tex2D( tex1, float2( 0.0f, tu * Noise.r ) ); return Out; } technique TShader { pass P0 { VertexShader = compile vs_1_1 VS1(); PixelShader = compile ps_2_0 PS1(); } pass P1 { VertexShader = compile vs_1_1 VS2(); PixelShader = compile ps_2_0 PS2(); } }
サーモグラフィーシェーダーです。パス0で温度マップを作成し、パス1で作成した温度マップをもとにサーモグラフィーを適応します。いろいろ小細工してます。
---Thermography.h---
//D3D2DSQUAREはスクリーン全体をおおう2Dオブジェクト(表面化散乱(Subsurface Scattering) ページ参照) class THERMOGRAPHY : public D3D2DSQUARE { private: LPD3DXEFFECT m_pEffect; D3DXHANDLE m_pTechnique, m_pWVPP, m_pEyePos, m_pTexelOffset; D3DXMATRIX m_matView, m_matProj; LPDIRECT3DDEVICE9 m_pd3dDevice; public: THERMOGRAPHY( LPDIRECT3DDEVICE9 pd3dDevice, D3DPRESENT_PARAMETERS* pd3dParameters ); ~THERMOGRAPHY(); void Invalidate(); void Restore(); HRESULT Load(); //Step1はパス0で使用する関数群 void Step1Begin(); void Step1BeginPass(); void Step1SetMatrix( D3DXMATRIX* pMatWorld, D3DXVECTOR4* pCameraPos ); void Step1EndPass(); void Step1End(); //Step2はパス1で使用する関数群 void Step2Render( float TexelOffset ); void CommitChanges(); BOOL IsOK(); LPD3DXEFFECT GetEffect(){ return m_pEffect; }; };
---Thermography.cpp---
THERMOGRAPHY::THERMOGRAPHY( LPDIRECT3DDEVICE9 pd3dDevice, D3DPRESENT_PARAMETERS* pd3dParameters ) : D3D2DSQUARE( pd3dDevice, pd3dParameters ) { m_pd3dDevice = pd3dDevice; m_pEffect = NULL; } THERMOGRAPHY::~THERMOGRAPHY() { SafeRelease( m_pEffect ); } void THERMOGRAPHY::Invalidate() { if( m_pEffect ) m_pEffect->OnLostDevice(); } void THERMOGRAPHY::Restore() { if( m_pEffect ) m_pEffect->OnResetDevice(); } HRESULT THERMOGRAPHY::Load() { D3DCAPS9 caps; m_pd3dDevice->GetDeviceCaps( &caps ); if( caps.VertexShaderVersion >= D3DVS_VERSION( 1, 1 ) && caps.PixelShaderVersion >= D3DPS_VERSION( 2, 0 ) ) { HRESULT hr = D3D2DSQUARE::Load(); if( FAILED( hr ) ) return -1; LPD3DXBUFFER pErr = NULL; hr = D3DXCreateEffectFromFile( m_pd3dDevice, _T("Thermography.fx"), NULL, NULL, 0, NULL, &m_pEffect, &pErr ); if( SUCCEEDED( hr ) ) { m_pTechnique = m_pEffect->GetTechniqueByName( "TShader" ); m_pWVPP = m_pEffect->GetParameterByName( NULL, "m_WVPP" ); m_pEyePos = m_pEffect->GetParameterByName( NULL, "m_EyePos" ); m_pTexelOffset = m_pEffect->GetParameterByName( NULL, "m_TexelOffset" ); m_pEffect->SetTechnique( m_pTechnique ); } else return -2; } else return -3; return S_OK; } void THERMOGRAPHY::Step1Begin() { if( m_pEffect ) { m_pd3dDevice->GetTransform( D3DTS_VIEW, &m_matView ); m_pd3dDevice->GetTransform( D3DTS_PROJECTION, &m_matProj ); m_pEffect->Begin( NULL, 0 ); } } void THERMOGRAPHY::Step1BeginPass() { if( m_pEffect ) { m_pEffect->BeginPass( 0 ); } } //ローカル座標系 void THERMOGRAPHY::Step1SetMatrix( D3DXMATRIX* pMatWorld, D3DXVECTOR4* pCameraPos ) { if( m_pEffect ) { D3DXMATRIX m; D3DXVECTOR4 v; m = (*pMatWorld) * m_matView * m_matProj; m_pEffect->SetMatrix( m_pWVPP, &m ); //カメラ位置 m = (*pMatWorld) * m_matView; D3DXMatrixInverse( &m, NULL, &m ); D3DXVec4Transform( &v, pCameraPos, &m ); m_pEffect->SetVector( m_pEyePos, &v ); } else m_pd3dDevice->SetTransform( D3DTS_WORLD, pMatWorld ); } void THERMOGRAPHY::Step1EndPass() { if( m_pEffect ) { m_pEffect->EndPass(); } } void THERMOGRAPHY::Step1End() { if( m_pEffect ) { m_pEffect->End(); } } void THERMOGRAPHY::Step2Render( float TexelOffset ) { if( m_pEffect ) { m_pEffect->SetFloat( m_pTexelOffset, TexelOffset ); m_pEffect->Begin( NULL, 0 ); m_pEffect->BeginPass(1); D3D2DSQUARE::Render(); m_pEffect->EndPass(); m_pEffect->End(); } } void THERMOGRAPHY::CommitChanges() { if( m_pEffect ) m_pEffect->CommitChanges(); } BOOL THERMOGRAPHY::IsOK() { if( m_pEffect ) return TRUE; return FALSE; }
サーモグラフィーシェーダークラスです。Step1〜となっている関数はパス0つまり温度マップの作成時に使用する関数です。 Step2〜となっている関数はパス1つまりサーモグラフィーを適応するときに使用する関数です。
---Main.cpp---
LPDIRECT3D9 m_pdirect3d9 = NULL; LPDIRECT3DDEVICE9 m_pd3dDevice = NULL; D3DPRESENT_PARAMETERS m_d3dParameters; D3DCAPS9 Caps; //シーンのメッシュ //DirectX SDK(December 2004) に添付されているDXUTMesh.cppファイルにあるヘルパークラス群 CDXUTMesh* m_pMeshBack = NULL; CDXUTMesh* m_pMeshSun = NULL; CDXUTMesh* m_pMeshTiger = NULL; //2Dオブジェクト(表面化散乱(Subsurface Scattering) ページ参照) D3D2DSQUARE* m_pSquObj = NULL; //サーモグラフィーシェーダークラスの宣言 THERMOGRAPHY* m_pThermography = NULL; //シーンのレンダリングイメージ用サーフェイス LPDIRECT3DTEXTURE9 m_pColorTexture = NULL; LPDIRECT3DSURFACE9 m_pColorSurface = NULL; //サーモグラフィーテクスチャー LPDIRECT3DTEXTURE9 m_pThermographyTexture = NULL; //ノイズマップテクスチャー LPDIRECT3DTEXTURE9 m_pNoiseMapTexture = NULL; //スクリーンの解像度 UINT nWidth = 1024; UINT nHeight = 768; //太陽の位置ベクトル //光源の位置はカメラの視線方向にある D3DXVECTOR4 LightPos = D3DXVECTOR4( 100.0f, 100.0f, -700.0f, 1.0f ); //平行光源の光の方向ベクトル D3DXVECTOR4 LightDir; //視点の位置ベクトル D3DXVECTOR4 EyePos = D3DXVECTOR4( 0.0f, 0.0f, 0.0f, 1.0f ); bool RenderOK = false; int APIENTRY WinMain( HINSTANCE hInstance, HINSTANCE /*hPrevInstance*/, LPSTR /*lpCmpLine*/, INT /*nCmdShow*/) { char* AppName = "Tutrial"; MSG msg; ZeroMemory(&msg, sizeof(MSG)); HWND hWnd = NULL; WNDCLASSEX wc; wc.cbSize = sizeof(WNDCLASSEX); wc.style = CS_VREDRAW | CS_HREDRAW; wc.lpfnWndProc = (WNDPROC)WndProc; wc.cbClsExtra = 0; wc.cbWndExtra = sizeof(DWORD); wc.hCursor = LoadCursor(NULL, IDC_ARROW); wc.hIcon = NULL; wc.hIconSm = NULL; wc.lpszMenuName = NULL; wc.lpszClassName = AppName; wc.hbrBackground = (HBRUSH)GetStockObject( BLACK_BRUSH ); wc.hInstance = hInstance; RegisterClassEx(&wc); //**************************************************************** //ここでウィンドウの作成処理 //**************************************************************** //**************************************************************** //ここでDirect3Dの初期化を行う。 //**************************************************************** m_pd3dDevice->GetDeviceCaps(&Caps); //サーモグラフィーシェーダークラスの初期化 m_pThermography = new THERMOGRAPHY( m_pd3dDevice, &m_d3dParameters ); m_pThermography->Load(); //2Dオブジェクトのロード m_pSquObj = new D3D2DSQUARE( m_pd3dDevice, &m_d3dParameters ); m_pSquObj->Load(); //メッシュのロード //背景 m_pMeshBack = new CDXUTMesh(); m_pMeshBack->Create( m_pd3dDevice, _T("res\\back.x") ); m_pMeshBack->SetFVF( m_pd3dDevice, D3DFVF_XYZ | D3DFVF_NORMAL | D3DFVF_TEX1 ); //太陽 m_pMeshSun = new CDXUTMesh(); m_pMeshSun->Create( m_pd3dDevice, _T("res\\sun.x") ); m_pMeshSun->SetFVF( m_pd3dDevice, D3DFVF_XYZ | D3DFVF_NORMAL | D3DFVF_TEX1 ); //トラ m_pMeshTiger = new CDXUTMesh(); m_pMeshTiger->Create( m_pd3dDevice, _T("res\\tiger.x") ); m_pMeshTiger->SetFVF( m_pd3dDevice, D3DFVF_XYZ | D3DFVF_NORMAL | D3DFVF_TEX1 ); //サーモグラフィーの温度テクスチャーの初期化 D3DXCreateTextureFromFileEx( m_pd3dDevice, _T("res\\Thermography.bmp"), //ファイル名 D3DX_DEFAULT, //幅 D3DX_DEFAULT, //高さ 1, //ミップマップレベル 0, //テクスチャーの使用目的 D3DFMT_UNKNOWN, //フォーマット D3DPOOL_MANAGED, //メモリ管理方法 D3DX_DEFAULT, //フィルタリング方法 D3DX_DEFAULT, //フィルタリング方法 0x0, //カラーキー NULL, //ファイルの情報を格納する構造体 NULL, //256色パレットを示す構造体 &m_pThermographyTexture ); //IDirect3DTexture9 インターフェイス //ノイズマップテクスチャーの初期化 D3DXCreateTextureFromFileEx( m_pd3dDevice, _T("res\\NoiseMap.bmp"), //ファイル名 D3DX_DEFAULT, //幅 D3DX_DEFAULT, //高さ 1, //ミップマップレベル 0, //テクスチャーの使用目的 D3DFMT_UNKNOWN, //フォーマット D3DPOOL_MANAGED, //メモリ管理方法 D3DX_DEFAULT, //フィルタリング方法 D3DX_DEFAULT, //フィルタリング方法 0x0, //カラーキー NULL, //ファイルの情報を格納する構造体 NULL, //256色パレットを示す構造体 &m_pNoiseMapTexture ); //IDirect3DTexture9 インターフェイス //平行光源の位置ベクトルから方向ベクトルを計算する LightDir = D3DXVECTOR4( -LightPos.x, -LightPos.y, -LightPos.z, 0.0f ); D3DXVec3Normalize( (D3DXVECTOR3*)&LightDir, (D3DXVECTOR3*)&LightDir ); RenderOK = true; //デバイス消失後にリストアする必要があるオブジェクトの初期化 Restore(); ::ShowWindow(hWnd, SW_SHOW); ::UpdateWindow(hWnd); do { if( ::PeekMessage( &msg, 0, 0, 0, PM_REMOVE ) ) { ::TranslateMessage(&msg); ::DispatchMessage(&msg); } else { if( MainLoop(hWnd) == FALSE ) ::DestroyWindow( hWnd ); } }while( msg.message != WM_QUIT ); ::UnregisterClass( AppName, hInstance ); return msg.wParam; } //デバイスのリセット前に開放すべきオブジェクト void Invalidate() { m_pThermography->Invalidate(); SafeRelease( m_pColorSurface ); SafeRelease( m_pColorTexture ); } //デバイスのリセット後に初期化すべきオブジェクト void Restore() { m_pThermography->Restore(); m_pd3dDevice->CreateTexture( nWidth, nHeight, 1, D3DUSAGE_RENDERTARGET, D3DFMT_A8R8G8B8, D3DPOOL_DEFAULT, &m_pColorTexture, NULL ); m_pColorTexture->GetSurfaceLevel( 0, &m_pColorSurface ); //固定機能パイプラインライティングを設定する D3DLIGHT9 Light; ZeroMemory(&Light, sizeof(D3DLIGHT9)); Light.Type = D3DLIGHT_DIRECTIONAL; Light.Direction = D3DXVECTOR3( LightDir.x, LightDir.y, LightDir.z ); Light.Ambient = D3DXCOLOR( 1.0f, 1.0f, 1.0f, 1.0f ); Light.Diffuse = D3DXCOLOR( 1.0f, 1.0f, 1.0f, 1.0f ); Light.Specular = D3DXCOLOR( 0.0f, 0.0f, 0.0f, 0.0f ); m_pd3dDevice->SetLight(0, &Light); m_pd3dDevice->LightEnable(0, TRUE); D3DMATERIAL9 Material; ZeroMemory( &Material, sizeof( Material ) ); Material.Diffuse.r = 1.0f; Material.Diffuse.g = 1.0f; Material.Diffuse.b = 1.0f; Material.Diffuse.a = 1.0f; m_pd3dDevice->SetMaterial( &Material ); } //メッセージループからコールされる関数 BOOL MainLoop( HWND HWnd ) { HRESULT hr; //レンダリング不可能 if( RenderOK == false ) { hr = m_pd3dDevice->TestCooperativeLevel(); switch( hr ) { //デバイスは消失しているがReset可能 case D3DERR_DEVICENOTRESET: //開放 Invalidate(); //デバイスをリセットする hr = m_pd3dDevice->Reset( &m_d3dParameters ); switch( hr ) { //デバイスロスト case D3DERR_DEVICELOST: break; //内部ドライバーエラー case D3DERR_DRIVERINTERNALERROR: return FALSE; break; //メソッドの呼び出しが無効です case D3DERR_INVALIDCALL: return FALSE; break; case S_OK: //初期化 Restore(); RenderOK = true; } break; } } //レンダリング可能 else { D3DXMATRIX matWVP, matPProj, matView, matWorld, matRotation, matScaling, matTranslation, matTiger; //遠近射影座標変換 //クリップ面はアプリケーションごとに調整すること D3DXMatrixPerspectiveFovLH( &matPProj, D3DX_PI/4.0f, 4.0f / 3.0f, 30.0f, 700.0f ); m_pd3dDevice->SetTransform( D3DTS_PROJECTION, &matPProj ); //ビュー座標変換 D3DXMatrixIdentity( &matView ); m_pd3dDevice->SetTransform( D3DTS_VIEW, &matView ); //トラのワールド行列 D3DXMatrixRotationY( &matRotation, D3DXToRadian( 45.0f ) ); D3DXMatrixScaling( &matScaling, 50.0f, 50.0f, 50.0f ); D3DXMatrixTranslation( &matTranslation, 0.0f, 80.0f, 400.0f ); matTiger = matScaling * matRotation * matTranslation; m_pd3dDevice->SetSamplerState( 0, D3DSAMP_MINFILTER, D3DTEXF_LINEAR ); m_pd3dDevice->SetSamplerState( 0, D3DSAMP_MAGFILTER, D3DTEXF_LINEAR ); m_pd3dDevice->SetSamplerState( 0, D3DSAMP_MIPFILTER, D3DTEXF_NONE ); m_pd3dDevice->SetSamplerState( 1, D3DSAMP_MINFILTER, D3DTEXF_LINEAR ); m_pd3dDevice->SetSamplerState( 1, D3DSAMP_MAGFILTER, D3DTEXF_LINEAR ); m_pd3dDevice->SetSamplerState( 1, D3DSAMP_MIPFILTER, D3DTEXF_NONE ); m_pd3dDevice->SetSamplerState( 2, D3DSAMP_MINFILTER, D3DTEXF_LINEAR ); m_pd3dDevice->SetSamplerState( 2, D3DSAMP_MAGFILTER, D3DTEXF_LINEAR ); m_pd3dDevice->SetSamplerState( 2, D3DSAMP_MIPFILTER, D3DTEXF_NONE ); m_pd3dDevice->BeginScene(); //**************************************************************** //ステップ1 : 温度マップの作成 //**************************************************************** LPDIRECT3DSURFACE9 OldSurface = NULL; m_pd3dDevice->GetRenderTarget( 0, &OldSurface ); m_pd3dDevice->SetRenderTarget( 0, m_pColorSurface ); m_pd3dDevice->Clear( 0L, NULL, D3DCLEAR_TARGET | D3DCLEAR_ZBUFFER, 0x00000000, 1.0f, 0L ); //背景レンダリング m_pThermography->Step1Begin(); D3DXMatrixIdentity( &matWorld ); m_pThermography->Step1SetMatrix( &matWorld, &EyePos ); m_pd3dDevice->SetTexture( 0, m_pMeshBack->m_pTextures[0] ); m_pThermography->Step1BeginPass(); m_pMeshBack->m_pLocalMesh->DrawSubset( 0 ); m_pThermography->Step1EndPass(); //トラ m_pThermography->Step1SetMatrix( &matTiger, &EyePos ); m_pd3dDevice->SetTexture( 0, m_pMeshTiger->m_pTextures[0] ); m_pThermography->Step1BeginPass(); m_pMeshTiger->m_pLocalMesh->DrawSubset( 0 ); m_pThermography->Step1EndPass(); //空レンダリング D3DXMatrixIdentity( &matWorld ); m_pThermography->Step1SetMatrix( &matWorld, &EyePos ); m_pd3dDevice->SetTexture( 0, m_pMeshBack->m_pTextures[1] ); m_pThermography->Step1BeginPass(); m_pMeshBack->m_pLocalMesh->DrawSubset( 1 ); m_pThermography->Step1EndPass(); m_pThermography->Step1End(); m_pd3dDevice->SetRenderTarget( 0, OldSurface ); SafeRelease( OldSurface ); //**************************************************************** //ステップ2 : サーモグラフィーの適応 //**************************************************************** m_pd3dDevice->SetSamplerState( 0, D3DSAMP_ADDRESSU, D3DTADDRESS_CLAMP ); m_pd3dDevice->SetSamplerState( 0, D3DSAMP_ADDRESSV, D3DTADDRESS_CLAMP ); m_pd3dDevice->SetRenderState( D3DRS_ZWRITEENABLE, FALSE ); //温度マップ m_pd3dDevice->SetTexture( 0, m_pColorTexture ); //サーモグラフィーテクスチャー m_pd3dDevice->SetTexture( 1, m_pThermographyTexture ); //ノイズマップテクスチャー m_pd3dDevice->SetTexture( 2, m_pNoiseMapTexture ); //サーモグラフィーシェーダーを適応する //引数にテクセルのオフセット値の調整値を設定する m_pThermography->Step2Render( 0.02f ); m_pd3dDevice->SetRenderState( D3DRS_ZWRITEENABLE, TRUE ); m_pd3dDevice->SetTexture( 1, NULL ); m_pd3dDevice->SetTexture( 2, NULL ); m_pd3dDevice->SetSamplerState( 0, D3DSAMP_ADDRESSU, D3DTADDRESS_WRAP ); m_pd3dDevice->SetSamplerState( 0, D3DSAMP_ADDRESSV, D3DTADDRESS_WRAP ); m_pd3dDevice->EndScene(); hr = m_pd3dDevice->Present( NULL, NULL, NULL, NULL ); //デバイスロストのチェック switch( hr ) { //デバイスロスト case D3DERR_DEVICELOST: RenderOK = false; break; //内部ドライバーエラー case D3DERR_DRIVERINTERNALERROR: return FALSE; break; //メソッドの呼び出しが無効です case D3DERR_INVALIDCALL: return FALSE; break; } } return TRUE; }
以上です。ステップ1の処理で各オブジェクトのレンダリングで使用しているテクスチャーは温度マップに差し替えています。