更新日時:2008年 5月 15日 木曜日 - 5:01 PM
画像処理について  (2007.07.08)(2008.01.24更新) 
 
 
 
画像処理について紹介する。
コンピュータとCCDカメラの発達により、デジタル画像が身近なものになり、計測分野に果たす役割も大きくなった。
計測分野での画像処理の役割について触れたいと思う。
このコンテンツは、Adove GoLive6.0で制作しています。
 
 
     
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
  
 

 

    

   

■ 画像処理とは(Image Data Processing)

粒子を撮影した画像から粒径と頻度を自動的に求める。
画像処理では基本的な処理方法。
 画像処理とは、カメラやスキャナーなどから得た画像を加工して、欲しい画像情報を抽出する手法を言う。
画像に含まれる興味ある情報を抽出するために、興味のない画像を排除することが画像処理の基本的な手法である。
 画像処理の簡単な方法は、得られた画像を手で書き写す方法がある。欲しい画像だけを書き留めるだけでよい。銀塩フィルムの場合は、現像や焼き込みを通して欲しい画像を得ることがある。これらの手法はアナログ手法である。
 デジタル画像処理は、画像を「画素」(Pixel = Picture Element)と呼ぶ単位に区分けすることから始まる。この言葉は、1965年に公になった言葉で、米国NASAが火星に探査衛星を送り込み画像を地球に送って来た画像に対して使い出したようである。(詳細は、「最初の画像処理 - 米国NASAによる火星探査」を参照。)画像を点画のように分解してコンピュータにかけて処理したのはNASAが初めてだったようである。デジタル画像の根本単位は、画素 = Pixel だけかと言うとそうでもなくak間1967年に米国マサチューセッツ工科大学のWilliam F. Schreiberは、「Pel」(= Picture element)が良いと学会で発表した。しかし、これは一派的にならなかった。時代は、Pixelを選んだようである。
 昨今のデジタルカメラはすでに画素単位で画像を保存しているので、デジタル画像になっている。画素単位で濃度処理をすることがデジタル画像処理である。
 
【画素と濃度】
 デジタル画像処理の第一歩は、画像を画素という情報単位に区分けすることから始まる。画像を構成する画素数は、基本的に多ければ細かな画像処理ができる。
画素は、画像の基本単位であり、画像の位置情報と濃度情報を持っている。
つまり、デジタル画像は、
 
   (Xi、Yj、Dij)  ・・・(IDP1)
      Xi: X方向の画素の位置
      Yj: Y方向の画素の位置
      Dij: X,Yの交点の濃度情報
 
で示される座標情報と濃度情報で構築されたデジタル情報となる。
画像が、X = 640、Y = 480、D = 256という範囲で区分けされている場合、その画像は、
 
  640 x 480 =307,200画素  ・・・(IDP2)
 
で構成され、それぞれ256階調(8ビット)の濃度情報が当てられる。画像がカラーである場合は、濃度情報がさらにRBG(赤、青、緑)に分けられてそれぞれの色に対する濃度が割り当てられる。
 
   (Xi、Yj、DRij、DGij、DBij)  ・・・(IDP3)
      Xi: X方向の画素の位置
      Yj: Y方向の画素の位置
      DRij: X,Yの交点の赤色濃度情報
      DGij: X,Yの交点の緑色濃度情報
      DBij: X,Yの交点の青色濃度情報
 
さらに、映画カメラや計測カメラ、高速度カメラのようにたくさんの画像を取得して動画像を得る場合、画像に時間情報が加わるので、
 
   (Xi、Yj、DRij、DGij、DBij、Tn)  ・・・(IDP4)
      Xi: X方向の画素の位置
      Yj: Y方向の画素の位置
      DRij: X,Yの交点の赤色濃度情報
      DGij: X,Yの交点の緑色濃度情報
      DBij: X,Yの交点の青色濃度情報
      Tn: 時間情報 = フレーム番号/撮影速度
 
5つの次元情報を持つことになる。
 
【画像の情報量】
 従って、640 x 480画素、カラー24ビットの画像は、1枚あたり921.6KB( = キロバイト)の情報量を持つ。
 
    640画素 x 480画素 x 3RGB = 921.6KB  ・・・(IDP5)
         KB: キロバイト =1000バイトを示す。1000バイトは8000ビットに相当する。
 
 この容量は、1990年代までのパソコンの一般的な記録媒体(3.5型フロッピーディスク、1.4MB)の1枚分に匹敵するもので、画像を扱うことがどれほど大変なことかがこの容量を見ただけで理解できる。3.5型マイクロフロッピーディスクは、1セクタ=512Bを約45ミリ秒かけてアクセスするので、921.6KBのデータは、
 
    45E-3 x 921,600バイト/512バイト = 81   ・・・(IDP6)
 
となり、81秒(1分21秒)かかる。(実際にはセクターをアクセスしなければならないのでシークタイムがかかり、これより長くなる。) このことからも、1990年代の画像処理は(というより画像を扱うことは)時間のかかることであったことが理解できる。
 1秒間に30枚を撮影するVGA(640x480画素)カメラは、1秒間当たり27.65MBのデータ量となる。これが1分では1.66GBとなり、1時間では99.5GBのデータ量となる。このような動画像をまともにデジタル録画すると、4.7GB容量のDVDを使っても、3分弱の録画しかできない計算になる。このため、デジタル画像処理の進んでいなかった2000年までは、映像と言えばテレビ放送で使われているアナログビデオ信号(NTSC、RS170信号)が主流であった。アナログ映像機器の方が種類が豊富で安価に入手できたのである。デジタル映像は、コンピュータの処理能力の向上にともなって、さらにRAM、CD、DVDなどの記録媒体の高速化大容量化や画像の圧縮技術の確立によって花開いた。
 現在では、大容量の画像データをまともに扱うことはない。ほとんどの場合、画像の圧縮を行っている。画像の圧縮も一種の画像処理手法である。しかし、本Webでは、主催者の意図するところではないので(圧縮は計測手段としてではなく、画像通信、画像保存の観点から進化してきたので)あまり深くは触れない。
 画像圧縮は、ともすると原画像に大幅な手が加えられ、解析上にとっては好ましくないことがある。例をとれば、MPEGという圧縮技術である。これは動画に対する圧縮技術である。原理を簡単に説明すると、正常な画像は飛び飛びにしか与えられておらず、その間の画像は補間という形で画像が作られる。例えるならば、1秒間に30枚を再生する動画の内1/10だけをまともな一枚の画像(キーフレーム)として、残りの9/10の画像はキーフレームからの変化分だけを情報として保存する方式としている。この方式の動画では、細かな動きは捨てられてしまう可能性がある。従って、このような手法による画像は、静止画を隅から隅まで見る画像解析では支障が出る場合がある。
 
 コンピュータが発達していなかった1980年までは、画像処理を行うのに専用の処理装置が用いられていたが、2000年以後コンピュータの処理能力の向上に伴って専用の画像処理装置を使わずにコンピュータそのもので処理できるようになった。2000年以前のパソコンでは到底不可能と言われながら現在は普通の技術になった画像技術に以下のものがある。
 
   ・インターネットによる動画配信。
   ・1000画素x1000画素の画像のインターネット配信。
   ・640画素x480画素の動画(30コマ/秒)を直接コンピュータに録画。
   ・インターネットによるテレビ会議(Skype)。
   ・ギガイーサネットによる画像通信、及びイーサネットカメラによるコンピュータへの直接録画。
 
これらの技術は、ハードウェアの高速化・大容量化もさることながら、画像を軽くするという圧縮技術の発達も見逃すことができない。画像圧縮技術の恩恵なくして、インターネットの映像配信も、DVD映画も、デジタル地上放送の確立もあり得なかった。
  
【画像の基本処理】
 計測用として使われる画像処理の最も代表的なものは、二値化処理である。二値化処理は、画像を白と黒だけの情報にして形状をシンプルな線画に置き換えて、物体の形状や大きさ、数などを求める手法である。この処理は、粒子計測や流体計測、物体の形状認識に使われた。
二値化処理を行うのは、処理装置に対する負荷が軽減でき処理時間を短縮できるためであった。最近では処理装置の性能が上がったので、濃度階調をそのまま保持して処理することが一般的になった。一般に濃度情報が大きいほど計測精度が向上する。
二値化画像処理のサンプル。
左図は原画像。
下図は、原画像を二値化処理したもの。
使用した画像処理ソフトウェアは、ImageJ。
原画像は、8ビット(0〜255階調)の濃度を持っている。
二値化処理は、任意の階調で黒と白の二つに分けて白か黒かの1ビット画像にする。
二値化画像は、画像を極端な濃淡像で識別化してしまうため、画像形状がわかりやすくなる反面、詳細な画像の情報(ディテール)がなくなる。処理は楽になる。
ImageJでは、二値化処理を行う場合、左のような操作パネルが表れる。
この操作パネルは、二値化処理だけでなく、コントラストや明るさ調整もできる。
「Thresh」というボタンを押すことにより、二値化処理となる。
操作パネル上部のヒストグラム図が元画像の濃淡像の分布図であり、縦の直線が二値化を行うしきい値である。しきい値はカーソルで変更することができる。
 
 
【画像処理の代表例】
画像処理の代表的なものを以下に挙げる。
白黒濃淡画像に色をつける処理。Pseudoカラー(疑似カラーと呼ばれる。)
斜め投影撮影画像(上)を変換処理した画像(下)
使用ソフトウェア: GraphicConverter ver.5.9
 
  ・画像に色をつける - 画像の濃度に応じて色をつけ、濃淡の差違を
             判別しやすくする。
             海面の温度差を色をつけて表示し、温度分布
             を見る。
             密度の変化を濃度変化として撮影し、これに
             色をつける。
  ・画像パターンの認識をする - テンプレート画像(原画像)と対象
             画像を重ね合わせ、その差違を検出する。
             電子基板の回路パターンの不具合を見つける。
             液晶プロジェクタの画素欠陥を見つける。
             製品の仕上がり形状を検査する。部品のバリ、
             寸法の差違の検査を行う。
  ・歪んだ形状を正しく直す - 斜めから撮影した画像を正しい投影像
             に変換する。
             レンズの歪みを補正する。
  ・地球表面を調べる(リモートセンシング) - 衛星からの画像や航
             空写真を使って地表面の資源、海上面の温度、
             建造物の識別を行う。植物の生態を調べる。
             露天鉱物を調べる。海の汚染を調べる。
  ・地図を作成する - 航空写真から地形を作成する。
  ・発光物体の計測をする - 恒星の温度を波長の違う画像から求める。
             太陽の温度をいくつかの異なった波長画像から
             求める。高温の金属温度を計測する。
  ・流れの可視化 - 特殊な光源(レーザライトシート、シュリーレン)
             やトレーサを使って流体の速度や方向を解析す
             る。
  ・機構研究 - 機構部品の動きを解析する。部品の間接部にターゲッ
             トマークを貼付し、マークを自動的に読み込ん
             で(トラッキングして)変位や角度、速度など
             を求める。
  ・粒子解析 - 粒子の大きさと頻度を画像から求める。
  ・噴霧解析 - 高速で噴出する噴霧の到達距離、噴霧角度、噴霧密
             度、噴霧粒径などを画像から求める。
  ・寸法測定 - テレセントリックレンズを用いて被写体の寸法を画像
             から測定する。
  ・運動解析 - スポーツ選手の運動を計測カメラを使って解析する。
  ・競技判定 - F1レース、100m走、水泳競技、競馬などの着順を画
             像によって判定する。
  ・安全評価試験 - 自動車衝突試験、エアバッグ展開試験、ロケット
             発射安全試験、
             チャイルドシート、ブレーキ挙動試験など各種
             安全試験の解析。
 
 
 
 
 
 
【最初の画像処理 - 米国NASAによる火星探査】  (2007.07.16)(2007.07.22追記)
 世界で最初に大々的にデジタル画像処理を行ったのは、米国NASA(JPL)である。
以下、当時行われた画像処理プロジェクトを紹介したい。
画像処理プロジェクトは、火星地表面の撮影とその画像処理から始まる。
 
● デジタル画像
 デジタル画像処理を最初に開発したのは米国JPLであり、1965年のことである。JPLは、正式名称を Jet Propulsion Labs (= ジェットプロパルジョンラボラトリーズ)と言い、NASAの研究組織として惑星の探査研究を受け持っている。この研究所は、カルフォルニア工科大学が中心となって研究運営がなされている。当時、デジタル画像処理を担当した開発責任者は、クレイトン・ラボー(Clayton LaBaw、1935年〜、当時30歳)氏であった。クレイトン氏は、マリナー4号(Mariner 4)のデジタル映像転送システムの設計にも携わりカメラの運用責任者でもあった。
 
● 三億キロ彼方からの画像伝送
 NASAでは、1962年11月に火星に探査船を送るプロジェクトを立ち上げた。「マリナー4号プロジェクト」と呼ばれたものである。総予算は、1億2500万ドル(当時の円レートで450億円)であった。 当時、全米では火星に生物が存在すると深く信じられていて、大統領はじめ全米が火星の様子を探るこのプロジェクトに大きな関心を寄せていた。マリナー4号は1964年11月に打ち上げられて、翌年1965年7月に火星軌道に入り、地上高6,000kmから地表面を200x200画素の解像力で撮影を行い合計22枚の画像を地球に送ってきた。この画像は火星表面の1%にあたるものであった。200x200画素の画像は、1画素あたり1kmに相当する200kmx200km範囲の画像であったが、地球から撮影して得た画像よりも150倍も良い分解能を持っていた。
 このプロジェクトの技術的チャレンジは、(1)火星地表を鮮明な画像を撮影することと、(2)得られた画像をデジタル信号に変換して遠く離れた地球に送り届けることであった。遠く離れた宇宙空間で画像データを送受信する通信技術は、これに先立つ1962年、金星に送り込んだマリナー2号のデータ通信で採用され実証された「Phased Locked Loop = PLL」という通信方式で目途が立っていた。PLLは、宇宙通信史上画期的な技術発明であった。これは、送り手と受け手の両方が原子時計のような非常に正確な時計を持って同期をとり、同期に合わせて「0」と「1」のデータ情報を送るものであった。二つの信号しか送らない、まさにデジタル通信であった。この技術をラボー氏らは画像通信に応用した。ラボー氏の最初の仕事は、このプロジェクトを遂行するにはデジタル通信システムが絶対必要であることをトップの人たちに認識させることだった。普通のアナログ・ビデオシステムは、すでに探査機「レンジャー」に乗って月に飛び、あるいは「タイロス」衛星に乗って地球軌道を回っていた。普通に考えればアナログ方式で問題ないと考えるのが当然だった。しかし今回は、地球周回や月などと違って桁外れの距離である。テクノロジーのスケールをそのまま相似的に当てはめるわけにはいかなかった。デジタルのシステムこそが画像データの超遠距離伝送を高い忠実度で実現してくれる唯一のシステムであると考えざるを得なかった。
 
【ルナ3号 Luna 3】
 宇宙から画像を送る試みは、マリナー4号が初めてではない。ソビエト連邦(USSR)が1959年10月4日に打ち上げたルナ3号は、月面の裏側を撮影して地球に画像を送ってきた最初の出来事である。マリナ−4号より6年も前のことである。このミッションでは、35mmフィルムカメラで撮影が行われ、衛星に積み込んだ現像機で自動現像を行った。そして、仕上がった銀塩画像をファクシミリのような機械(スキャナー)で読み取って衛星(ルナ3号)が月の表側に出てきたときに地球に送った。ルナ3号は、29枚の写真撮影を行ったうちの17枚の画像を送ってきた。人類が初めて見た月の裏側であった。当時は、デジタル信号の送信技術が確立していなかったので、フィルム画像を読み込むスキャナーの電気信号をそのまま増幅して地球に送信した。1画像を1000本の走査線で読み取ったと言われている。ルナ3号は、地球から月へ向かう軌道に乗って月の南極側から裏側に回り込み、40分かけて北極側を縦断する形ですり抜け月の裏側の70%相当を29枚の写真に収め、地球へ向かう軌道途上で撮影した写真を現像して地球に送信してきた。画像データは、地球に遠い距離の所では極めて低いデータ送信量で送信し地球に近づくにつれてデータ通信速度を上げたと言われている。Luna3号は、月と地球の周回軌道を回りながら地球に近づいた時に写真を送るという作業をしていたようで最終的に17枚の画像を送ってきた。10月8日に撮影された月の裏側写真は、10月18日までの10日間に渡って送信作業が行われたが、10月22日に交信が途絶えた。交信が途絶えたルナ3号は、そのまま周回軌道を重ね1960年4月頃まで生き延びてその後大気圏に落ちたと言われている。17枚の画像はアナログ信号であったので画質がひどく悪くノイズが多かったと言われている。ソビエトの科学者はこれを画像処理によってなんとかものになる画像にした。1960年当時、電子回路は真空管の時代であった。トランジスタは1960年代にアメリカで発達する。従ってソビエトではトランジスタの技術はないため、衛星に積み込まれた電子機器は真空管であった。
 
● 画像をデジタル信号に変換する仕組み
 火星探査衛星マリナー4号に搭載されたカメラは、フィルムカメラではなく、現像を行わない直接撮像のテレビカメラであった。カメラは、当時のテレビ局が最新のスタジオカメラ用として採用していた「ビジコン管」(Vidicon tube、撮像管、真空管)である。もちろん、白黒テレビであった。当時にはCCDなどの固体撮像素子もなかった。テレビ放送は、NTSC(アメリカと日本などが採用したテレビ放送規格。2011年までアナログ放送として使われる)と呼ばれるアナログ送信技術が規格化されていて、電子映像装置はすべてNTSC規格に準拠していた。従ってビジコン管は走査線525本の性能を持っていた。しかし、宇宙通信ではアナログ通信が行えないため、データの通信が確実におこなえるデジタル信号に置き換えなければならない。当時のデジタル通信では、525本の情報は多すぎて送信することができなかったので、ビジコン管の走査線を変更して200本と低くした。
 画像を形作る走査線は、光の強弱を電圧の強弱に変えたアナログ電気信号であるため、マリナー4号ではこのアナログ信号をA/D変換器(Analog Digital Converter)を使ってデジタル信号に変換した。A/D変換器は、トランジスタとコンデンサで組み合わせた電子回路で弁当箱程度の大きさであった。この装置によりカメラ画像を200x200画素、6ビット(64階調)濃度に変換した。ビジコンカメラがとらえた画像は、240kビット(30kB)のデジタル画像となった。このデジタル画像を1枚作るのに2.5秒かかった。A/D変換されたデジタル信号は、一旦、デジタル・テープレコーダに記録された。これの意味するところは、当時、たったこれだけのデータ情報を記録する電子メモリ(ICメモリ)がなかったことである。それ以上に200x200画素、それも64階調とお世辞にも高画質といえないデジタル画像を2.5秒かけてしか作れない当時のデジタル技術のレベルを見落としてはならない点であろう。デジタル画像は、まだ産声を上げたばかりであった。当時は、デジタル技術をささえる半導体製造技術が成熟していなかったのである。デジタル・テープレコーダが使われたのは、ビジコン管画像の撮像スピード(110Kbps)に対応できる通信速度が確保できなかった(当時のデジタル通信は8.33bpsが限界であった)ことと、火星の裏側に回り込んだ際に地球にデータが送信できない問題があり、データは一旦テープで保存して後でゆっくり送信する必要があったためであった。宇宙通信データも当時は1秒間に8ビットを送るのが精いっぱいであった。200x200画素のデータを地球に送るのに8時間もかかった。
 
● 火星から送られるデータを解析して火星の姿を推測
 火星から送られてきた画像データを画像処理する担当者は、ブルース・マーレー氏(Bruce Murray、1931年〜、当時34歳、のちカリフォルニア工科大学名誉教授・JPL = ジェット推進研究所所長)であった。火星から送られてきた数値データは、ブラウン管上に明暗の輝点として画像変換する「フィルムレコーダー」を使って8時間(8.33bps換算)かけて一枚の写真が作られた。小型の白黒モニタに1回に一本ずつ白い線が浮き出て、それの繰り返しによって画像を作っていった。
 最初に受信した画像は、真っ白な紙のようなものだった。要するに何も写っていないのと同じ画像であった。当時、全米は火星の写真を今か今かと待ちわびていたのでマスコミの取材攻勢が強かった。彼らはマスコミの追求を避けるため、研究所の最上階に隠れて分析の仕事を行った。部屋の外にはマスコミを近寄らせないよう、武装したガードマンが見張った。ドアには警報機さえついていた。そうした環境下で三日三晩不眠不休で火星から送られてきた画像データの解明にあたった。
 
● 画像処理
 研究チームは、火星から送られてきた画像データが真っ白な画像だったので、数値データでマッピングをすることを思いつき、画素一個一個の濃淡を数字として印字し、紙を走査線一本ごとに切り分けて数字の並んだ細長いテープを床に並べてつなげた。床の上では作業がしずらいので、テープの集合をカーテンのように壁に掛けた。1枚の絵は200本の走査線でできているから切り分けられた紙テープは200本になった。こうして出来上がった数字のマップを眺め回して、基準記号に相当する数値を見つけ出した。これは画像の歪みを補正するための記号で、いったんこれを見つけてこれを基準にして見ていくと、次第に画像全体の様子がつかめてきた。緩やかな丸みを帯びた領域らしきものを見て、彼らはこの画像が惑星の端の地平線を写したものではないかと気づいた。その想像が正しければ、惑星の外側には宇宙空間が広がっているはずであり、そこは明度でいえば暗闇であるはずだと考えた。暗闇ならばその数値は「0」のはずであったが、送られてきた数値は「24」だった。彼らにとって、暗闇が「24」の数字で表されているという発見こそが、苦悩と焦燥の三日間の中で最も光明を感じた瞬間だったに違いない。「24」は画像で言うところのバックグランドノイズであった。
 彼らはこれを手がかりに4万個のデータ(200x200画素)について全ての画素に渡って「24」を引く手計算を行い、濃度データを0から39までとした。カメラは、もともとは6ビットの64階調で設計されていたので、64階調のうちノイズ成分の24を引くと40階調、すなわち0〜39階調となる。5ビット程度の濃度階調ではとて暗い画像となるめ、コントラストを上げるためにこれらに1.6を掛けた。これら一連の作業がまさしく画像処理であった。彼らは、米国大統領を始め全米、全世界の人々の期待を背負いながらそのプレッシャーと闘い不眠不休でデジタル画像処理を開発して行ったと言える。
 
● 処理コンピュータ
 光明が見えだした手作業による作業手順は、直ちにコンピュータのプログラムに作り直されることになった。マリナー4号のグループが利用していたコンピュータは、米国DEC社(Digital Equipment Corporation、1957年創設、1998年Compaqに買収→2002年HPに買収)が製造した「PDP-4」(Programmable Data Processor 4型機)というミニコンピュータであった。このコンピュータは、学術計算用コンピュータとしては最高級に属するものであった。彼らは、最初これを利用して計算を行おうとしたが、当時の高性能コンピュータでさえ40,000個もの数字データ(240kビット)を扱う計算には荷が重すぎた。そのコンピュータに積まれたメモリは4000語(18ビットで4kwords = 9kB )しかなく、今回の処理に最低限必要な記憶容量の10分の1にも満たないものであった。
 そこで彼らは、画像データの数値を磁気テープに全て移して別棟にあるIBM科学計算用コンピュータ「7094」で処理しようと考え、マスコミの目を避けつつ密かにデータを運び込んだ。
 IBM「7094」は、1962年に開発された最新鋭のコンピュータで当時300万ドル(日本円で11億円)相当のものであった。このコンピュータは、SAGE(Semi Automatic Ground Environment: 半自動防空システム)開発のために作られた核分裂計算用スーパーコンピュータ「ストレッチ」の後継機であり、後に世界を席巻するIBM「システム360」のパイロットともいうべきコンピュータであった。当時、このコンピュータは最大級の大型コンピュータであり、大きな一次記憶装置を備えていた。しかも、アセンブリ言語という機械本位のプログラム言語しか使えない「PDP-4」と違って、当時、科学技術分野で広く使われていたFORTRANという人間が使う日常語に近いプログラム言語を使うこともできた。ラボー氏が見つけた画像処理法は、瞬く間にFORTRANを使った「7094」コンピュータで走るプログラムに書き直された。画像処理のプログラムはIBM「7094」に転写され、マリナー4号からのデータが入力され解析処理された。
 IBM 7094が当時最高性能だったとは言え、コンピュータは磁気テープによって起動するもの(今のようなハードディスクドライブではない)であり、データを入れるのも磁気テープを使った。これでも当時のパンチカード方式(max. 12ビットx80 = 960ビット/枚、読み取り速度10枚/秒)に比べれば格段に大容量で超高速であった。しかし、高性能と言っても、今のパソコンに比べてさえもその処理能力は「うさぎと亀」に等しいものであった。
 
● 火星の全貌の解明
 最初の写真がやっと良い画質になったとき、彼らが目を凝らして見ていた画像は火星の先端(地平線)であったことがはっきりした。マリナー4号からは画像が次々と送られてきていた。最初の三枚を受信してから三日後に報道関係者に火星の画像を公開した。ある画像には月面にそっくりなクレータが写っていた。大昔にできたクレータが現在まで現存するということは、火星にはそれを風化させたり浸食させたりする水も気体もなかったということを物語っていた。それこそが世紀の大発見であった。
 注意しなければならないのは、マリナー4号が送ってきた写真は火星の表面のほんの一部分だけをカバーしたいただけで、火星の全容を写しだしたものではないことである。後の1971年〜72年には、改良の進んだ高性能カメラ搭載の観測機が火星の軌道に乗り、今までとは全く違った火星表面を撮影し送ってきた。それは、月の表面とは全く異なった地表であった。太陽系の中で最も大きな火山の発見もした。また、太古の洪水で切り開かれた海峡らしき地形も発見し、極地では何百万年にもわたる気候の変化を暗示するような堆積層も発見した。
-  参考文献: 「新・電子立国 6巻 コンピュータ地球網」 相沢 洋、矢吹 寿秀、1997.3.20初版、日本放送協会
 
画像処理の基本。元画像のバックグランドにノイズが多いとき、バックグランドの平均値を全画素に渡って差し引く。1965年に、JPL(NASA研究機関)が最初に行った画像処理がこの処理であった。彼らはまた、バックグランドを差し引いたあと、コントラストを上げるために全画素に渡って1.6を乗じている。
このように、画像処理は、画素単位での数値演算処理が基本となる。二値化も色つけも、スムージングも、エッジエンハンスもすべて上記の手法(画像演算処理)が基本的な流れとなる。
 
 
 

■ 画像処理の流れと構成

▲ 機器構成
 画像処理を前提とした画像計測システムは、以下の構成品で成り立っている。
 
  1. 計測カメラ及びレンズ(高速度カメラ、
    高精度カメラ、顕微鏡、テレセントリ
    ックレンズ、等)
 計測カメラは、一般のデジタルカメラでも使用することができる。しかし、そうしたカメラから計測データを抽出する場合には、誤差の出ないようにカメラとレンズの性能を十分に考慮しなければならない。例えば、カメラは計測に耐えるだけの濃度情報を持つものであるとか、露出時間が正しく制御できるものであるとか、タイミング良く画像が得られる機能を持つものであるとか、レンズの歪みが十分にとれているか等を知っておく必要がある。
(参考URL 光と光の記録 - 記録編
  2. カメラ支持架台(三脚、ジャイロ、
    3軸ステージ)
 カメラを固定する台座は、しっかりとして強固なものでなければならない。振動などでカメラが揺動すると計測に影響する。拡大撮影では倍率が高くなるので撮影画像の揺れが特に大きくなる。必要に応じてカメラ位置を微調整する光学微動ステージが使われる。
  3. 光源(太陽光、LED、キセノンストロボ、レーザ、等)
 光源は、短時間露光での撮影にパルス光源を使用したり、高輝度光源を使用する。また、ライトシートによる流れの可視化撮影を行う場合にはレーザ光を使う。光源は、画像計測の役割が大きい大切な計測装置の要素である。
(参考URL  光と光の記録 - 光編
  4. 画像取り込み装置(画像ボード、Image Capture Board)
 画像ボードは、計測カメラから送られてくる画像データをコンピュータに取り込む仲立ちをするためのもの、すなわちインターフェースである。画像ボードは、通常デスクトップの拡張ボードに差し込んで使われる。ノートパソコンを使う場合は、PCMCIAカード型のボードを差し込んで使う。ノートパソコンはコンパクトで使い勝手が良い反面、バスの転送能力が低くボード(カード)の種類が少ない。
 最近は、コンピュータ標準のインターフェース、例えば、イーサネットやUSB2.0、IEE1394などを介してカメラからの画像データを取り込む方式も増えている。この場合、画像ボードは必要とせずコンピュータのイーサネットやUSB2.0に直接接続する。一般のデジタルカメラ、ムービーカメラはこの方式に属している。
 カメラ画像データは高速かつ大容量であるので、2000年頃までは一般のコンピュータインタフェース(RS232Cやプリンタボート、10Baseイーサネットなど)を使って取り込むことはできなかった。従って、この時代までは画像ボードの働きは非常に大切で、カメラ画像データはこのボードを介して取り込まれていた。デジタル画像がコンピュータに取り込めなかった時代は、アナログ信号をデジタル画像ファイルに変換する画像ボードが使われた。
 画像ボードの利点は、大容量の画像データを効率よくパソコンに取り込めることである。例えば640x480画素、30コマ/秒の画像データは、基本的に73.73Mビット/秒のデータである。カラー画像の場合は、3倍の221.2Mビット/秒となる。このように普通の映像データでさえも非常に大量のデータ転送を要求する。これを逐次処理して画像フォーマットとしてコンピュータに保存するためには、CPU、コンピュータバス、圧縮画像フォーマットなどの各要素に高速化のための技術革新を必要とした。画像ボードは、大量に送られてくる画像データのコンピュータ中枢部への橋渡しをする介在役を果たしている。その橋渡しとしては、画像データを画像ボードで圧縮してJPEG画像に変換したり、メモリを搭載して一時的に画像を蓄える機能も含まれる。
 上の図に画像ボードの基本的機能を示す。この図は、外部から画像データ信号を取り入れて内部で必要な処理を行いコンピュータバスにデータを出力する流れを示している。
 画像の入力は、アナログ信号(RS170信号)であったり低電圧差動信号(LVDS)であったりする。最近ではカメラ専用のカメラリンク信号(CameraLink)も使われている。入力信号の違いは時代を反映したもので、高速通信に伴いいろいろなデータ通信規格が決められてきた。
 
  ・RS170信号: アナログビデオ信号。640x480画素相当、30フレーム/秒(29.97フレーム/秒)の画像を扱う。
  ・LVDS信号: デジタル信号。ツイストペアの信号線で、電圧が0.3V程度と低い信号。
          消費電力が少なく高速通信が可能。655Mビット/秒の転送速度を持つ。
  ・CameraLink: デジタル信号。LVDSをカメラデータ用に規格したパラレル信号。1.93Gビット/秒の転送速度を持つ。
 
 カメラから送られてくる画像データ信号は、画像ボードによって画像ファイルに整える処理変換を行う。多くの場合、ボードにはバッファメモリが搭載されていて、外部からのトリガ信号が入ると一枚の画像分を整えて出力することができる。この機能は、現象とのタイミング、例えばストロボ光源との同期や、欲しいタイミングで一枚の画像を得るのに便利であった。トリガ機能のないボードは、コンピュータ内部の指令信号、もしくは垂れ流しで画像をコンピュータ上位部(RAM領域)に作ることになるので、画像の取得タイミングが正確でなくなる。従って時間精度の良い画像データの取得は期待できない。画像ボードによってはメモリ搭載のないものもあり、こうしたボードでは画像データをバッファとして蓄える機能がないので、直接コンピュータバスに画像ファイルを渡すことになる。必然的に転送性能はコンピュータに依存することになり、コンピュータバスの性能、コンピュータのCPUクロック、DRAMの性能、HDDの性能に左右されることになる。
 画像ボードによっては、ボード上で二値化処理や形状の判断処理を行う画像処理機能を搭載したインテリジェントボードもある。
 画像ボードによって整えられた画像データは、コンピュータバスを介して画像処理ソフトウェアが待つコンピュータRAMに伝送されたり、保存のためにHDDに転送される。コンピュータバスも画像ボードの性能を左右する大きな規格であった。この規格もパソコンの初期のISAバスからPCI Expressバスまで進化した。 
 
  ・ISAバス(Industrial Standard Architecture bus):
          1984年、米国IBM社がPC/ATと呼ばれる業界標準のパーソナルコンピュータを発表した。
          その時のコンピュータバスの規格であった。この標準バスは、2001年頃に使命を終えた。
          ISAバスは、転送速度が8Mバイト/秒と低く、画像を扱うには遅すぎた。
  ・PCIバス(Peripheral Components Interconnect bus):
          ISAバスのデータ通信に限界がでてきたために、インテル社が中心となって開発した
          コンピュータバス規格である。1992年に制定された。
          転送速度は、133Mバイト/秒(32ビット)、266Mバイト/秒(64ビット)であり、
          ISAバスと比べて16倍〜32倍の高速通信が可能になった。長らくパソコンの標準バス規格となった。
  ・PCI Express(PCIe)バス:
          2002年にPCI SIG(Industrial Standard Architecture Special Interest Group。
          インテル、IBM、マイクロソフト、AMD、NVDIA、他900社)によって策定された高速コンピュータバス。
          2005年頃よりこの規格をサポートするコンピュータが出始めて普及するようになった。
          このバスを必要としたのは、高速で高画素の画像表示を行うビデオ表示ボードであった。
          また、ギガイーサネットやUSB2.0、IEE1394などの高速通信ポートが出現し、コンピュータバスにも
          高速バスに対する要求が高まった。
          このボードは、転送速度は5Gbps(5Gビット/秒)で、従来のPCIバスの3倍〜4倍の速度を確保できる。
  5. 画像処理装置(Windows/Macintosh)
 取り込んだ画像を保存し、再生、変換保存、画像処理を行う処理装置である。従来は専用の処理装置が使われていたが、コンピュータの性能向上と共に扱いやすいパーソナルコンピュータでの使用が増えWindows、Macintoshなどが使われている。UNIXが得意なユーザではLinuxなどのコンピュータを使って画像処理システムを構築するケースもある。
  6. 画像処理ソフトウェア
 画像演算を行うソフトウェア。代表的なものを別にあらためて紹介する。
 
 
 
  
▲  画像ファイル:
 計測カメラを使って取り込む画像(動画像)は、一般的なソフトトウェアで読み出せるファイルフォーマットでなければならない。 画像のデジタル化は、1980年代後半から盛んになった。それ以前は写真による保管が主流であり、フィルムや紙焼き、マイクロフィルムなどで保管していた。当時の画像解析は、写真を拡大してそれにスケールを当てて位置情報を読み込んでいた。宇宙開発やリモートセンシング分野では1960年代から画像をコンピュータに保存する技術が進められ、専用のスキャナーで画像を読み込み大型ワークステーションでデータを保存していた。この時の画像データファイルは、独自のものであった。独自と言っても画素の番地と濃度情報をそのまま記述していくRAWファイル(RAWは「生」が原義)であった。
 ビデオ画像は、1970年代から2000年までの30年間は放送で使われているNTSCと呼ばれるアナログビデオ信号が主流であった。デジタル画像は1980年終わり頃から使われるようになり、デジタル画像フォーマットが確立されるようになって画像データの保管と受け渡しが楽になった。1990年代はフィルム画像をデジタル画像に変換するフィルムスキャナーが発達した。TIFFと呼ばれる画像ファイルはスキャナーの画像ファイルとして作られた。2000年以降デジタルカメラが普及しフィルムスキャナーの需要は下火になっていく。
画像ファイルはいろいろのフォーマットが考案されてきたが、淘汰により現在ではJPEG、PNG、TIFF、BMP、AVIなどが計測分野でよく使われる画像フォーマットとなっている。
これらデジタル画像は、2000年あたりから一般的になって広く使われるようになった。これは、2000年あたりよりデータ通信速度が向上し、記録メディア容量が飛躍的に向上し、さらにコンピュータの処理能力も向上してデジタル処理が楽になったからである。
 画像ファイルの詳細は、光と光の記録 - 記録編 ■画像の保存(http://www.anfoworld.com/Recordings.html#fileformat)に譲ることにし、ここでは最も一般的な画像フォーマットの紹介にとどめることにする。
 
 
【静止画像】
■ BMP /DIB(びぃえむぴぃ・でぃあいびぃ、Bit Map File/ Device Independent Bitmap)
マイクロソフト社が開発した最も基本的な画像フォーマット。ビットマップピクチャの略。MS-DOSの時代(1980年中盤)以降から使われ出した。味も素っ気もないシンプルなフォーマットであるが、OSがサポートしているのでシンプルな画像処理を行うのには都合が良く現在でも使われている。ただし、画像ファイルは画素分と色情報分がそのままデータ量になるので大きなファイル量となる。例えば、1024x1024画素でカラーの場合 、
    1024x1024x3 = 3.15MB
3.15MBのファイル容量となる。1.4MBのFDD(フロッピーディスク)が標準だった頃の1990年代中頃まではこのようなデータは扱うことが困難であったため、当時の多くは640x480画素(VGA) = 921KB以下の画像を使っていた。
■ TIFF(てぃふ、Tagged Image File Format)
汎用性が高くて使い勝手がよく、MS-DOSに標準サポートをするようになったので画像ファイルの標準となった。TIFFは、1986年に開発された。TIFFは、スキャナーから読み取られる画像の保存フォーマットとして開発された。開発当時は多くの方言があり、互換性の問題があったが現在では解決をみて互換性の高いファイルフォーマットになっている。TIFFは、画像にデータ(カメラデータ、日時、計測データなど)が埋め込めるため計測用としては重宝されている。また、一連のTIFF画像を一つのファイルとしてまとめる機能もあり(concatenated TIFF)、計測分野で使われた。
TIFFは、圧縮フォーマットも開発されたが基本的には非圧縮なのでファイル容量はBMPファイルと変わらない。
■ JPEG(じぇいぺぐ、Joint Photographic Experts Group)
上記の画像ファイルが大容量になるので、圧縮を用いた画像ファイルが提唱された。JPEGと呼ばれる非可逆圧縮フォーマットは、写真画像を圧縮保存するために開発された。JPEGを開発した組織は、非営利団体組織で1986年に作られた。6年の制定準備期間を経て1992年にJPEGフォーマットが作られた。現在、多くのデジタルカメラの標準フォーマットとして採用され、インターネットの画像としても多く利用されている。
JPEGの利点は、写真などのような細かい情報の圧縮に効果が高いことである。
欠点は、非可逆圧縮であるため圧縮率を高くした画質の悪い画像ファイルを元に戻すことが不可能であることや、図形などの線画に対してノイズ(モスキートノイズ)が出やすいことである。
■ PNG(ぴぃえぬじぃ、ぴんぐ、Portable Network Graphics)
PNGフォーマットは、1994年に開発された。JPEGの非可逆圧縮と異なり可逆圧縮なので画質の劣化がない。その分圧縮率が悪く、写真画像などではJPEGの方が圧縮に対する画質効果が高い。しかし、図形や単純な写真、文字画像などはJPEGよりははるかに圧縮が高く画質も綺麗である。JPEG画像は原理的に原画像の1/64の圧縮が限界であるが、PNGはそれ以下で圧縮することができる。
この画像ファイルは、1987年に開発され一斉を風靡したGIFファイルの後継フォーマットである。GIFファイルが著作権があったので自由に使えるフォーマットを策定し1994年に制定した。それがPNGファイルである。
■ Bayer(べいやー)
Bayerフォーマットは、カラー画像の原画像フォーマットである。通常のカラー画像はRGBの三色に分かれてそれぞれ8ビットの濃度を持っているので画像サイズが白黒画像の3倍になる。Bayerフォーマットでは、一枚の画像だけを使ってそこにRGBの市松状のパターンを配置し、色情報を近傍の画素から拾い上げて構築するという方式をとっている。この方式によって、デジタルカメラも1枚の固体撮像素子でカラー画像が得られるようになる。RGB別々の素子で撮影してRGBで記録する方式の方が画質的には最もすぐれたものとなるが、Bayer方式の方が簡便である。米国コダック研究所のBayer博士が開発したのでこの名前がある。コダックの特許が切れた1993年にデジタルカメラメーカーがこぞって採用するようになり一般的なフォーマットとなった。
■ RAW(ろう)
生データの画像ファイルである。多くの場合、デジタルカラーカメラからの画像情報をそのまま保存することを言う。デジタルカメラがBayerフォーマットの撮像素子で作られているのでByaerフォーマットと言えなくもない。海外のメーカーは、Bayerという言葉を使うのにあまり抵抗がないが、日本のメーカーはBayerという言葉を使うのに神経質で、強いて使おうとしない。特許が絡むことは避けたいとする必要以上の神経質な体質があるのであろうか。それはさておき、RAWデータはBayerフォーマットの画像にカメラデータを入れ込んだものである。デジタル一眼レフカメラでは、RAWファイルとJPEGファイルのいずれかで画像保存できるようになっている。RAWファイルで保存した場合、これを再生するにはメーカが作った専用のビュアが必要になる。専用のビュアを使って再生し、必要に応じ別の画像ファイルフォーマットに変換保存できるようになっている。RAWフォーマットは、JPEGフォーマットに比べファイル容量は大きい。TIFFファイルなどに比べれば1/3以下ではあるもののなぜ容量の大きいRAWデータが使われているかというと、プロカメラマンは、画像をポストプロセッシング(後処理)したい要求が強くあるからである。JPEGは非可逆圧縮なので一度保存した二度と元には戻らない。また、多くの一眼レフデジタルカメラは、各色12ビットのデータを持っている。これをJPEGに変換してしまうのは惜しいという理由でRAWを選ぶことが多い。プロカメラマンは、RAWファイルを「未現像」画像と言っている。画像処理のことを「現像」という。フィルムカメラを愛用してきた人たちならではの表現である。
 
【動画像】
■ AVI(えいぶいあい、Audio Video Interleaved Format)
AVIは、マイクロソフト社がWindowsOS用に開発した初期の動画ファイルフォーマットである。BMP静止画ファイルを連番付け(ストリーミング)してそれに音声を加えた(インターリーブ)フォーマットがAVIである。このフォーマットは、1992年に開発されたものの、5年後の1997年にサポートを中止してしまった。従って、かなり古い規格フォーマットということになる。古い規格でありながら、2007年の時点でも計測分野ではよく使われている。
なぜ現在も使われているのかと言えば、このフォーマットが非常に簡単でありしかも使いやすいからである。多くのユーザが動画を入れる箱のように使っている。箱にはいろいろな圧縮のコーディング(coding)が組み込まれファイル容量を少なくすることができる。古い規格であるため、2GB以上の容量をもつものは再生ができない。
■ WMV(だぶりゅえむぶい、Windows Media Video)
マイクロソフト社がAVIの後継として採用している動画像フォーマット。2GB以上のファイルを扱えることや、MPEGの圧縮技術を使えるメリットがある。WindowsのOSが正式にサポートしているため、Windows MediaPlayerでは標準のファイルフォーマットである。しかし計測分野ではあまり用いられていない。MPEG(画像補間方式の圧縮技術 = 一枚一枚静止画として画像を保存していない)ファイルフォーマットであるため、動画像を正転、逆転再生したり1コマ送りや逆送りすることが難しかったり、1コマ毎の画像計測を行う場合に連続した静止画像を持たないMPEG画像は計測が不安定になりやすいからである。
■ MPEG(えむぺぐ、Motion Picture Expert Group)
高画質で圧縮率が高いことから映画用の動画フォーマットやインターネットの動画配信用のファイルフォーマットして普及している。計測用としては、まだ十分に認知されていない。その理由は、この動画フォーマットが全ての画像にわたり情を記録するタイプではなく画像の間引きを行って間引いた画像は前後の画像で補間する方式をとっているためである。この方式はファイルの圧縮が高く映画などをDVDに変換保存するのに都合がよい反面、計測用画像処理には不向きである。不向きである理由は、計測画像処理では、画像を一枚一枚吟味したり、認知のフレームを停止させたり逆転再生させることが多く、MPEG画像ではそのような使われ方を想定していないためである。画像処理用として採用するには慎重な吟味が必要である。
■ QuickTime(くぃっくたいむ)
アップル社が開発した統合ファイルフォーマット。静止画も扱えるが動画像ファイルフォーマットとしての位置づけが強い。 マッキントッシュが強い生物分野、広告分野、映画分野でよく使われる。インターネットの動画配信においてもストリーミング技術が優れ画質も良いので良く使われる。iPodの普及で浸透力が増してきた。現在のQuickTime(2005年でQuickTime7)は、MPEG4に加えH.264/AVCを標準フォーマットにしているため互換性が高い。MPEG4で保存したQuickTime画像はMPEG画像同様解析には注意が必要である。
 
 
 
 
 
 
 
 
 

■ 代表的な画像処理ソフトウェア(Image Data Processing Softwares)

 以下に示すソフトウェアは、計測分野で使われている代表的な画像処理ソフトウェアである。
これらのソフトウェアは、基本的に専用画像ボードや専用のカメラ、画像プロセッサを必要としない一般的な画像ファイルを処理するソフトウェアを取り上げている。
 画像処理ソフトウェアは、以下に挙げたもの以外に非常にたくさんの種類が開発されている。
計測分野以外にも広告宣伝用に使われているものや、映画製作で使われるレタッチソフトやレンダリングソフトもたくさんある。
時間があればそれらのソフトウェアにも触れて行きたいと考えている。
 
 
 
■ 一般的なレタッチソフト - Photoshop(フォトショップ) (Macintosh/Windows)
「PhotoShop」は、米国Adobe社が開発を続けている画像レタッチソフトウェアである。
(左のロゴはver.6までのものであるが、非常に有名なロゴなので採用した。
最近のバージョンものは、イラストレータやインデザインなどと連携を深
めた統合したソフトになったため、特徴のあるロゴは採用しない傾向にあるようだ。)
 
 
【歴史】
 「PhotoShop」は、1990年にマッキントッシュ用としてバージョン1.0がリリースされ、2007年現在、バージョン10になった。フォトショップは、写真撮影を生業とするスタジオや広告制作業界に圧倒的支持を得て、マッキントッシュのキラーソフトとなった。
フォトショップは、1987年、米国ミシガン大学の博士課程の学生だったThomas Knollが書き上げたコードが母体となっている。彼は、自分の持っていたMacintosh Plusで白黒画像を表示させるためにコードを書き上げた。当時、コンピュータの画面表示は文字の羅列が一般的であり、現在のように図や写真、動画などを表示する機能は標準で装備されていなかった。当時は、Macintoshがいち早く画像表示ができるパソコンを発売していた。Thomas Knollは、マッキントッシュのビットマップ表示ができるグラフィック描画に着目して画像を表示するソフトを完成させたのである。そのソフトは、「Display」と名づけられた。
 このソフトを見た弟のJohn Knoll(1962〜。彼は、当時ILM社 = Industrial Light and Magic に勤務。ILM社は、映画「Star Wars」で有名になったジョージ・ルーカスが設立したデジタル効果処理の会社で、1990年代のスター・ウォーズ作品を多く手がける)は、そのソフトウェアのできに注目し、そのソフトを母体としていろいろなファイルを扱ったり画像処理ができるサブソフトウェアを追加し、それらを母体に関連づけてつり下げるという手法を考え出した。これが「Plug-In」と呼ばれるソフトモジュールである。
 Johnは、このソフトを携えて西海岸のコンピュータ関連会社に売り込んだ。その中にアップル社とアドビ社があった。アドビ社は、このソフトウェアを大いに気に入り1988年に販売契約をKnoll兄弟と結んだ。
 
【特徴 - プラグイン機能とレイヤー機能】
 フォトショップの大きな特徴は、プラグイン機能とレイヤー機能である。
プラグイン機能は、先にも紹介したが周辺機器とフォトショップを橋渡しするソフトウェアのサブモジュールである。例えば、あるデジタルカメラをコンピュータで使う場合、フォトショップのプラグインフォルダにカメラのドライバー(プライグイン)を入れておけば、フォトショップとそのデジタルカメラは関連づけられてフォトショップからデジタルカメラを操作できるようになっていた。もちろん、スキャナーもプラグインによってフォトショップと連動し、スキャナーで取り込んだ画像はフォトショップで表示され、明るさやコントラスト、色補正、シャープネス補正などをその場で処理できた。
 Photoshopが世界的に認知される大きな転機はバージョン3で表れる。このバージョンになって初めて「レイヤー機能」が登場した。レイヤー機能とは、画像を何枚も重ね合わせる機能である。この機能を使えば、カラー画像の4色分解や、源画像の上に文字を重ね合わせたり別の画像を重ね合わせることも簡単にできるようになる。この機能によってフォトショップの名声は高まり不動の地位を築いていくことになる。
 
【Photoshopの機能 - その1】
 
  
 
■ 無料レタッチソフト - Paint(ペイント) (Windows)
Paintは、WindowsOSにバンドルされている画像レタッチソフトウェアである。
無料であるためその機能は必要最低限となっている。
すなわち、Paintができる機能は基本的な画像フォーマットファイルを読み込むことであり、その他に画像を切り出したり、
別のフォーマットに変換保存することができる。
Windowsに組み込まれているので、世の中で一番使われている画像処理ソフトウェアと思われる。
このソフトの使われ方は、以下の通りである。
 
  ・一般的な画像の読み出し。
  ・画像の拡大、縮小表示。
  ・画像の切り出し。
  ・画像ファイルの変換保存。
   (BMP、TIFF、JPEG、GIF、PNG)
  ・画像の修復 = レタッチ。画素単位で色を加筆修正することが可能。
  ・注釈文字の入れ込みが可能。
  ・不必要な画像のマスキングが可能。
 
フォトショップに比べると機能は、非常に限定されている。
 
 
 
 
 
 
 
 
■ 最もよく使われている汎用画像処理ソフト - Image Pro Plus(イメージプロプラス) (Windows/Macintosh) 
Image Pro Plusは、マイクロソフトMS-DOSの時代、1987年から開発が続けられている汎用画像処理ソフトウェアである。
多くの競合製品があった中で、2007年現在まで続いてきた強力なソフトウェアである。
2007年現在、バージョンは6である。
PhotoShopが画像の仕上げをするのに使われるのに対し、Image Pro Plusは学術研究用途に使われ、粒子計測や顕微鏡画像の濃度処理、色合成、電気泳動の解析、X線スライス画像の立体構築、噴霧計測などに利用されてきた。
主な機能は以下の通り。(フォトショップとは異なる機能を列挙)
 
▲ 画像濃度: 16ビット濃度(65,000階調)を持つ画像を扱える。(カラーは16x3 = 48ビット)
        フォトショップは8ビット(256階調)のみ。(カラーは8x3 = 24ビット)
▲ 扱える画像ファイル: TIFF、IPW(Image Pro Plus Workspace形式)、JPEG、JPEG2000、GIF、TGA、BMP、
             PhotoCD、PICT、CUT、PCX、GEL、PCT、IPS、RAW、FITS、Flat(ユーザ定義バイナリ形式)、
             EPS(ポストスクリプト形式)、ICS(ニコンC1画像)、STK(メタモーフスタック)、
             LSM(ツァイス共焦点画像)、LEI(ライカ共焦点画像)。
             AVI(動画像)、SEQ(Image Pro Plusの動画像)。
▲ シーケンス画像: 動画像の読み込み、再生、作成、編集
▲ 疑似カラー表示: 濃度に応じた色づけができる。連番の画像を動画として表示できる。動画ファイル(AVIファイル)を解析できる。
▲ プロファイル: ラインプロファイル、ヒストグラム表示ができる。
▲ 高速フーリエ変換: 周波数の高い(低い)画像のフィルタリング処理が可能。
▲ 濃度処理: 二値化処理。
▲ 粒子計測: 粒子の大きさ、頻度を計測できる。
▲ 寸法計測: 長さ計測、原点設定、角度計測ができる。
▲ 面積計測: 濃度に応じた面積計算。
▲ データ出力: エクセル出力。
▲ 3Dイメージング: 顕微鏡画像、CT画像のZ軸方向のスタック画像処理。
 
 
 
 
 
 
 
 
■ 高度なフリーウェア画像処理ソフト - ImageJ(イメージジェイ) (Macintosh/Windows)
 ImageJは、計測用に作られたフリーウェアの画像処理ソフトウェアである。
医学研究用の画像処理ソフト、特に顕微鏡で撮影した画像の処理を行うことを目的として作られた。 
ImageJの前身は、NIH Image というフリーウェアの画像処理ソフトウェアである。NIHは、 米国 National Institutes of Health(アメリカ国立衛生研究所)の略で、この医療機関に勤めている Wayne Rasband 氏がマッキントッシュを使って医療用の画像処理ソフトを開発したのでこの名前がついている。
 最初のバージョンがいつリリースされたのかは定かでないが、私がマッキントッシュを使い出した頃にはすでに登場していたから1993年頃と思われる。
 このソフトウェアは、医学関係に大いに普及した。また、インターネットの普及で工学分野にも認められるようになり多くの研究者が恩恵にあずかっている。
このソフトウェアは、1999年、米国の画像ボードメーカScion社がWindows用にコーディングしなおして、フリーウェア「Scion Image」としてインターネットで紹介した。以後、Windows用にも広く普及するようになる。
ImageJは、上記のNIH ImageのJavaスクリプト版で1997年にリリースされた。Javaでソフトを作ることにより、使用するコンピュータのOSを気にすることなくほぼ同じ環境で使用できるようになった。 またボランティアによって取扱説明書が作られたり、プラグインソフトが作られてインターネット上で紹介されるようになり根強い人気を持っている。
 学術用には優れた機能を持っており、さまざまな分野がこのソフトウェアの恩恵にあずかっている。私が知るカメラメーカでは、カメラのシェーディング検査や温度特性検査にこのソフトを使っている。生物関係の大学研究室でも有名なソフトで、学生達が研究の一環としてこのソフトを使いこなす勉強会を開いている。これらの事例は、このソフトが何よりもフリーウェアだからということである。ソフトウェア自体のバグ修正や追加ソフトのリクエストには十分な対応が計れないにしても、このソフトを母体としていろいろなモジュールを開発している大学研究機関も多い。
 
 
 
 
 
 
 
 
■ ファイル変換ソフト(シェアウェア) - GraphicConverter(グラフィックコンバータ) (Macintosh) (2007.09.17追記)
 GraphicConverterは、ドイツ人Thorsten Lemke氏がマッキントッシュ用に開発を続けている画像変換ソフトウェアである。
このソフトウェアの大きな特徴は、さまざまな画像ファイルの閲覧とファイルの保存管理である。ほとんどすべての画像ファイルを開けることができ、開けた画像ファイルを任意の画像ファイルフォーマットに変換して保存することができる。
 このソフトが開発されたのは、1992年。
当時、Lemke氏は、パソコンをAtariからMacintoshに買い換えた矢先で、それまで保存していたAtariの画像をMacに移植する必要に迫られた。
しかし、画像を変換するソフトウェアが無かったので独自に画像変換ソフトを開発してしまった。
以後、2007年までの15年に渡り150万本以上のソフトの供給を続けてきた。バージョンは2007年現在でver.5.9.2。
2007年現在では200種の画像フォーマットをサポートする。画像変換のみならず、レタッチ処理、画像回転、画像縮小、動画付けができる。デジタルカメラフォーマットにも対応し、デジタルカメラの撮影データ情報も読み出すことができる。
 私自身、画像を扱うときには最も重宝して多用しているソフトウェアである。私が最初に出会ってLemke氏にFAXで購入申し込みをしたのは1997年だったと記憶する。以来10年間愛用し続けている。
 GraphicConverterの特徴は以下の通り。
 
▲ 豊富な画像変換ツール:
特にデジカメの画像ファイルのサポートが充実していて、多くの画像とその情報を閲覧することができる。
使いやすいツールボックスを使って画像の拡大・縮小、画像の切り取り、画像サイズの設定(リサイズ)などができる。
QuickTimeやアニメGIFが使え動画を作ることができる。(AVIはサポートしていない。)
▲ 使いやすい「ブラウザ」画面 。
画像フォルダーの中身を一気に閲覧することができる。
▲ 充実した「スライドショー」
フォルダー内の画像を指定する大きさと時間間隔でスライド表示する。スライド表示された画像のファイル名とパス名も表示できる。
▲ 使いやすい一括変換機能(バッチ処理) 。
フォルダー内に納められた一連のBMPファイルをJPEGファイルに一括変換するというようなバッチ処理が可能。
▲ フォトショップに肉薄する画像効果処理 。
フォトショップには及ばないが、私が使う範囲の画像処理機能は十分に備えている。
レタッチ機能 - 画像で色が潰れた部分やゴミが付着した部分を修正することができる。
ガンマ補正 - 濃度階調の「硬さ」を調整する機能。
シャープ機能 - 画像強調機能。
ぼかし機能 - ガウス処理などのぼかし機能。
白補正 - ホワイトバランスが取れていないカラー画像の「白」補正機能。
赤目補正 - デジカメのストロボを使って人物を撮影すると瞳が赤く撮影されることがある。その赤目を画像処理によって修復する機能。
グリッド発生機能 - 画像内にグリッドを発生させて画面の傾きや構成のチェックを行うことができる。
画像フィルタ機能
画像回転・ミラー反転・斜め補正
明るさ・コントラスト機能
解像力変換 - 2000x2000画素相当で撮った画像を400x400画素相当に変換する機能。書類作成でそれほど解像度を要求しない画像を貼付する場合に使う。
アルファチャンネル機能 - 文字などを埋め込んだときに透明度を選択して重ね合わせ処理ができる。
■ メニュー   (2007.09.17追記)
 グラフィックコンバータでは、以下に示すような オープンメニューが現れる。
このメニューでは、フォルダーの中にどんなタイプの画像が入っているかをサムネールメニュー(中央部のメニューエリア)で表示してくれるので、どのような画像が入っているかを一目で見ることができる。
サムネールメニューから希望する画像をクリックすると、右メニューエリアに詳細画像と詳細な画像情報が表示される。
上部のアイコンメニューは、指定した画像を正式に開けたり(Open)、ブラウザ画面(右エリア)の画像を回転させたり、指定したフォルダーの画像を連続して再生表示したりすることができる。
 上の画面では、「iPod」というフォルダーには3枚のJPEGカラー画像が入っていて、その内の一枚(右段)は1360x2048画素の画像で、1/3の画像圧縮で745.1KBのファイル容量であることを教えてくれている。
 
 
 
  【メインメニュー】

グラフィックコンバータでは、画像を読み出すと右に示すようなメイン画像の他に、画像の情報を示す「information」(右下)と、操作パレット(右)が現れる。また、画像の拡大・縮小や画像の明るさやコントラストを最適化するボタンが下段に現れる。
 操作パレットは、フォトショップに使われているものと同様なアイコンメニューで作られている。グラフィックコンバータは、ファイル変換を最も得意とするソフトウェアであるが、右図の操作パレットからわかるように簡単なレタッチができるようにフォトショップに似たような操作アイコンが付加されている。
 したがって、画像の画素欠陥などは、近傍の画素情報をスポイトで吸い取り、レタッチペンを当てて修復することができる。ただ、使い勝手は、フォトショップの方が格段に上なので、本格的にレタッチを行うのであればPhotoshopを使うのが良い。グラフィックコンバータでは「ブラシペン」やぼかし処理機能が無いので、それほど高級なレタッチ操作ができない。
 グラフィックコンバータでは、画像内に文字を入れたり、矢印を入れたり、四角枠や丸枠を入れることができるので、簡単な画像の補助説明を画像上で追加することができる。
 
 【保存ファイルフォーマット】
 画像を保存する際には、右に示すようなフォーマット指定メニューが現れる。フォーマットメニューの多さは、画像ビュアソフトウェアの中でも群を抜く多さである。これは、グラフィックコンバータの作者が長年画像を扱ってきた証であり、グラフィックコンバータの名前の由来でもある。
 グラフィックコンバータは、約200種類の画像ファイルを取り扱うことができる。なぜそのようなたくさんの画像ファイルフォーマットがあるのかと言えば、画像ファイルはそれだけの歴史を持ってきたということであり、現在もなお、大所の標準的な画像フォーマットが整備されたとはいえ、独自のフォーマットで画像を扱うニーズがあることを示している。
 我々が扱う画像フォーマットは、
  ・JPEG
  ・PNG
  ・TIFF
  ・PICT
  ・BMP/DIB
あたりで十分だと考える。
 デジカメでは、EXifというフォーマットでの画像保存が一般的である。この画像フォーマットの基本はJPEG画像であり、これに撮影データを格納して別の名前のフォーマットにしただけであるので、基本はJPEG画像と見なして良い。
 
 
 
 
 
 
■ ファイル変換ソフト(フリーウェア) - IrfanView(イルファン・ビュウ) (Windows) (2007.08.18追記)
IrfanViewは、おそらく一度は目にしたことがあるほどポピュラーなフリーウェアのファイル変換ビュアである。
このソフトウェアは、ボスニア・ヘルツェゴビナ生まれ、オーストリア在住の Irfan Skiljan 氏の手によって1996年に開発された。
当時、Irfan氏はウィーン大学コンピュータサイエンス工学に在学していた学生であった。
11年を経た2007年現在、バージョンは4.0になっている。
 このソフトは、ファイル容量が1.1MBと極めて小さいため、メモリ容量を取らずCPUに負荷をかけない良さがある。
ビュアに特化しているため、レタッチ機能はない。但し、像の拡大・縮小、像の回転、コントラスト調整などの初歩的な機能は備わっている。また、連番ファイルを連続で再生する機能がある。右下に示したメニューがIrfanViewの基本操作メニューであり、とてもシンプルである。このソフトの特徴的なところは、メニュー右部ある連番ファイルの操作ボタンである。「2/5」とある数値メニューは、指定したファイルがある同一フォルダー内に指定したファイルと似た属性を持つ画像ファイルが5つあり、表示メニューには2番目のファイルが表示されていることを示す。「←」、「→」のボタンにより画像ファイルを変更することができる。「↑」、「↓」は、マルチページTIFFなどの一つのファイルで複数のTIFFファイルが保存されている場合に使用するカーソルで、像を送ることができる。
 IrfanViewで扱えるファイルは、80種類以上ある。それだけの種類の画像ファイルがあることだけでも驚きであるが、画像ファイルは制作者の数だけあるということである。それでは使い勝手が悪いというので、徐々に淘汰されて標準の画像ファイルが認められるようになった。
IrfanViewの操作メニュー
 淘汰の末に残った基本的な画像ファイルは、BMP、 GIF、 JPEG、 PNG、 TIFF、PICTであり、この他に、AVI、 MPEG、 MP3、 WMV、QuickTimeなどの動画ファイルが加えられる。IrfanViewはプラグイン機能を採用しているので、画像ファイルを扱うプラグインが供給されればそれらのファイルを扱うことができる。
【連番ファイルのスライド表示】
 連番TIFF、連番JPEG、連番BMPを動画のように再生する機能があるので、実験によってたくさんの静止画を保存したときそれらを再生するのに便利である。
ただし、連番ファイルの場合、高速度カメラで採用している(-)(マイナス)番号の処理はできない。すなわち計測カメラによっては、ある現象を挟んでマイナスカウントからプラスカウントへの連番ファイルを作ることがあり、以下のようなファイルがフォルダに作られる。このようなファイル名による管理は、現象が起きた時点をカウント「000」、それ以前の現象を「-」(マイナス)フレーム、以後を正フレームとしている決まりがある。
 
   IrfanTest-005.tif
   IrfanTest-004.tif
   IrfanTest-003.tif
   IrfanTest-002.tif
   IrfanTest-001.tif
   IrfanTest000.tif
   IrfanTest001.tif
   IrfanTest002.tif
   IrfanTest003.tif
   IrfanTest004.tif
   IrfanTest005.tif
 
このようなファイルがフォルダに格納されている場合、このビュアは、以下の順番で再生してしまう。
   IrfanTest000.tif
   IrfanTest001.tif
   IrfanTest-001.tif
   IrfanTest002.tif
   IrfanTest-002.tif
   IrfanTest003.tif
   IrfanTest-003.tif
   IrfanTest004.tif
   IrfanTest-004.tif
   IrfanTest005.tif
   IrfanTest-005.tif
 
これでは時間の順番が間違った画像の再生となってしまう。
このような場合には、計測カメラに附属したビュアを使うか、以下に示すViewPointで再生させる必要がある。
 
【連番ファイルの一括変換処理】
 IrfanViewの特筆すべき機能は、連番ファイルの一括変換保存機能であろう。フォルダ内に保存された複数の画像ファイルを一括して別フォーマットの画像ファイルに変換したり、画像サイズを変更したり、コントラストや明るさを変更したりすることができる。
 一括変換は、「File」メニューから「Batch Conversion/Rename..」を選ぶ。(右上図参照)
このメニューを指定すると、以下に示すようなメニューが現れる。以下に示した順番で画像変換してを行って、(5)番目の「Start」ボタンを押す。
重要なのは、(4)の「Set advanced option」で、ここで必要な変換処理を指定する。
変換処理の指定は一番下の図で説明する。
 
Advanced Option のセッティング
 上のメニューが、変換処理を設定する項目である。この項目は、一括変換の前に再生画像を見ながら「Image」メニューで行いたい処理の確認ができるので、明るさやコントラスト、画像の切り取り、画像の回転などは予めこちらのメニューを使って画像を確認した後、一括変換の項目で設定して処理を行うとよい。
 上の処理項目は、「Save settings」、「Load settings」でファイルで保存できる。   
 
 
 
  

 
 
 
 
■ ターゲット自動読み取りソフトウェア - ViewPoint(ビュウポイント) (Windows)(2007.07.08)(2008.01.23追記)
 ViewPointは、対象物に貼り付けられたターゲットマークを動画像全般にわたって自動的に追尾(Tracking)し、移動位置を検出して対象物の変位を計測する動画像ソフトウェアである。
 このソフトウェアが使われている分野は以下のとおりである。
 
    ・ 機械部品のキャリアの動き、金型部品の移動解析、携帯電話や
      電動ドリルなどの落下安全試験。
    ・ 自動車安全試験(シート、ダッシュボード、ステアリング、
      バンパー、サスペンション、ブレーキメカニズム、実車テスト、
      エアバッグテスト)。
    ・ ロケット開発(衛星分離、機器の切り離し)。
    ・ 半導体製造プロセス(ハードディスクのアクセス挙動、
      パーツインサータ、落下試験)。
    ・ スポーツ分野(バイオメカニクス)
      陸上競技、球技(野球、サッカー)、格闘技(柔道、剣道、相撲)
      運動選手の運動解析。
 
 ViewPointは、米国Glenallan Technology社が2007年に開発した。
 このソフトウェアは、一枚の画像にスケールを当てて変位や角度を求める処理と違って、100枚から1,000枚にわたる映像(動画像)の中の移動するポイントを自動的に追いかけるソフトウェアである。このソフトウェアでは、画像内でトラッキングした物体の移動距離や速度、機構部品の角度変化、角速度、振動数などを求めることができる。トラッキングの条件が良いと加速度成分まで抽出できるが、変位を2回微分するので誤差成分を慎重に扱う必要がある。
 
 
【ターゲットマークトラッキングの歴史】
 動画像のトラッキングソフトウェアの歴史は、1970年代前半に始まる。
当時、動画像を計測に使う研究分野は限られていた。映画カメラや映画フィルムを使う高速度カメラは、何よりも撮影画像を見て判断するという「定性解析」が中心で、変位などの量を測る画像の「定量解析」は十分に行われていなかった。フィルム画像を使って計測する手法は、地図作成などの写真測量で発展を見ていた。
 動画像を使って定量解析を行う写真計測を望んだ計測分野は、ハイウェイ時代を迎えた自動車安全実験やスポーツ解析分野(バイオメカニクス = Biomechanics)、それに軍需関係であった。
軍用の研究では、第二次世界大戦以後写真計測の役割(弾道研究、火器の性能試験)が急速に高まり、写真に写された物体の特徴点を拾い出してターゲットとし、これから位置情報を得て被写体の運動解析を行っていた。
こうしたターゲット抽出作業は忍耐を伴い、ともすればこの忍耐の持続が想定以上の測定誤差となった。
 私にもこの経験がある。当時(1970年代後半)の動画像(映画フィルム)の解析は、16mmフィルム画像を23倍にスクリーンに拡大投影(スクリーン上で 230mm x 170mmの大きさに拡大)して、映し出された画像にカーソルを当ててターゲットの位置を読み出していた。一枚目の画像のポイント入力が終わると、フィルムを1コマ送って再び画像のポイントを抽出した。非常に根気のいる作業であったことを思い出す。
人の眼の分解能と根気を考えると、どんなに頑張っても23倍に拡大されたスクリーン上のターゲットを0.5mm精度で追うのがやっとだった。いい加減な人がやると1mm程度になるであろう。スクリーン上の0.5mmは、撮影した被写体の大きさが2500mmでありこれがフィルム上に5mmの像として記録されるとすると、被写体上で11mmに相当する。
 被写体での計測分解能11mmは、500コマ/秒の撮影速度を使った画像では5.5m/sの速度誤差となる。時速40km/h(11.1m/s)の被写体を追いかける計測では、49.5%の誤差を確保しなければならない。フィルム画像からの手入力はこの誤差の他に、解析用映写機のフレームレジストレーション精度、レンズの性能(歪曲収差)、カメラの性能(撮影速度精度)などが加味されるため誤差はさらに増大する。この観点から見てもフィルム画像の変位をを手動で読み取る場合、速度計測は極めて難しい作業であった。これは私が痛いほど経験したことである。
 この経験を通して、「ViewPoint」のような高精度(0.2画素精度)の画像トラッキングソフトウェアに触れたとき、その解析結果に驚いた。画像解析では速度成分は出せないと思っていたのに、かなりの高精度で速度成分を求めることができたのである。
 
▲ 1970年代の画像自動読み取り装置
 写真計測を重要な計測手段と考えていた上記の研究分野では、計測カメラで撮影した被写体(主にロケットやミサイル)の追跡を自動的に行うシステムが強く要望されていた。こうした要求に応えるべく、フィルム画像のターゲットポイントを自動で読み取る装置が1970年前半に米国で開発された。当時はフィルムカメラが主流であったので、現像から上がったフィルムを解析用映写機にかけて、フィルム像を計測用ビデオカメラ(イメージディセクタチューブ = Image dissector tube)で読み込んだ。1931年に開発された古いタイプのイメージダイセクタを採用したのは、このカメラが非蓄積管であるため撮像範囲を任意にスキャニングすることができ、ターゲットを追いかけやすいからであった。
 
▲ 1980年代の画像自動読み取り装置
 1980年代後半には、自動車安全実験分野の解析においても人手による計測に代えて機械がトラッキングを行うフィルム画像自動読み取りシステムの要求が増えてきた。
自動車安全実験では、10台以上の16mmフィルム高速度カメラが使われ、1台のカメラで撮影された動画像の200枚程度(0.4秒の現象に相当)を計測していた。1枚の画像で10ポイントを計測するとして、一台のカメラの撮影枚数200枚では2,000ポイントの計測作業になる。10台のカメラでは20,000ポイントの作業となる。スクリーンに映し出されたフィルム画像を操作者が1ポイントずつカーソルを使ってデジタイジングしていくのに、およそ2.5秒/ポイントかかった。20,000ポイントでは14時間である。2人でほぼ1日がかりの仕事になる。
 この作業を人手に頼っていたのではとても効率が悪いために、自動読み取りシステムの要望が上がったのである。その要望に応えようとして、自動読み取りシステムの開発がなされた。このシステムは、ハイスピードカメラで得られた16mmフィルム画像を解析用映写機にかけ、解析用のためのフィルム像を読み取る高解像度カメラ(カルニコン撮像管、800本x525本)を使って、対象物に貼付したターゲットマークをコンピュータで読み込むものであった。システムは、コンピュータで連動する解析用の16mm映写機を特別に設計してコマ毎の画像をコンピュータに送った。このシステムは高価であり、システム総額1億円程度であった。高額であったにも関わらずトラッキング精度はそれほどよくなく、人の読み取り精度に追いつくのが大きな目標であった。処理時間も4〜5時間かかったと記憶する。従って、撮影して現像から上がってきた16mmフィルムを解析用映写機にかけるのは夕方に行い、解析は夜中に無人で稼働させた。翌朝出社すると解析結果が出ているという案配であった。
 
▲ 1990年代の画像自動読み取り装置
 1990年に入ると、計測カメラ(高速度カメラ)にもデジタルカメラが登場しTIFF、BMP、Bayerフォーマットで動画像(ファイルが連番で保存された独立した静止画像)を扱えるようになった。この時期は、フィルム式高速度カメラが終焉を迎えつつあり、デジタル高速度カメラが注目されるようになっていた。自動読み取り装置も、デジタルカメラで撮影した動画像を直接コンピュータに読み込んでターゲットマークをデジタイジングするトラッキングソフトウェアが開発された。フィルム画像からデジタル画像の時代になった。
 しかし、この時代は、コンピュータの性能が非力であり、データ通信もGP-IB(米国HP社が開発した計測データ通信インタフェース)が主流であり、SCSI(磁気ディスクドライブのデータ転送に開発された高速データ通信インタフェース)が軌道に乗ったばかりであった。イーサネットの本格稼働は、1990年代後半からである。当時、高速度カメラで得られる大容量のデジタル画像データを直接コンピュータに送信するには時間がかかりすぎた。デジタルで画像を取り込むのは、640x480画素で2枚/秒程度が精いっぱいであった。
 その点、NTSCに代表されるアナログ映像信号は30枚/秒と速かったので、カメラで取り込んだ動画像をアナログ画像信号に変換して転送しビデオキャプチャーボードでTIFFファイル(もしくはTARGAファイル)に変換し保存していた。当時の高速度カメラの画像は、水平方向が230本程度であったのでこれで十分満足できるシステムの流れであった。ただし、この時代はカラー画像をまともに保存していたので、640x480画素一枚当たり921.6kBになり、200枚の画像では184MBの容量になった。400MBのハードディスクが10万円程度の時代ではすべてをデジタルに保存することは困難で、この時代はVHSテープでデータを保存する方法が主流であった。真のデジタル時代はまだ遠かったのである。
この時代のターゲット自動読み取りシステムの価格は、1000万円程度であった。
 この頃になると、一般の研究にも画像処理ソフトが安価に出回るようになった。当時の多くの画像処理ソフトウェアは、画像処理ボードの附属のような形でバンドルされていて、コンピュータの性能が上がってくると、ハードウェアを廃してソフトウェアで処理するようになって行った。
 
▲ 2000年代の画像自動読み取り装置
 2000年を越えたあたりから、デジタル画像データを直接送受信する手法が確立し、高速でデータ通信が行えるようになった(ギガイーサネット、USB2.0、IEEE1394)。また、コンピュータの性能が年々向上し、複雑なアルゴリズムを持つソフトウェアでもなんとか高速処理できるようになり、膨大なデータ処理を必要とするターゲット自動読み取り装置もソフトウェア単体で動くようになった。
 ViewPointは、こうした自動トラッキング解析の流れを汲む最新のソフトウェアである。価格も1/4以下に下がった。
 
 
【トラッキングの基本的な考え方】
 ターゲットマークを追尾するソフトウェアは、現在の所いくつか市販されている。これらのソフトウェアのトラッキング手法は、基本的には同じであると考える。
 
▲ パッチサイズ/サーチエリア
 右図にトラッキングの基本的な考え方を示す。解析したい動画像を開いて、対象物に貼付されたターゲットマークを選択する。マウスを使ってターゲットマークをポイントすると、ターゲットマークにはパッチサイズとサーチエリアが定義される。パッチサイズとは、ターゲットマークの大きさであり、サーチエリアは、パッチサイズで決められたターゲットマークをサーチする範囲である。
 サーチエリアは、ターゲットマークをトラッキングするときの範囲を限定するためのもので、この範囲が大きすぎると処理時間に時間がかかったり同じサーチエリアに同じ形状のものがあったときに誤検知してしまう。逆にサーチエリアが小さいとターゲットマークが指定範囲からはみ出てしまい、トラッキングができなくなってしまう。従って、サーチエリアはターゲットマークが移動してもカバーできる必要十分な範囲にしておく必要がある。
 解析を効率よく行うためには、撮影時に解析のための配慮を行っておくと随分と助かる場合がある。配慮の最も効果的なものは、ターゲットマークがゆっくりと移動するような撮影速度で画像を得ることである。一般的な指標として、1フレームでの移動を10画素以内に抑えるようにするとよい。洗練された自動トラッキングソフトウェアは、動きの先読みをするため、ターゲットが過去どのような動きをしてきたかを記憶して次のフレームでどの方向に動いていくかを先読みしている。従って、次のフレームでターゲットマークがどこに移動するかを予測してサーチエリアの網をかけることができる。
つまり、ソフトウエアは、ターゲットを10画素/フレームの速度成分で追いかけると言うよりも、10画素/フレーム2 の加速度成分でトラッキングできる。したがって、優れたトラッキングソフトウェアを使えば、フレーム間で20画素や40画素移動したとしても、15x15画素程度のサーチエリアでも十分にサーチエリア内で網を張ってターゲットを捕獲することができる。
 
▲ スレッショルド(トラッキングマークの確からしさ)
 トラッキングソフトウェアでは、ターゲットマークを指定したときに初期設定のターゲットマーク形状と全く同じ形状でテンプレートを作ると、フレーム間でマークが少しでも変化した場合にターゲットマークを読み込まなくなる。従って、テンプレートと被測定物はある程度あいまいにしておかないとうまくトラッキングができなくなる。このあいまいさを示す指標をスレッショルド(threshold)と言い、0.10〜1.00の間で設定する。1.00はテンプレートと完全に一致する対象物を指定し、あいまいなものに対しては0.70程度に設定する。通常の設定は0.96程度である。設定を低くするとぼやけた対象物でも追うようになる反面、中心を特定する精度が甘くなる。従って、スレッショルドの値は通常0.96に設定しておき、ターゲットマークの画素数が少なくて形状が不安定な場合やボケて撮影してしまった場合、または圧縮をかけすぎて原型から外れてしまった場合には低い設定値を与えるようにしている。
 
▲ ターゲットマークの特定 
 ターゲットマークのトラッキングで大事な点は、ターゲットポイントを手際よくとらえてスムーズにトラッキングを行っていくことである。自動トラッキングソフトウェアの中には、ターゲットを特定するのにまごついたり、うまくターゲットをとらえられずに外れてしまうものがある。外れてしまったターゲットマークは、修復プログラム(トラッキングの修正を行うサブルーチンプログラム)で再度読み取りを行う。この作業は、手動でポイントをデジタイジングしていくのと同様に骨が折れる。従って、できるだけターゲットポイントを外さずに自動読み取りを行わなければならない。
コンピュータがトラッキングをスムーズに行う場合に、十分に考慮しておかなければならない問題点が少なからずある。
トラッキングがスムーズに行えない問題点としては、以下のようなものが考えられる
 
 1. トラッキングするターゲットの画質が悪い。
   (小さくて数画素しかない。ピントが外れてボケている、画像に圧縮をかけすぎて原形をとどめない)
 2. ターゲットが画像によって回転する。
 3. ターゲットが画像によって歪む(楕円になる)。
 4. ターゲットが画像によって薄くなったり陰にかくれて欠けたりする。
 5. サーチエリア内に同じようなターゲットマークが複数入ってしまう。
 
上の5種類のターゲットマークは、すべて同じカテゴリの中に含まれ、同じターゲットの種類とみなされる。
人の眼はこうした識別に長け、おおよその中心点を指摘することができる。
また、人の目によって中心を特定する能力は0.2mm程度であるが、ほぼ間違いなく中心を当てる。
コンピュータは、果たしてこれらすべてを同じ仲間としてその中心点を射当てることができるであろうか。
一番左のものはほぼ完璧なターゲットマークの形状であるが、右にいくしたがってボケている。4番目は中心位置が違う。一番右のマークは回転している。
自動トラッキングソフトウェアは、こうしたターゲットマークを同一のものと見なして自動読み取りを行なうことが宿命であり、このソフトウェアのアルゴリズム開発の歴史であった。
 
 上に挙げた問題は、現実問題として十分に考えられることである。ヒトの眼はこの点に関して要領よくターゲットを抽出するけれども、コンピュータはこうしたことが苦手である。こうした問題(時々刻々に変わるターゲットマーク形状の問題)をいかにうまくスマートに対処するかが自動トラッキングソフトウェア開発の腕の見せ所となる。
 
【ターゲットの種類】 - どれだけの種類があるのか
 自動トラッキングを行う場合、もっとも理想的なトラッキングアルゴリズムは次のようになる。
すなわち、
  ・操作者が初期設定としてクリックしたポイントをコンピュータが認識し、
  ・数十枚〜数百枚の画像にわたって寸部の狂いもなく初期設定したポイント(これをテンプレートと呼ぶ)を追いかける
ものである。しかし、現実にはそれは不可能に近い。なぜかと言えば、画像はフレーム毎に変化するため一つとして初期画面で設定したテンプレートと同じ物はない。ターゲットマークが移動していけばそれに伴い揺れたり回転しする。また、固体撮像素子上にゴミが付いていればそこに入った画像は惚けてしまう。照明によっても照らされるターゲットマークの明るさは時々刻々変わる。したがって、トラッキングは読み取る条件を絞ってやる方が行いやすい。つまり、ソフトウェアにトラッキングのためのヒントを予め与えてやれば、驚くほどしっかりとした仕事をするようになる。すなわち、ターゲットマークの貼付である。
 例えば、四半円形(Quadrant)のターゲットマーク を考える。このマークをトラッキングしなさいとコンピュータに教える。コンピュータは、トラッキングする対象物の目的をはっきりと認識することになる。しかも、このマークは、数あるターゲットマークの中でもっとも精度の高いトラッキングを行うことができる。
 次によく使われるターゲットマーク形状が白いドット(○)、もしくは黒いドット(●)である。これれのマークは、現場でマジックやホワイトマーカで簡単にドットを描き込むことができるので重宝する。
 このほか、◆、■、▲などが考えられるが、上記の部類に入らないので「特徴点」モードとなる。特徴モードは、初期設定でクリックした部位をターゲットマークと認識して、このパターンを損なわないようにパターンマッチングを試みて追跡を行うものである。当然、これらは上記のターゲットマークよりトラッキング精度が悪くなる。
 
 
 上に示したメニューは、ViewPointで使われているターゲットマークメニューである。希望するマークをクリックして次に画像内にあるターゲットマークを指定すると、トラッキングポイントとして認識されそのマークのテンプレートに従ってポイントが追跡される。 
 
 
【ターゲットの大きさ】 - どのくらいの大きさが妥当か
 ターゲットをコンピュータが読み込んでいく場合、どのくらいの大きさが適当であろうか。
例えば、左の画像を見てみる。この図は、上で説明した四半円形(ターゲットマーク)の拡大画像である。この画像は、11x11画素分のものである。自動トラッキングソフトウェアは、実はこれだけの画像サイズをターゲットを追いかける大きさとしてしている。これだけしか見ていない。この大きさの画像から中心位置を割り出し、動画像を渡り歩いてこれと同じパターンを探し出してトラッキングをしている。画像の縦線と横線に表れる暗部と明部の境目を1/10画素程度まで独自のアルゴリズムを使って特定し、X軸、Y軸方向の中心を割り出している。ViewPointは、11x11画素のターゲットを仮想的に110x110画素とみなして中心を計算によって求めている。自動トラッキングソフトウェアにとってはターゲットマークの画質が良ければ11x11画素は十分な大きさと言える。
 左の画像は、良好なターゲットの部類に入る。ターゲットの大きさが4画素しかないとすると、その画像から中心を求めるのは極めて困難である。4画素では中心を求めようにも判断ができない。よほど綺麗な画像でも1画素の精度しか得られない。ターゲットの中心を精度よく特定するにはある程度の大きさが必要である。
 以上述べたことから、ターゲットの大きさは画像上で11x11画素〜20x20画素もあれば十分なことが理解できる。通常カメラの1枚あたりの画像は、640x480画素〜1280x1280画素でできている。この画素数の中で20x20画素のターゲットマークの占める割合を求めると、1/24〜1/64程度で良いことになる。むやみに大きなターゲットマークを作って貼る必要はない。
 
1枚の画像の大きさ
撮影範囲
(水平方向)(mm)
推奨ターゲットマークサイズ
(被写体上)
640x480画素
1000
32mm
2000
63mm
5000
156mm
800x600画素
1000
25mm
2000
50mm
5000
125mm
1280x1024画素
1000
16mm
2000
31mm
5000
78mm
 ターゲットマークの大きさ。
撮影エリアと使用するカメラの撮像素子サイズ(画像素子数)で
ターゲットマークの大きさは決まる。
画素数の多いカメラを使えば、同じ撮影範囲でも小さいターゲットマークを