すべての画像ファイルが画素ごとに赤，緑，青のデータを持っているわけではなく，必要に応じて以下の３種類の画像形式が用いられる．
- ２値画像：各画素が明（白）と暗（黒）の様に２つの値で表現される画像．
- 階調画像：各画素が何段階かの明るさを持ち，各画素の色は同じもの．白～灰～黒の場合をグレースケール画像と呼び一般的に用いられている．
- カラー画像：各画素が階調だけでなく，色を持つもの．通常は赤，緑，青の三原色が各々階調を持つとして表現される．
また，カラー画像は色についての情報をどのように扱うかを注意する必要がある．例えば，赤，緑，青毎に処理するのか，輝度と色差で処理するのか，等である．さらに，カラー画像を赤，緑，青の比率を表す情報と各画素が表す色の情報に分けて保存するインデクス方式もある．
画像ファイルの形式にはさまざまなものがあるが，代表的なものとしてJPG, GIF, BMP, RAWなどがある．形式によって，色情報の表現方法や，画像データの圧縮方式が異なっている．
本演習では，画素あたり3バイト（R 8ビット + G 8ビット + B 8ビット）で1画素を表現しているPPM形式を使用したが，それ以外の画像ファイル形式もあることに注意してほしい．