画質モードとは画像を保存するときのファイル形式と画像の圧縮率を決めるものです。
画像サイズは記録する画像の大きさを決めるものです。

画質モードで選べるファイル形式は RAW、JPEG、TIFF（機種によって選択可能）があります。

画像を後から編集する場合は RAW を、編集しないでパソコンに表示したり、プリントする場合は JPEG を選ぶと良いでしょう。

RAW は撮像素子から取り出されたままのデータを保存します。
RAW 画像（撮像素子から取り出されたままのデータ）とカメラの各種設定値を別々に記録するため、撮影した後から、画像の明るさ（露出）や、色味（ホワイトバランス）、などを変更することができます。
繰り返し画像の編集を行った場合も画質の劣化はありません。

JPEG は画像を圧縮して保存します。
圧縮とは画像にある処理をほどこして画像の情報を少なくし、ファイルサイズを小さくすることです。
圧縮する割合によって、FINE、NORMAL、BASICとあり、FINEは約 1/4、NORMAL は約 1/8、BASIC は約 1/16 に圧縮します。
圧縮率が低くなるほど画質は良くなりますが、ファイルサイズは大きくなります。
圧縮率が高くなるほど、ファイルサイズは小さくなりますが、失われる情報が多くなります。

画像の一部を拡大して、FINE、NORMAL、BASICの画質の違いを比較します。

このように拡大すると圧縮率の高い画像はノイズが目立つようになります。
拡大しなければ、ノイズの差は目立たなくなります。

TIFF は画像を圧縮しないため画像の劣化はありません。
また、汎用性が高いファイル形式のため、多くのソフトウェアで取り扱うことが出来ます。
ただし、ファイルサイズは大きくなります。