アルバイトでの所得税

私は大学生(満20歳)で、3つのバイトを掛け持ちしています｡
1つはカフェで月4万程、もう1つは塾で月3万ほど､3つ目は野球場の仕事で時間が開いた日に入るもので今年は5000円程しかもらっていません。

この間、カフェのバイトで給与明細をもらいました。今まで気付かなかったのですが､所得税が取られていました。今まで受け取った明細にも所得税が取られていたので、店長に聞いてみたところ、「掛け持ちしてるからだよ」と言われました。
計算上1年の収入は103万円に満たないはずなのに、バイトの掛け持ちをすると所得税は取られるものなのでしょうか?
ほかに見落としているポイントがあるならそれも教えていただきたいです。