車に乗れる人には乗れないことを馬鹿にされないといけないの?

私は免許はありますが、運転で出来ません。
以前はしていましたが、ある出来事がきっかけで運転が怖くなり、そこからは助手席にしか乗らないと決め、家族も了承してくれています。
子どもがいたら乗れた方が便利なのはわかっています。
でも、子どもがいるからこそ安全を保障できない自分が運転することをやめたんです。
今は、自分がどれだけ注意していても巻き込まれることも多くなってきているので、いろいろ悩んだ結果そうしたのですが免許あるのに運転しないの?と言われて、そうなんだと簡単に答えるだけだと、馬鹿にされているんですね、運転なんて誰でもできるのに、と誰でもできることをできないのかと馬鹿にされた態度に、いらいらします。
運転できるって、そんなに偉いですか?できないって、そんなにおかしいですか?
お酒が飲める飲めないと同じくらいの感じでさらっと流してほしいと思ってしまいます。できないなりの生活を送っていて、その人に迷惑をかけていないんだから、いいと思うんです。

車に乗れる人には乗れないことを馬鹿にされないといけないの?