賃貸ビルを保有していた、父が亡くなり家賃の支払いを兄弟にしないといけないのか？

ご指摘の事情に照らすと、お父様との間で家の３階部分についての無償での使用貸借契約が成立していたと解され、使用貸借契約は貸主の死亡によっては当然には終了しません。
当事者間で返還の時期を定めていない場合、「目的に従い使用および収益を終わった時」に終了するとされ（民法５９７条２項本文）、お父様との間で事業の承継を前提に３階部分に居住するとの合意があったのであれば、お父様の死去後も他の相続人との間で使用貸借契約が存続し、賃料支払義務は発生しないと解する余地はあります。
ただ、お父様が亡くなられている以上、そのような合意を立証できるかという問題がありますし、使用貸借契約が存続すると解したとしても、将来に向けて不安定な状態が続くことになります。
そのため、お父様の遺産分割に関し、他の相続人に代償金を支払って当該建物の所有権を取得する等、紛争の一挙解決を図った方が良いかと思います。
二女の方との交渉を含め、弁護士への依頼を検討されてはいかがでしょうか。