「僕は事務所が悪くないとも言えない」

これがちょっとややこしくしてるな
「俺は事務所が悪いとも言えない」
の方がシンプルだし正直