Vào thời điểm Giáo phận kỷ niệm 5 năm thành lập, Toà Giám mục Bà Rịa vẫn còn trong giai đoạn thi công xây dựng. Từ khi bắt đầu công trình xây Nhà thờ Chánh Toà, Đức Cha và Cha Thư ký phải tạm thời làm việc tại Nhà Tĩnh huấn Bãi Dâu.
Theo sơ đồ địa chính, Toà Giám mục toạ lạc trên phần đất phía sau Nhà thờ Chánh Toà và liên cư với Nhà xứ, Nhà Mục vụ Giáo xứ Chánh Tòa.
Trong điều kiện giới hạn về mặt bằng xây dựng, Toà Giám mục được thiết kế theo kiến trúc hiện đại, tạo không gian tối ưu cho các sinh hoạt của một cơ sở hành chánh, ngoại giao và điều hành mục vụ cấp Giáo phận.