Ý định xây dựng một Trung Tâm Văn Hóa cho người Việt bắt đầu được manh nha vào khoảng năm 1983 khi một số người trong CDD Việt (bấy giờ còn rất non trẻ) họp lại và bàn việc vận động thực hiện một Viện Bảo Tàng & TT Văn Hóa VN tại Sydney. Trong số những vị tiên phong đó có ông Lê Văn Duyệt và 2 vị đã qua đời là GS Nguyễn Hoàng Cương và ông Chu Văn Hợp. Đến năm 1989, khi Chủ tịch CDDNVTD lúc ấy là ông Trần Thanh Phúc nhận bàn giao từ nhóm quản trị cũ và cử BS Vũ Ngọc Tấn đảm nhiệm trách vụ Thủ Quỹ (và giữ trách vụ đó suốt 18 năm trời, là người dính dáng đến TT lâu năm nhất!), thì CDD đổi kế hoạch thành xây dựng TTVH & SHCDD, vì Viện Bảo Tàng là một dự án thiếu thực tế và khó thực hiện với tình trạng tài chánh eo hẹp của CDD.
Từ năm 1984 khi được chính phủ tiểu bang NSW hứa cho thuê miếng đất để xây TT, trong giai đoạn đầu anh em phụ trách đã gặp rất nhiều khó khăn, thậm chí có lúc ông Võ Minh Cương (Chủ tịch CDD lúc đó) đã phải nghĩ đến chuyện cầm nhà để vay tiền xây cất! Mãi cho đến năm 1996 việc xây dựng mới thực sự bắt đầu, và đến cuối năm 1997 thì hoàn tất Giai đoạn 1, gồm Hội trường và 3 phòng trên lầu, tuy diện tích không lớn nhưng cũng có đủ chỗ để hội họp và tổ chức một số sinh hoạt truyền thống như Lễ Giỗ Tổ, kỷ niệm Đức Thánh Trần Hưng Đạo, Thi Việt sử hàng năm…vv.
Sau khi đã hoàn tất giai đoạn 1, tuy vẫn còn một số tiền trong quỹ nhưng việc xây dựng TT giai đoạn 2 bị đình trệ, một phần vì một số lý do kỹ thuật, nhưng phần lớn hơn là vì một số người phao truyền những cáo buộc rằng vấn đề chi tiêu của TT không rõ ràng, gây hoang mang trong dư luận, khiến công việc xây cất bị ngừng lại (sau này, chúng ta đều biết rằng những cáo buộc này chỉ là những lời tố cáo vu vơ không bằng chứng, nên rốt cuộc chẳng đi đến đâu!).
Vào cuối năm 2001, Ban Quản Trị tân nhiệm của TT gồm có tôi, BS Tấn và LS Thân đã bàn thảo và đồng ý quyết tâm phục hoạt việc xây dựng. Chúng tôi đã triệu tập một buổi Đại Hội Bất Thường, trong đó các Hội viên của TT đã biểu quyết với đa số tuyệt đối, ủy nhiệm cho BQT tiếp tục công việc xây dựng giai đoạn 2 của TT, mặc dù vẫn còn một thiểu số tiếp tục chống đối, cố sức ngăn cản việc tiến hành xây dựng. Từ đó, với sự cộng tác thiện nguyện của anh Vĩnh Trình, một người rành rẽ việc xây cất, công tác xây dựng được tiến triển nhanh chóng và tốt đẹp. Bắt đầu khởi công xây giai đoạn 2 vào cuối năm 2002, TT mau chóng thành hình, càng ngày càng to rộng, khang trang. Và những điều tiếng chống đối càng ngày càng ngớt đi, chẳng bao lâu thì biến mất hẳn!