Toà nhà được Pháp xây dựng năm 1898 và có tên gọi ban đầu là Villa Blanch, tên của con gái Thống đốc toàn quyền Đông Dương lúc bấy giờ là Paul Doumer, người sau này trở thành tổng thống Pháp. Ngoài ra do nghĩa tiếng việt của từ “Villa Blanche” lại trùng với dáng sắc bên ngoài của nó nên dân địa phương quen gọi nơi đây là “Bạch Dinh” tức là biệt thự trắng.


Trước đây, Bạch dinh là nơi nghỉ mát ưa thích của các thống đốc và quan chức Pháp. Đây cũng chính là nơi mà Pháp giam lỏng vua Thành Thái từ năm 1907 đến năm 1916 trước khi đày vị vua có tư tưởng yêu nước, chống lại ách đô hộ của thực dân Pháp này sang hòn đảo Reunions của Châu Phi.   Vào thập niên 60, cả Tổng thống Ngô Đình Diệm và Nguyễn Văn Thiệu cũng sử dụng nơi đây cho mục đích nghỉ mát.

Bạch Dinh nằm ở mạng sườn phía nam núi Lớn, cao gần 50 mét so với mặt biển và hướng ra biển Đông. Từ tiền sảnh Bạch Dinh nhìn xuống, du khách sẽ có cảm giác như đang ở tầng lầu của một cao ốc xây dựng trên mặt nước biển, có thể dõi tầm mắt bao quát cả trung tâm thành phố Vũng Tàu.
Ngày nay đến tham quan Bạch Dinh, bạn không chỉ được thưởng thức vẻ đẹp của thiên nhiên, của kiến trúc thời Pháp thuộc, biết thêm về lịch sử Bạch Dinh, lịch sử dân tộc mà bạn còn có cơ hội ngắm nhìn bộ sưu tập gốm sứ thời nhà Thanh được vớt lên từ Hòn Cau rất có giá trị và nổi tiếng đang được bảo tàng tỉnh Bà Rịa - Vũng Tàu trưng bày và giới thiệu tại đây.