Bà Từ Dũ sinh cách đây hơn 150 năm tại tỉnh Gia Định, huyện Tân Hòa, giồng Sơn Qui nay là Gò Công. Cha của bà là quan Thượng thư bộ Lễ Phạm Đăng Hưng.
Lúc còn nhỏ tại gia đình, bà tỏ ra thông minh, ham đọc kinh sử.
Năm 14 tuổi, bà được tuyển vào cung, hầu hạ vua Thiệu Trị rồi sinh ra vua Tự Đức.
Bà dạy con (vua Tự Đức) rất kỹ lưỡng, soạn ra pho sách Từ Huấn Lục để dạy vua về đạo đức, cách cai trị dân. Vua Tự Đức rất có hiếu, hằng đêm chầu chực bên mẹ, đọc kinh sử cho mẹ nghe đến quá khuya. Gặp việc khó giải quyết, vua Tự Đức thường hỏi ý kiến của bà Từ Dũ. Năm đó, triều đình cử hai vị quan đến khu rừng nọ để khai phá đất hoang, hai vị quan ấy trốn tránh nhiệm vụ, trở về tâu rằng:
- Vùng rừng rậm nọ khí hậu ẩm thấp, gây bệnh hoạn, khó bề trồng trọt.
Nghe qua, bà Từ Dũ vừa buồn, vừa giận, bèn ban xuống lời dụ, nhắc nhở ai nấy nên khai thác đất hoang:
Tân hóa đạo, chỗ đất rừng rộng lớn
Siêng mở mang thời địa lợi biết bao
Đạo tôi con đi chọn lựa nơi nào
Không đành ở lại đổ cho lam chướng
Ban đầu ít, dần về sau thạnh vượng
Ráng cần lao mới để tiếng non sông
Nếu đất hoang, đành đoạn để cho hoang
Giúp trộm giặc ở hang nơi tàng tị
Việc đời thảy tiên nan mà hậu dị
Nỡ cam tâm húy kỵ biết nài sao.
Nhờ đó các vị quan ăn năn, cố gắng khai khẩn thêm đất mới, đem dân đến lập nghiệp.
Đối với bọn cung nhân quá đông đảo trong hoàng thành, bà Từ Dũ luôn luôn khuyên họ đừng ở không, mất thời gian vô ích. Bà dạy họ lúc rảnh rang phải nuôi tằm, ươm tơ.
Dè đâu, bọn cung nhân nọ ỷ thế, mua lá dâu của dân chúng mà không chịu trả tiền. Bà Từ Dũ hay tin ấy bèn quát mắng:
- Sao bọn ngươi lộng quyền như vậy? Chẳng qua là ta muốn giúp các ngươi học chuyện nữ công. Từ rày về sau, ta đình bãi việc nuôi tằm.
Mặt khác, bà ra lệnh cho quân hầu phải đi điều tra kỹ lưỡng từng nhà, trả lại số tiền mua lá dâu mà trước kia bọn cung nhân đã ỷ thế mua chịu.
Trong việc cư xử hàng ngày, bà luôn luôn tránh việc sát sinh hại vật. Ở cung Gia Thọ, nơi mé hiên phía đông, trên thềm có một ổ kiến khá đông. Quân hầu dùng chổi mà quét kiến, nhưng chập sau kiến ở dưới hang lại bò lên, quân hầu bảo nhau:
- Ta nấu nước sôi mà xối. Lũ kiến sẽ chết tức khắc hết cả ổ.
Bà Từ Dũ can gián:
- Các ngưởi hãy dừng tay.
Rồi bà nói thầm, như khuyên nhủ lũ kiến:
- Chúng bay kéo đi nơi khác mà ở, kẻo quân hầu xối nước ngay bây giờ.
Chập sau, lũ kiến kéo đi sạch.
Đức vua Tự Đức thường đi ngự ở sông Lợi Nông, bắn chim để giải buồn.
Hôm ấy, vua Tự Đức đi vắng, dặn nữ quan ở nhà tâu cho bà Từ Dũ biết. Nhưng viên nữ quan quên tâu việc ấy, bà Từ Dũ suốt buổi nóng lòng chờ đợi con.
Đến chiều hôm ấy, vua Tự Đức trở về, qua thăm mẹ. Bà Từ Dũ rơi nước mắt, mắng rằng:
- Có một mẹ một con, vậy mà con đi xa không cho mẹ hay trước. Mẹ ở nhà mãi trông đợi.
Vua Tự Đức bèn quỳ lạy, chịu tội:
- Thưa mẹ, từ rày về sau, con không dám nữa.
Nhân dịp ấy, bà Từ Dũ nhắc lại cho vua Tự Đức nghe: Đức Cao Hoàng Hậu (vợ vua Gia Long) luôn luôn can gián con cháu không được bắn chim. Lý do rất dễ hiểu, nếu chim trống chết, chim mái sống lẻ loi, nếu chim con chết, chim mẹ buồn. Nếu muốn tập bắn, các hoàng tử cứ lo tập bắn bia. Từ nay đừng sát sinh hại vật nữa.
Bà Từ Dũ hưởng thọ 93 tuổi.