Đền Vĩnh Lại thuộc thôn Vĩnh Lại, xã Vĩnh Hào, huyện Vụ Bản, thờ Bạch Đẳng – Cao Lôi, hai vị tướng dưới thời Hai Bà Trưng. Dưới trướng Hai Bà Trưng, Bạch Đẳng gặp Cao Lôi và hai người kết nghĩa anh em, cùng về trang Vĩnh Phúc, huyện Thiên Bản (nay thuộc xã Vĩnh Hảo, huyện Vụ Bản) để mộ thêm quân lính.
Tương truyền hồi đó ở huyện Phong Châu có ông Bạch Bằng và bà Hoàng Thị Đảng ăn hiền ở lành. Vào ngày 10 tháng 2 năm Giáp Ngọ bà sinh ra một trai tuấn tú đặt tên là Bạch Đẳng. Năm Bạch Đẳng 16 tuổi, cha mẹ đều mất, ông theo Hai Bà Trưng khởi nghĩa, được Trưng Trắc nhận làm con nuôi.
Cao Lôi vốn là con ông Cao Điện và bà Hàn Thị quê ở Đông Ngàn, phủ Từ Sơn, đạo Kinh Bắc (sinh ngày 15 tháng chạp năm Bính Thân) tương truyền ông có giọng như sấm vang nên gọi là Cao Lôi. Cha mẹ mất sớm, ông ở với cậu ruột là Hàn Công Chiêu học hành và luyện tập võ nghệ. Sau khi cậu bị Tô Định giết, ông theo phò tá Hai Bà Trưng và kết nghĩa anh em với Bạch Đẳng.
Hai ông về trang Vĩnh Phúc huyện Thiên Bản mộ quân và lập đồn cùng Hai Bà Trưng chống giặc thắng lợi. Hai ông ở lại đất xưa, khuyên dân làm ăn lương thiện.
Lễ hội ở đền chùa Vĩnh Lại được tổ chức vào ngày thánh ra đời hoặc dịp đầu xuân để tri ân các tổ mở đất, tụ dân. Hàng năm vào ngày 30 tháng chạp, cụ từ và ban khánh tiết làm lễ mở cửa đền, chùa. Mọi người đến lễ cầu mong và thắp hương về lễ tổ tiên đón giao thừa, năm mới.

Ngày 2 tháng giêng có lệ làm cỗ mừng chức sắc trong làng. Đặc biệt chọn 12 người trong số trai đủ 18 tuổi làm cỗ cúng ở đền gọi là “mừng nhòng” – cầu cho làng “đa đinh giàu của”

Ngày rằm tháng giêng làm lễ giỗ tổ. Các dòng họ trong làng làm cỗ cúng Phật, Thánh.

Ngày hóa của Cao Lôi, dân làng tổ chức tế lễ một ngày. Riêng kỷ niệm Thánh Cả – Bạch Đẳng được tổ chức từ mùng 10 đến ngày 12 tháng 2 âm lịch. Trong hội thường có tế lễ và cầu kinh tại chùa. Kiệu thánh được rước ra ngoài đền và sau đó rước trở lại đền trong tiếng nhạc bát âm, dòng người tấp nập. Các làng thi múa lân, múa sư tử, múa gậy, múa đao, thi đánh cờ, đấu vật. Đặc biệt các giáp thi đua thả diều có gắn sáo. Các dải phướn viết chữ to “Vạn thế Vĩnh Lại” “Thiên hạ thái bình” gắn dưới các diều lớn chao lượn trên trời, thầm mong ước điều tốt đẹp cho quên hương đất nước.