Lịch sử của ngôi đền Isasumi được cho là có liên quan đến cái tên Aizu - một câu chuyện được ghi lại trong hai cuốn sách truyền thuyết về văn học dân gian của Nhật Bản. Theo câu chuyện kể lại, khoảng 2000 năm trước, bốn vị tướng quân được giao nhiệm vụ thống nhất bốn vùng đất mà sau này trở thành Nhật Bản. Hai trong số những tướng quân này tình cờ là cha con. Một người được điều đến phía đông bắc, và người còn lại đi về phía tây bắc.
Sau khi hoàn thành nhiệm vụ thống nhất các thị trấn trong khu vực, họ gặp lại nhau ở vùng đất ở giữa. Họ đặt tên cho vùng đất này là “Aizu” (会 津), có thể được dịch là “Bờ sông (津) nơi chúng tôi gặp nhau (会)”. Sau đó, hai cha con họ cùng chu du đến ngọn núi Mikagura-dake nơi giáp ranh giữa tỉnh Niigata và Aizu, và cùng cầu nguyện vị thần shinto của những vùng đất mới bảo vệ cho Aizu và những vùng đất khác của Nhật Bản. Ngôi đền Isasumi được cho là được xây dựng tại nơi họ gặp nhau.
Vào mùa xuân, khuôn viên của ngôi đền được trang hoàng bởi một trong những cây anh đào được đánh giá cao nhất ở Aizu - cây Usuzumi Sakura (“Hoa anh đào pha mực”). Cây anh đào này là cây thiêng của đền Isasumi kể từ khi được mang xuống từ Núi Mikagura-dake và trồng trong khuôn viên đền thờ như một cách để tưởng nhớ công sức của hai cha con. Hương thơm nhẹ dịu của cây anh đào luôn chào đón du khách mỗi độ xuân về.
Ngôi đền Isasumi lịch sử của Thị trấn Aizu Misato được biết đến là một địa điểm tuyệt vời để ngắm hoa diên vĩ. Tại đây hàng năm đều tổ chức lễ hội để tôn vinh vẻ đẹp lộng lẫy của những bông hoa này.
