Kamihate Uryuu es un joven que ha sido huérfano desde que era niño, por lo que había vivido en un orfanato hasta sus días de preparatoria, pues un templo sintoísta lo invita a alojarse en este sitio. Es de este modo que Uryuu llega al Santuraio Amagami, donde además de los sacerdotes viven tres jovencitas con una edad similar a la de Uryuu. Debido a que el chico persigue el gran sueño de convertirse en doctor, está agradecido por al fin tener un lugar donde pueda estudiar con más tranquilidad, pues aprobar el examen para la Universidad de Kioto no es algo sencillo, sólo que mientras persigue este sueño también se ve asignado a cierto deber. El sacerdote principal le pide que se vuelva el nuevo heredero de este templo y para esto debe casarse con una de sus tres nietas, quienes son chicas bastante simpáticas y con personalidades diferentes. Uryuu conocerá a una por una y de algún modo creará una conexión única con una de ellas, ahora que viven en el mismo lugar los cuatro también deben dedicarse a salvar su patrimonio, pues el santuario se encuentra atravesando por una mala racha y problemas financieros.