垂仁天皇26年(B.C.4)に皇位のしるしとして受け継がれる三種の神器の一つである八咫鏡をご神体として伊勢の地にお祀りしたのが始まりとされています。
伊勢神宮は、正式には神宮といい、内宮と外宮をはじめ、14か所の別宮、43所の摂社、24所の末社、42所の所管社があり、これら125の宮社全てを含めて神宮というそうです。
欽明天皇の頃、暁台上人によって開かれ、平安時代には弘法大師によって堂宇が建立され、その後、応永年間(1394～1427)に仏地禅師が再興して以来禅寺に改められました。
本堂は、慶長14年(1609)に池田輝政の寄進により再建されたもので、伊勢神宮の奥の院ともいわれているので、御本尊の福威智満虚空蔵菩薩とともに、天照大神をお祀りし神仏習合の思想を表しています。
平成3年(1991)からは、2階に"小津安二郎松阪記念館"がオープンしています。
城下町建設にあたり松ヶ島住人を移住させ、近江商人を町の中心部に呼び寄せて日野町とし楽市楽座を設け、湊町に伊勢大湊の豪商角屋氏を呼び寄せ、商都松阪の礎を築きました。
その後、服部氏、古田氏が城主となったが、元和5年(1619)に南伊勢は紀州藩の藩領となり、明治維新を迎えるまで紀州藩領でした。
明治4年(1871)の廃藩置県により廃城となり、明治10年(1877)の失火と明治14年(1881)までの破却で城内の建物は失われ、石垣のみが残っています。
