異人館は、第１２代薩摩藩藩主である島津忠義が日本で最初の洋式紡績所を設立したときに招いた英国人技師たちの宿舎です。
７人の技師が鹿児島に来てから帰国するまでの約１年間住居として利用されました。これは日本人が建てた洋風2階建建築物で日本最古のものです。当時の日本人にはドアの文化がなく、ドアノブの位置が襖の引手の高さに合わせて作られたために低すぎることが特徴です。

また明治に一度鶴丸城跡に移築され、昭和になり再び磯に移築されたという歴史があります。