甲午戰爭結束，臺灣割讓給日本，臺灣進入日治時期。日人統治初期，日本為順應國際的潮流遂有於臺灣設立測候機構之議。明治29年（1896年），臺灣總督府通信部長土居赴東京，為在臺灣設立的測候所籌畫事宜，經與日本中央氣象臺交涉，獲派技手近藤於該年四月來臺並走遍全臺勘定設站地點。第一階段選定臺北、臺中、臺南、恆春、澎湖島等五處建立測候所。但在日治初期建立的基礎下，日人逐步擴充並建立較正規而完整的測候網，陸續又於基隆、臺東、花蓮、高雄、阿里山等地建立測候所。
阿里山高山觀象所座落於萬歲山北麓，隸屬於臺灣總督府氣象臺，第一任所長為日本人伊藤疆目，六年後即昭和13年（1938年）改為阿里山測候所仍屬臺灣總督府氣象台。由於阿里山地區盛產檜木，日本人以檜木材質優異，甚為喜愛，乃大量開採，為配合山地氣候變化，乃在阿里山設立阿里山高山觀象所，觀測山地氣象變化 ，以資配合林業之開發。
另外日本人設立阿里山測候所還有另外一目的，是為配合太平洋戰爭之需要。因為當時高空觀測設備不足，又耗資較大，乃在阿里山設立測候所，所得資料與臺中及臺南資料加以分析，便可得到高空剖面氣象資料，提供作戰飛機航行安全所需之航空氣象資料。

資料來源：文化部文化資產局