日治時期，臺東到里壠（今關山）間的鐵路，最早是臺東製糖株式會社於1919年（大正8年）12月16日開始營運的窄軌糖業鐵道，臺東機關車庫可能是那時候興建的。1922年臺灣總督府鐵道部收購這段鐵道，與臺東線接軌，稱為「臺東南線」。
1980年（民國69年）花東鐵路拓寬，臺東機關車庫擔負重要的維修任務。1992年南迴鐵路通車後，臺東機務分段遷往岩灣，臺東機關車庫乃成功身退。臺鐵在臺東機務段的檜木造辦公廳拆除後，一度準備編列預算將臺東機關車庫拆除，經過各界人士的呼籲才保存下來。
臺東機關車庫是東線鐵路三大機關車庫（花蓮、玉里、臺東）碩果僅存的半木造結構車庫，屬日式建築。車庫一樓挑高，RC結構，山牆面作為火車頭出入口，無門。屋架為梯形桁架，屋頂兩坡流水，中央凸起太子樓、兩側設窗，以利排放蒸汽及通風。車庫內挖深，再以水泥柱支撐鐵軌，以利工作人員檢修。車庫內鐵軌於廢站後拆除，留下水泥柱及工作臺，成為一個獨特的空間
臺東舊站於2001年5月31日廢站，臺東縣政府於2002年就臺東舊站之保存與再利用進行型塑，配合文建會的「鐵道藝術網路計畫」，將臺東機關車庫規劃為藝文展演空間的「鐵道藝術館」。連結站前商圈、站後生活圈、鐵路路廊及名人館等，活化臺東舊站的生命力。

資料來源：文化部文化資產局