臺灣現代警察制度肇始於日治初期，日明治28年﹝西元1895年﹞10月日治臺第一年，南進軍攻臺南城時即有隨軍之警察，之後隨著多次官制改革，警察制度趨於成熟。至日明治34年﹝西元1901年﹞11月中央之臺灣總督府廢「警保課」改制「警查本署」，地方亦隨之配合為「二十廳」制，這時已出現警察治國之趨勢，各廳設「警務課」，廳下設「支廳」，而廳警務課長、支廳長均為警部所擔任。支廳內課員也幾為警察員，地方行政機關幾乎就成為警察機關。
日明治42年﹝西元1909年﹞10月，總督府廢「警察本署」改稱「內務局」置「警務課」，另外在增設「番務本署」。明治44年﹝西元1911年﹞地方行「十二廳」時期又恢復「警察本署」。至日大正8年﹝西元1919年﹞7月「警察本署」改稱「警務局」，是為中央警察之主管機關。
日大正9年﹝西元1920年﹞首任文官總督田健次郎上任，推行「準地方自治」，是「五州二廳」時代，總督府「警務局」編制仍舊，但地方政府「州」除置「警務部長」外再設「警務課」，臺北、臺中、臺南、三「市」又設「警察署」，直接歸「警務課」管轄，州之下設「郡」，亦置「警務課」。日昭和元年﹝西元1926年﹞又增設一廳成「五州三廳」，至日昭和13年﹝西元1938年﹞全臺警察署已增至8所，是警察制度之全盛時期。「臺南市警察局」即為接收日治時期的「臺南警察署」。
「臺南警察署」位於「原臺南州廳」之東側，為當時的「臺南州土木課營繕係」所設計監工，落成於日昭和6年﹝西元1931年﹞11月，僅次於臺北南警察署﹝現已拆除﹞，為臺灣第二早興建的警察署，也是現今臺灣仍存在的警察署建築。
綜觀日治時代的警察機關，始終隸屬於各級政府編制之內，並為執行日本統治之主要部門，行政首長亦即警察首長。

資料來源：文化部文化資產局