臺東地區在日據時期劃為「臺東廳」，臺灣光復後改為臺東縣。臺東縣東倚海岸山脈，濱臨太平洋；西跨中央山脈，與高雄、屏東毗鄰。花東縱谷由北而南貫穿其間，地形狹長，群山阻隔，交通不便。

　　臺東地區於光復初期並無法院設置，民、刑事案件均由花蓮港地方法院(花蓮地方法院前身)管轄。因臺東花蓮相距190公里，於偵查、審判工作上，無論在當事人應訊、相驗履勘、人犯解送等，均耗力費時，甚為不便。經地方人士多次建請設置，遂於民國(以下同)38年奉司法行政部(法務部前身)核准籌設，於38年10月指派彭吉翔先生為臺灣臺東地方法院院長負責籌備事宜。籌設當時臺東鎮(現為臺東市)內尚無適當房舍，可供法院及檢察處辦公之用，幾經尋覓，終向臺灣省政府農林廳借得所屬棉麻繁殖場臺東加工廠廢舊廠區(即臺東市博愛路128號臺東地方法院現址)，供作辦公處所。該廠區房舍老舊，設備簡陋，然苦無經費拆除重建，僅能設法稍加整修，添置少部設備克難辦公，勉強完成籌設。

　　38年12月28日經司法行政部核准成立臺灣臺東地方法院及臺灣臺東地方法院檢察處，指派彭吉翔先生為院長、陳進文先生為首任首席檢察官。機關設置終告完成。

　　53年於第3任院長王永興先生及第4任首席檢察官謝仲棠先生任內，鑑於辦公處所簡陋不堪，遂以3年節約之經費，配合司法行政部撥款及臺東縣政府之補助，集資新臺幣200餘萬元，拆除破舊房舍加以重建，並於同年6月完工。

　　69年7月1日審檢分隸後，將原有辦公廳區劃歸院、檢分別管理使用。嗣因地區人口成長，案件增加，人員編制隨之擴充，原有辦公室不敷使用，經法務部指示提出增建計畫編列經費，自74年至76年，分3次增建辦公室、檔案室、法警室(含拘留室、值夜室、偵訊室、候保室)、圖書室、康樂室(兼充會議室)等。機關辦公設施，始略具規模。

　　78年12月24日配合法院組織法之修正，更名為「臺灣臺東地方法院檢察署」，機關首長亦同時改稱檢察長。

　　有鑑於機關業務日益繁雜，組織員額不斷增加，案件亦歷有成長，原有辦公廳舍已漸不敷使用，為謀長久發展，乃開始有新遷建辦公廳舍之規畫。規劃之初首要之務為機關用地之尋覓，經多方奔走，覓得臺東市浙江路旁土地，做為新(遷)建辦公廳舍預定地。經行政院核定，本署辦公廳舍概算4億1034萬元。

　　86年8月由行政院公共工程委員會召開會議，協調臺灣省住都處(後改制內政部營建署)協助本署辦理遷建辦公廳舍計畫之建築師甄選、設計審查、工程發包、施工管理及工程驗收等事項。

　　87年4月間，行政院審核「法務所屬各級檢察署擴遷建辦公廳舍六年計畫修正計畫」同意本署工程總經費編列4億6347萬1000元，核定興建面積11998平方公尺。

　　91年1月行政院核定本署修正計畫變更設計。總經費調整為4億3989萬6226元，興建面積16053平方公尺。

　　92年5月24日建築工程竣工。93年9月20日於遷至新廈辦公迄今。

　　法院組織法修正，本署自107年5月25日起更名為臺灣臺東地方檢察署。