После мисије у Друштву народа у Женеви, Иво Андрић се враћа у земљу првих дана априла 1933. и почиње да ради у трећем одсеку Политичког одељења МИП-а – одсек за мањине. У децембру, исте године, постао је шеф овога одсека. У јулу 1935. постављен је за вршиоца дужности начелника Политичког одељења. А када Милан Стојадиновић буде формирао своју владу, 24. јуна 1935, у којој ће, поред места премијера задржати и место министра иностраних послова, за свога помоћника министра, који је дотле био Владислав Мартинац (1891–1946), (који је на боловању са кога се неће вратити) петог новембра 1937. поставља Андрића који тако постаје друга личност југословенске дипломатије.
Из овога времена, проведеног у служби Милана Стојадиновића, потиче Андрићев Елаборат о Албанији писан за потребе његовог шефа после разговора о албанском питању, које је овај имао, јануара 1939, са грофом Ћаном; овај елаборат ће током последњих међунационалних ратова на тлу бивше Југославије служити као крунски доказ Андрићевог, наводног, анимозитета према националним мањинама у Краљевини Југославији, посебно пема Албанцима.
Очито задовољан радом свога помоћника, у својим мемоарима Стојадиновић ће написати да се у свим важнијим питањима консултовао са Ивом Андрићем, „кога сам веома ценио и полагао на његово мишљење у свим важнијим питањима. Он је био Србин католичке вере. Из Босне, књижевник, паметан и одмерен у мишљењу. Дипломатске ноте које би он по мојим инструкцијама стилизовао, било је право задовољство читати.“
Крајем тридесетих политичка усмереност владе Милана Стојадиновића пружаће двору све више разлога за забринутост. Својим митинзима са наглашеном фашисоидном сценографијом, са добро организованим присталицама које су за време његових говора скандирале „Вођо! вођо!“, својом гардом у тамнозеленим униформама, својом личном пратњом на моторима немачке производње, својим честим и блиским контактима са вођама Рајха, пружао је све више типску слику израњајућег фашистичког вође. Како су ови претећи знакови времена, о којима историје обично не говоре али који историју чине видљивом, бивали све читљивији и учесталији, намесник Павле, увиђајући куда би земљу могла одвући ова ужурбана спрега са фашистичким режимом, уклонио га је, фебруара 1939, вештачком кризом владе (помоћу које је Стојадиновић и дошао на то место).
У новој влади место премијера заузеће Драгиша Цветковић а место министра иностраних послова Цинцар-Марковић, дотадашњи посланик у Берлину. Андрић је постављен за помоћника министра иностраних послова. Намесниковим указом од 28. марта 1939. за опуномоћеног министра и ванредног посланика Краљевског посланства у Берлину.
Послати Андрића у ову мисију није било без задњих намера. На овај положај Андрић долази као нестраначка личност. Искусан дипломата, угледан литерата, добар зналац немачког језика и културе, личност високе репрезентативности. Ипак Андрићево именовање за посланика у Берлину имало је, како ће будућност показати, превасходно протоколарни карактер, с обзиром на већ уходани закулисни тип односа владе са немачким властима. Тип односа који се најчешће није могао признати па је стварна комуникација између две владе ишла преко неуочљивих и неформалних посредника. На овом положају Андрић је требало више да изгледа него да буде. „Он је у Берлину имао улогу погрешног оријентира„, како каже историчар Андреј Митровић. „Служио је да скреће пажњу и привлачи обавештајне службе, што значи да је морао и мало знати о сасвим конкретним тренутним корацима како би уистину деловао искрено.“
Андрић стиже у Берлин у недељу 9. априла 1939. да би сутрадан, од дотадашњег посланика Цинцар-Марковића, примио дужност.Већ 19. априла примљен је у аудијенцију код канцелара Рајха, којој присуствује и претходни посланик, да преда акредитиве. Обраћајући се Хитлеру, у клишираном, пренапрегнутом тону протоколарне реторике казаће да сматра за нарочиту срећу да му је Краљевско намесништво поверило „ову часну задаћу“. Изразиће наду да му благонаклона подршка Његове екселенције „неће недостајати у извршењу моје пријатне дужности“. Одаће признање Његовој екселенцији канцелару „која са толико успеха и достојанства стоји на челу великог немачког Рајха“. Све то у име Њ. вел. краља Југославије, његовог „узвишеног суверена“.
Нови европски поредак
У пролеће 1939, када Андрић започиње своју дипломатску мисију, Немачка је већ увелико отпочела да остварује своју визију новог европског поретка. Тринаестог марта 1938, немачке трупе улазе у Аустрију да би извршиле њено насилно припајање Немачкој (аншлус). Септембра 1938, Чехословачка ће бити приморана да уступи Немачкој судетске крајеве, а у марту следеће године биће окупирана и раскомадана. Првог септембра 1939. нападнута је Пољска; дванаестог априла 1939. Мусолинијеве трупе окупирале су Албанију. У Шпанији, после три године грађанског рата, 28. марта 1939, пао је Мадрид и генерал Франко проглашава Шпанију монархијом. У неколико европских држава на власт долазе локални епигони Великих диктатора.
Од дана када јој Немачка постаје први сусед, од Југославије се све одлучније и ургентније тражи да се ослободи било какве стране подршке. Инсистира се да напусти Лигу народа, чланство у Малој Антанти и Балканском савезу. Под притиском догађаја, и у недостатку подршке са било које стране, влада Драгише Цветковића показује се као све вољнија за сарадњу и уступке Хитлеровој Немачкој.
Двадесет осмог октобра 1940, Мусолини, не обавештавајући свога немачког савезника, наређује својим трупама да уђу у Грчку. Југославија се нашла у опасној близини још једног нежељеног суседа.
У даљим политичким преговорима, у политици попуштања немачким захтевима која је бивала све мање транспарентна, за Цветковићеву владу Андрић је све више постајао неподесна личност. Тако је, после Мусолинијевог упада у Грчку, на преговоре са Немачком о даљој судбини Солуна, на који је влада полагала територијалне аспирације, упућен пуковник Владимир Ваухник (1896–1955), војни аташе у Берлину, иако је питање било политичке, а не војне природе.
За непосредније и поверљивије разговоре са Рибентропом биће зато ангажован Данило Грегорић (1909–1957), директор листа „Време“, функција на коју је дошао по жељи немачких власти. Грегорић ће се 23. новембра 1940. срести са Рибентропом и удесити његов тајни сусрет са Цинцар-Марковићем, који ће се одржати неколико дана касније. Почетком фебруара 1941, Грегорић поново среће Рибентропа, овога пута да му закаже сусрет са Драгишом Цветковићем и Цинцар-Марковићем, који ће се одржати у тајности неколико дана касније. На Хитлеров позив и принц Павле ће се с њим тајно срести 4. и 5. марта 1941.
Сам Грегорић, у својој књизи Самоубиство Југославије, великодушно одаје себи признање за аранжирање ових сусрета и успостављање паралелне везе са вођама Трећег рајха:
„Колика је то била важност, јасно се види кад се зна да наш посланик у Берлину, култивисани песник и литерата Андрић, од почетка рата није имао прилику да са Фон Рибентропом разговара о питањима која су за Југославију од животне важности.“Закључујући: ето, где није успео Андрић, он, уредник „Времена“, „обичан грађанин“, успео је.
Вести о овим сусретима морале су онеспокојити Андрића. Заобилажен од своје владе, пренебрегаван од Немаца, и код једне и код друге стране наћи ће се у незавидном положају; у ситуацији где се од њега све мање тражи и где све мање може да учини, посланик са смањеним ауторитетом, како ће и сам дефинисати свој положај, који све више покрива своју функцију и све мање је обавља.
Како су ови тајни разговори, које организује Грегорић, указивали на све извесније пристајање Југославије Силама осовине, у писму од 26. фебруара 1941. Андрић ће написати министру иностраних послова Цинцар-Марковићу:
„Није ми познато ни у чије име дотична личност говори ни шта је предмет, односно резултат дотичних разговора.“ Скренуће му пажњу „да се овакав начин рада показао увек користан за Немце, а као штетан по земље које су с њима сарађивале“, и опоменути га да се не би смело десити да Југославија „у оваквим временима има посланика са смањеним ауторитетом, који нема пуно поверење своје владе као и стварну и формалну подршку свога министра. Друго, јер не желим да заузимам један положај под условима који су у противности како са мојим погледима на службу тако и са мојим схватањем личног достојанства.“
У одговору на Андрићево писмо Цинцар-Марковић ће се правдати да је његова посета била строго тајна и да је то била изричита жеља немачке владе. Како ће се ови неформални контакти двеју влада наставити и после овог објашњења, у писму Цинцар-Марковићу од 20. марта 1941. Андрић ће написати:
„А све што се дешава од тога времена па наовамо само ме је још јаче утврдило у моме мишљењу о хитној потреби промене личности на положају Краљевског посланика у Берлину.“
„Вољом Њ.В. Кнеза намесника а по вашој жељи дошао сам на овај положај на коме сам провео две године. Увек ћу сматрати за част ту одлуку Њ. В. Кнеза и остати захвалан Вама на поверењу, али данас ми у првом реду службени а затим и лични многобројни и императивни разлози налажу да замолим да будем ове дужности ослобођен и што пре повучен са садашњег положаја.“
Персона нон грата
Југословенска седмочлана делегација 25. марта у Бечу, у палати Белведере потписала је пакт о приступању Југославије Силама осовине. Андрић је у последњи час обавештен, од немачког министарства, да му је резервисано место у возу за Беч, а тек онда о разлогу овог путовања. Истога дана, по потписивању пакта, Андрћ се вратио у Берлин. Делегација која је потписала пакт, по повратку у земљу, ухапшена је. У ноћи 26/27. марта извршен је државни удар, укинуто намесништво, намесник Павле изгнан из земље, на власт доведен малолетни краљ који ће од генерала Симовића затражити да формира владу.
Нови министар спољних послова Момчило Нинчић даће Андрићу упутство да учини све што се може да се превазиђе криза; да понуди Берлину „све уступке који не би нарушавали осећај националне части“. Али одлука о кажњавању Југославије већ је била донета и сваки политички демарш био је узалудан. Андрић је безуспешно покушавао да буде примљен од било којег представника немачког министарства спољних послова. Петог априла, шеф протокола Министарства спољних послова вратиће му пасош, што је значило да је његова мисија окончана.
Шестог априла, по нападу на Југославију, обавештен је да је даље присуство дипломатског особља југословенског посланства непожељно. Пошто су добили 24 сата на располагање, да продају имовину и спакују ствари, већ сутрадан Андрић и особље посланства упућени су са железничке станице за Констанц, град на Боденском језеру и Рајни, у непосредној близини швајцарске границе. Наредних дана, у Констанц је стигло и дипломатско особље из других преставништава Краљевине Југославије у земљама окупираним од Немачке, њих око 200.
Група југословенских дипломата није упућена у Швајцарску, као што су то они захтевали, него у оближњи Бад Шахен, где ће остати у конфинацији од 19. априла до 30. маја. Могућност слободног избора дестинације повратка понуђена је једино Андрићу, али он ће је одбити тражећи исту привилегију и за остале дипломате. У међувремену, Гестапо је већ ту, у хотелу, почео са испитивањем појединих дипломата, посао који ће потрајати све до њиховог поласка. На станици Линдау, 30. маја, формирана је специјална композиција, са вагонима за спавање и ручавање која ће их повести за Београд.Када је група југословенских дипломата стигла 1. јуна у Београд, већ на станици, после више сати задржавања путника у вагонима, Гестапо је ухапсио 11 дипломатских представника који ће бити враћени у Немачку. Шесторица од њих биће задржани и осуђени због наводне шпијунаже и велеиздаје, а остали враћени у земљу.
На станици, излазећи из воза, Андрић је прелазио погледом по групи грађана који су изашли да их сачекају; када га је угледао, махнуо је адвокату Брани Миленковићу, са којим је имао ранији договор: „Ја ћу код вас!“
По мишљењу једног интернираног дипломате, сву одговорност за њихов принудни повратак у окупирану земљу, мимо међународних норми да могу слободно напустити земљу у којој су били акредитовани, сноси Андрић. Када је после дуге неизвесности, 28. маја, саветник немачког министарства обавестио Андрића да ће група југословенских дипломата бити депортована у земљу, Андрић је сазвао састанак шефова дипломатских мисија да их о томе обавести. Група наших дипломата коју је заступао Радован Шуменковић, краљевски генерални конзул у Прагу, захтевала је категоричан одговор Немцима, са клаузулом да могу слободно да изаберу дестинацију свога повратка. У помирљивој и уздржаној протестној ноти, коју је срочио Андрић, стајаће да група дипломата „и даље тврди да она има право према међународном праву и узанцама да слободно отпутује у неку неутралну земљу“.
Конзул Шуменковић је захтевао да се у ноту стави да група „одбија да се повинује наређењу“ – клаузула која је у посланој ноти изостављена. Ова група дипломата коју је заступао конзул Радован Шуменковић сматрала је да је Андрић одлучнијим држањем према немачким властима могао постићи удовољење њиховом захтеву, како је то, уосталом, пошло за руком и пољским дипломатама. Сам конзул Шуменковић, по повратку у Београд, биће послан на принудни рад у Дахау. У једном писму супрузи, које шаље из овог концентрационог логора, написаће: „За сва наша страдања, крив је Андрић.“
Преварен и надигран
Андрић ће мало говорити, а још мање писати о времену свога боравка у Берлину. У једном сећању на то време, из 1946, „без трунке сваке осветољубивости за оно што сам лично пропатио од Немаца и због Немаца“, казаће: „Немци и Немачка! То је највећа мука мога живота, слом који може значити у човековој судбини или прекретницу или смрт. То је проблем од којег ће боловати Европа још сто и педесет година. Па ни тада не видим решење.“ То дешператно стање кроз које пролази илуструје и једна његова песма настала у периоду његовог службовања у Берлину:
