1996年12月13日，联合国安理会通过一项决议，一致通过向联合国大会推荐负责维和事务的副秘书长科菲·安南出任下届秘书长。17日，联合国大会以鼓掌方式通过决议，任命这位来自撤哈拉以南的加纳人接替加利为第七任联合国秘书长，从而使这一世界上最大的国际组织在其51年的历史上第一次由黑人出任最高职务。
由于自幼受到传统教育的熏陶，安南举止儒雅，为人正直，待人坦诚。他当选秘书长时显得很冷静，他说：“这没什么了不起，却是幸运之至。”在联合国内部，安南人缘好，给职员们留下“忠心耿耿”的印象。他能力出众，踏实肯干，在联合国外交官中也享有较高的声望。1991年海湾战争期间，他赴中东解决900名联合国工作人员返回问题，就释放劫持的西方人质举行谈判，并协助解救被困在伊朗和伊拉克的50万亚洲人。1993年3月，安南出任联合国负责维和事务的副秘书长，总管维和行动，促成波黑交战各方停火的“代顿协定”的签署。在波黑和平处于最艰难的时刻，安南接任明石康出任联合国驻前南斯拉夫特使，受到一向抨击联合国部队的波斯尼亚驻联合国大使沙契里贝的赞赏。
初上任的联合国秘书长安南面临着一大堆棘手的问题：由于联合国一些成员国拖欠会费达23亿美元，其中美国占13亿，严重影响联合国的运转，特别是维和行动的开展。1997年1月22日，安南飞抵华盛顿讨债，美国总统克林顿表示要预付10亿美元。然而仅隔一周，美国政府又透露，偿还日期将推迟至1999财政年度，而且它的实施，有待于考察联合国改革方案是否符合“美国的目标”。看来，让美国偿还拖欠会费尚需时日。
安南的另一个重要任务是组建一个讲究效率的班子。他上任的第一天，应其要求，有23名原联合国高级官员向他递交了辞呈。
1月28日安南又任命一批助理秘书长以上的高级官员，同时接受 5名高级官员的辞呈。重新任命秘书处高级官员的工作到2月底完成，其间肯定有些麻烦，不是个个都乐于放弃这块肥缺的。
联合国机构庞杂，人浮于事，效率不高，开支巨大，要求改革的呼声日高。但究竟如何改，达到什么目的。185个成员国各有主张。多数国家支持联合国的社会发展计划，而美国等少数西方国家强调的改革，意味着联合国要裁员和削减预算。安理会要扩大，但不能仅限于日本和德国，亚非拉其他地区也应有自己的代表。扩谁不扩谁，争论将十分激烈。此外，安南尚需广泛听取各种改革观点，找出各方都能接受的一套全面计划，给联合国重新定位。这些对于经验丰富的安南来说也并不是一件轻松的事。