张安世出身于官宦之家， 其父张汤在汉武帝时任御史大夫。 张安世年纪很轻时， 就因父亲的缘故荫补为官，任尚书郎，因善于书法 ，具体负责文书之事。他做事聚精会神，甚至放假公休，都不外出。 一次，汉武帝去河东巡视，途中丢了三部书，皇帝下令寻找， 关键时刻张安世自告奋勇， 凭记忆将这三部书默写出来，交给皇帝。 此后不久，朝廷从市场上重新购得这三部书， 人们将其同张安世默写的书相对照， 结果没有发现错谬之处。 汉武帝发现了张安世的才干， 破格拔擢张安世为郎中令。
汉武帝去世后， 年仅 8 岁的汉昭帝即位。因张安世一贯勤勉敬业，大将军霍光奏请皇帝， 封张安世为右将军兼光禄勋，做自己的副手。此时， 张安世的职位在大臣中已居第二位，可谓地位显赫，但他仍然兢兢业业。汉昭帝特意下诏，赞扬张安世有尧舜之时的古大臣之风， 加封他为富平侯。
汉昭帝在位十三年后去世 ，张安世又同霍光 一 起辅佐汉宣帝即位。霍光去世后，御史大夫魏相上奏皇帝提出：“张安世侍奉两代皇帝三十余年，一直忠诚信实 ，谨慎厚道 ，夙夜不懈，应当封为大将军。”宣帝也想重用他。张安世听到这个消息，急忙请求单独面见皇帝， 说：“我自认才力不足以承担大将军之职 ，请皇帝哀怜，以成全老臣的性命。”宣帝笑着说：“你过于谦虚了， 你若不行，还有谁能行呢?”张安世百般推辞无效，最后，皇帝仍封他为大司马卫将军，领尚书事，并将都城以内的全部兵权交给他。
综观历史上许多权臣大将 ，处于这样的地位，往往踌躇满志，骄狂自得。张安世则不然，他深知月盈则亏、 水满则溢的道理， 更加小心畏忌， 谨慎供职。 他每次同皇帝一起参与大事决策后， 往往请病假不上朝，等皇帝就此发出诏令后，再派吏员到丞相府探问是怎么回事， 以致连朝廷大臣都不知道他曾参与密议。 他待下属也特别宽厚。 任光禄勋时， 曾有一个郎中因喝醉了在殿中小便，负责官员禀报张安世，欲按规惩治，张安世说：“你怎么知道他不是倒汤水呢，怎么能以小过成人罪责？”用这种方式保护了这位下属。 他又因父子尊显，心不自安，多次奏请皇帝将自己的儿子外派到地方任吏职。
张安世为官历武帝、昭帝、宣帝三朝，朝中屡经大变，宦海之中风急浪诡。张安世不管风云如何变幻，从不结党营私，一直正道行世。这是他能得到三代皇帝始终如一信任的重要原因。
应当说， 他同大将军霍光关系不错，彼此绝对信任。霍光推荐张安世做自己的副手， 也可以说他对张安世有知遇之恩。但是，张安世同霍光的交往， 完全是公谊， 是为国效力，为君尽忠，没有丝毫个人谋算的私心。 正因如此，当霍光死后数年，他的儿子霍禹、霍云、霍山等阴谋作乱的图谋败露， 在霍氏因此被灭族的一场大动乱中， 张安世没有受到丝毫牵连。
张安世的哥哥张贺任掖庭令 ，在武帝曾孙（后来的汉宣帝）年少寒微时曾尽力扶持与资助， 并认为武帝曾孙刚毅、有才气，多次向弟弟张安世称道。张安世就劝止他哥哥说：“年轻皇帝（指汉昭帝）在上，不宜称赞皇曾孙。”这些话皇曾孙当时都知道， 他即位当皇帝后对张安世说 ：“当年掖庭令称赞我， 你制止他，做得很对。”后来，宣帝为表彰张贺当年扶持之功， 封过继给张贺的张安世的小儿子张彭祖为阳都侯。
张安世当时贵为勋臣中的第一人，父子封侯，食邑超万户。但是，张安世自奉俭约， 平素在家只穿黑色粗丝做的衣服，夫人亲自纺线织布，家中奴仆皆劳作治产， 没有游手好闲者，由此也导致家境殷厚。他因此上书皇帝，要求辞去官家俸禄，当时官方的账本上， 张家拒领的金钱累计达百万之数。
张安世夫妇以身作则， 家教有方，他的子女也是忠谨俭朴。张安世去世后继承爵位的世子 张延寿 ，屡次上书皇帝，说自身没有功德，不应承受先人所封大国， 一再请求减少自己所封采邑的户数， 得到皇帝的嘉许。 此后， 张家数代皆以谦俭著名。
