牛牢，字君直。世祖为布衣时，与牢交游，尝夜共讲说谶言，云：刘秀当为天子。世祖曰：“安知非我。万一果然，各言尔志。”牢独默然。世祖问之，牢曰：“丈夫立义，不与帝友。”众大笑。及世祖即位，征牢，称疾不至。诏曰：“朕幼交牛君，真清高士也。”恒有疾，州郡之官常先到家致意焉，刺史、郡守是以每辄奉诏就家存问。牢恒被称疾，不答诏命。