Jim Gaffigan, sua esposa Jeannie (Ashley Williams) e seus cinco filhos tentam conviver sem enlouquecer num apartamento de apenas dois quartos em Manhattan. A fama do pai de família muitas vezes interfere na vida do lar, quando Jim leva o estresse de casa para o trabalho ou quando Jeannie se sente preterida pelo marido.