Joseph Rutherford voksede op som baptist på en lille bondegård. Da han blev 16 år gammel, blev han interesseret i jura. Han lånte penge så han kunne studere. Efter at have fuldført sin akademiske uddannelse modtog han yderligere to års oplæring under dommer E. L. Edwards. For at kunne betale sine studier gik Rutherford fra hus til hus og solgte leksika. Da han var 20 blev han officiel protokolfører i retten for fjortende retskreds i Missouri. Den 5. maj 1892 fik han sin tilladelse til at praktisere i Missouri. Senere arbejdede han i fire år som offentlig anklager i Boonville i Missouri, og derefter virkede han nu og da som dommer i særlige sager i Missouris ottende retskreds. Det var derfor han blev kendt som „dommer Rutherford“.
Fordi Rutherford lavede organisatoriske ændringer og ændrede en lang række lærepunkter, opstod der splittelse i sekten. Nogle dannede nye Bibelstudiegrupper hvoraf de mest kendte er Russelliter. Mange af de organisatoriske ændringer og ændringer i deres lære er stadig i brug af Jehovas Vidner i dag. Det var Rutherfords idé at kaldte organisationen for et Teokrati og Rutherford var også ophavsmand til navneændringen fra Bibelstudenterne til Jehovas Vidner.