Die jüdische Gemeinde entstand im 17. Jahrhundert. Eine erste Synagoge bestand um 1800 (Klarastraße 14, das Gebäude steht heute noch).
1853 legte der Architekt Georg Jakob Schneider von Freiburg einen im maurischen Stil gehaltenen Bauplan für eine neue Synagoge vor. Nach diesem Plan konnte 1855/57 ein Synagogenneubau in der Ritterstraße 11 erstellt und am 4. September 1857 feierlich eingeweiht werden.
In der Pogromnacht im November 1938 wurde die Synagoge beschädigt. 1941 erwarb die politische Gemeinde das Gebäude und ließ es 1964 abreißen. Auf dem Grundstück steht heute ein Lagerhaus der Raiffeisenbank.
Die seit 1965 auf den Schmieheimer Friedhof lagernden Steine des Toraschreins und des Portals wurden 1988 nach Rust zurückgebracht.
200X errichtete die Gemeinde Rust im Hof der Raiffeisenbank mit den Resten des Portals eine kleine Gedenkstätte.