Въ начале 1840-хъ годовъ въ Таганроге было открыто еврейское училище „Талмудъ-Тарахъ", содержанiе котораго было отнесено на еврейскiй коробочный сборъ. Въ 1848 году учителемъ его былъ Гимель Абрамовичъ съ жалованьемъ 60 руб. въ годъ. Но въ виду того, что министерство потребовало во всехъ еврейскихъ училищахъ иметь учителей русскаго языка, а на это еврейское общество средствъ не имело, училище было закрыто. Спустя пять летъ, 28 февраля 1853 года старанiемъ директора Смоленскаго было открыто казенное двухклассное еврейское училище. Учителемъ русскихъ предметовъ и смотрителемъ былъ назначенъ Носенко, а еврейскихъ Файвель Докеръ; въ высшемъ же классе Зисманъ Парнохъ. Средства училища были такiя: еврейскаго сбора 140 руб., таганрогская гимназiя отпускала 270 руб., Дума 50 руб., Керчь-еникальское градоначальство 50 р. и Каменецъ-Подольская губершя 690 руб.
Въ 1868 году местный раввинъ Г. М. Зельцеръ возбудилъ вопросъ объ открытiи при этомъ училище «Талмудъ-Торы», еврейское общество сочувственно отнеслось и ассигновало 400 руб., но такъ, какъ весь коробочный сборъ въ то время пошелъ на постройку синагоги, то открытiе дополнительнаго отделенiя не состоялось и только въ 1873г. по ходатайству директора Н. Н. Порунова и раввина оно было открыто на первый разъ иждивенiемъ Леопольда Герцфельда и Якова Полякова, а потомъ на счетъ коробочнаго сбора. Это казенное училище существовало до 1 сентября 1874 года, когда было закрыто.
Въ виду закрытiя еврейскаго двухкласснаго училища въ среде еврейскаго общества возникла мысль открыть училище на собственныя средства, хотя бы одноклассное; мысль эта осуществлена въ 1877 году 17 октября. Первыми блюстителями, училища были избраны Я. С. Поляковъ, М. Я. Шикъ, Л. М. Фрядлендоръ и М. I. Штримеръ. Средства училища были такiя: коробочнаго сбора 837 руб., почетнаго блюстителя Полякова взносъ ежегодный 300 руб., духовнаго правленiя 100 руб. и добровольныя пожертвованiя. Заведыванiе училищемъ и преподаванiе русскаго яз. и арифметики поручено Г. М. Зельцеру съ жалованiемъ 400 руб., преподаванiе еврейскихъ предметовъ — Омеру Axieзepy и Самуилу Рессеру съ жалованiемъ по 300руб.
Сначала училище помещалось въ частномъ и неудобномъ помещенiи, но затемъ на средства Я. С. Полякова было собственное зданiе приспособлено для означенной цели.