Jackson’un siyasal muhalifleri, aralarında zıtlaşmayla bir başarı elde edemeyecekleri için, mutlu olmayan tüm kesimleri “Whigler” adı verilen bir ortak partide toplamaya çalıştılar.1832 seçimlerinden hemen ardından örgütlenmekle birlikte, görüş ayrılıklarını giderip bir program hazırlamaları on yıl sürdü. Whigler arasındaki en parlak devlet adamları olan Henry Clay ve Daniel Webster’in çekiciliği sayesinde parti güçlü bir taban oluşturdu. 1836 seçimleri sırasında Whigler yine de tek bir kişinin ya da programın ardında birleşemeyecek derecede bölünmüş durumdaydılar. Jackson’un başkan yardımcılığını yapmış olan New Yorklu Martin Van Buren seçimi kazandı.
Bir ekonomik bunalım ve selefinin destansı kişiliği Van Buren’in erdemlerini gölgeledi. Gerekli liderlik özellikleri bulunmadığı ve Jackson’un her fırsatta sergilediği becerilere sahip olmadığı için halkta hiçbir coşku uyandırmıyordu. 1840 seçimlerine gelindiğinde ülke sıkıntılar içindeydi, ücretler düşüktü ve Demokratlar savunmaya çekilmişlerdi.
Whiglerin başkan adayı Ohiolu William Henry Harrison, çok sevilen bir Kızılderili çatışmaları ve 1812 Savaşı kahramanıydı. Jackson gibi o da demokratik Batı’nın temsilcisi sayılıyordu. Başkan yardımcısı adayı Virginialı John Tyler’in eyaletlerin haklarına ve düşük gümrük tarifelerine ilişkin görüşleri Güney’de çok taraftar buluyordu. Harrison büyük bir zafer kazandı.
68 yaşındaki Harrison göreve başladığından bir ay sonra ölünce Tyler başkan oldu. Tyler’in görüşleri, hala ülkedeki en etkili kişiler olan Clay ve Webster’in görüşlerinden kesinlikle ayrıydı. Bu görüş ayrılıkları, daha Tyler’in görev süresi sona ermeden, onunla onu seçen parti arasında büyük bir kopukluğa neden oldu.
Amerikalılar arasında ise, Whiglerle Demokratlar arasındaki basit parti çatışmalarından daha karmaşık bölünmeler vardı. Sözgelimi, XIX. yüzyılın ilk yarısında, genellikle İrlandalı ve Alman olan çok sayıda Katolik göçmen, ülkede doğmuş Protestan Amerikalılar arasında tepki yaratıyordu.
Göçmenler, Amerika kıyılarına garip yeni gelenekler ve dinsel uygulamalardan daha çok şeyler getirmişlerdi. Doğu kıyılarındaki kentlerde, iş bulmak için yerel halkla rekabete giriştiler. Ayrıca, 1820’lerde ve 1830’larda oluşan siyasal değişiklikler yabancıların siyasal gücünü arttırdı. Anılan yirmi yıl içinde, eyalet anayasaları beyaz erkeklere genel oy kullanma hakkı tanıyacak biçimde değiştirilmişti. Böylelikle egemenlikleri sona eren soylu siyasetçiler, iktidardan düşmelerinin suçunu göçmenlere yüklediler. Sonuçta, Katolik Kilisesi’nin alkol kullanımını önleme hareketini desteklememesi, Roma’nın Amerika Birleşik Devletleri’ni alkol aracılığı ile bozmaya çalıştığı iddialarına yol açtı.
Bu dönemde sayısı çoğalan yerli üstünlüğü örgütlerinin en önemlisi, 1849’da kurulan gizli Yıldızlarla Bezenmiş Bayrak Örgütü’ydü. Örgüt üyeleri kimliklerini açıklamak istemeyince onlara hemen “Hiçbir Şey Bilmeyenler” adı takıldı. Hiçbir Şey Bilmeyenler 1853’te New York’ta bir Büyük Konsey toplayıp eyalet örgütlerini denetleyecek yeni bir anayasa hazırladılar.
Hiçbir Şey Bilmeyenler’in temel amaçlarından biri, vatandaşlığa alınma süresinin beş yıldan 21 yıla çıkarılması ve yabancı ülke doğumlu Katoliklerin kamu görevine seçilmesinin yasaklanmasıydı. Örgüt 1855’te New York ve Massachusetts yasama organlarının yönetimini ele geçirmeye başardı; aynı yıl içinde yaklaşık 90 A.B.D. Kongre Üyesi bu partiye bağlanmıştı.
Kölelik konusundaki görüş ayrılıkları, partinin ulusal siyasette bir rol oynamasını engelledi. Güneyli Hiçbir Şey Bilmeyenler köleliği desteklerken, Kuzeyli üyeler buna karşı çıkıyorlardı. 1856’da başkan ve başkan yardımcısı adaylarını belirlemek için yapılan Kongre toplantısında, Missouri Uzlaşması’nın desteklenmesi için verdikleri bir öneri göz ardı edilince 42 Kuzeyli temsilci oturumdan ayrıldı ve partinin bir ulusal güç olarak varlığı sona erdi.