ajbardziej złożoną, a zarazem bardzo istotną, częścią automatycznego systemu wykrywania znaków drogowych jest detekcja. Dlatego bardzo istotne jest, aby na tym etapie system był możliwie jak najefektywniejszy. Natomiast to co ogranicza precyzyjność i prędkość działania dostępnych rozwiązań to różnego typu trudności, a są nimi np.:

• trudne warunki atmosferyczne (śnieg, deszcz, mgła)

• słabe oświetlenie
• dodatkowe źródła światła o różnej kolorystyce

• zmiany natężenia, odbicia światła

• wyblakłe, uszkodzone lub pochylone znaki drogowe

• częściowe przesłonięcie znaku przez inne obiekty tj.: drzewa, samochody, reklamy

• rzucanie cienia przez inne obiekty na znak
  
• problemy z odczytaniem i zrozumieniem treści tabliczki uzupełniającej dołączonej do znaku drogowego
  

• rozmycie wywołane drganiami podczas poruszania się po nierównościach powierzchni jezdnej drogi i niedostatecznym oświetleniem
  

• rozmiar znaku w kadrze zależy od odległości pomiędzy znakiem a kamerą
  

• różnice w kolorze i piktogramach znaków poza obszarem danego państwa