Die woord "Markovian" verwys na 'n proses of stelsel wat die Markov-eienskap het, wat beteken dat die toekomstige toestand van die stelsel of proses slegs afhang van sy huidige toestand, en nie van sy verlede geskiedenis nie. Met ander woorde, 'n Markoviaanse stelsel of proses is geheueloos en neem aan dat die waarskynlikheidsverdeling van die volgende toestand slegs afhang van die huidige toestand en nie van enige vorige toestande nie. Die term "Markovian" kom van die naam van die Russiese wiskundige Andrey Markov, wat een van die pioniers was in die studie van stogastiese prosesse en hul toepassings.