问答题
已知随机游动的转移概率矩阵为 求三步转移概率矩阵P（3）及当初始分布为P{X0=1}=P{X0=2}=0，P{X0=3}=1时，经三步转移后处于状态3的概率p。
问答题 从数1，2，…，N中任取一数，记为X1，再从1，2，…，X1中任取一数，记为X2；如此继续，从1，2，…，Xn-1中任取一数，记为Xn，说明{Xn，n≥1}构成一时齐的马氏链，并写出它的状态空间和一步转移概率矩阵。
问答题 设马尔可夫链的一步转移概率矩阵为 试证此链不是遍历的。
问答题 马尔可天链{ξn，n=1，2，…}具有下面的转移矩阵P，计算状态1经三步仍处于状态1的概率。
