目前，影响我国行政复议制度功能发挥的一个重要因素就是复议机关的设置不合理。由于我国设立行政复议的目的主要是使行政机关自行审查其行政行为的合法性和合理性，因此按照我国《行政复议法》的规定，复议机关原则上是作出具体行政行为的原行政机关的同级人民政府或上一级主管部门，其与被申请人不仅同属于行政组织，而且在组织上或业务上与被申请人有领导和被领导的关系。从目前法律对行政复议作出的界定来看，它是指公民、法人或其他组织认为行政机关的具体行政行为侵犯其合法权益，依法向法定的行政机关提出申请，由受理机关根据法定程序对具体行政行为的合法性和适当性进行审查并作出相应决定的活动。由此可以看出，行政复议实质上具有一种裁判性，即准司法性的活动。首先，行政复议遵循的是“不告不理”的原则，行政复议活动的产生由行政相对人依法提出申请;其次，行政复议是以解决个案的方式来裁决争议的，即解决行政机关与行政相对人之间的争议。行政复议准司法性决定了它必须在程序上体现出司法的一些特征，而司法的精髓在于其公正地解决纷争，因而它需要以复议机关的超脱性和程序上的严密性为支撑。目前从我国行政复议制度的形式来看，由于复议机关与被申请人具有一种利害关系，复议机关也就很难超脱于纠纷双方之上，公正地解决纠纷。
我国目前的行政复议属于一种层级监督的体制，其法律根据及理由是基于宪法规定的行政领导体制。宪法的相关规定，决定了上级行政机关对下级行政机关具有领导权，下级行政机关必须对上级行政机关负责。上级行政机关对下级行政机关行使监督权正是实现对下级领导的重要方式。上级行政机关对下级行政机关的监督由于基于上级对下级的直接领导关系。在监督手段上，不仅可以通过受理复议案件查处下级行政机关的行为是否合法、适当并做出相应的处理。另外，立法者认为层级监督作为行政系统的一种内部监督形式，在实践中会更行之有效。层级监督作为一种上下级之间的内部监督，由于上下级机关自成一体，相互关系密切，从上级机关来说，对下级机关的情况比较了解，也了解行政上的实际，技术上比较内行，监督与领导合二为一，使监督更具有权威。
然而，任何制度设计都是既有利也有弊的，这就要求我们在进行制度设计时作出一种权衡的选择。现行的这种层级监督制度的复议形式虽然起到了一定的作用，但在实践操作中却带来了很多的问题，使得我们不得不重新审视它的合理性。层级监督作为一种内部行政监督，难以保证监督的民主性和公正性。行政机关是管理机关，其内设的复议机构是负责法制工作的机构，并非专门设立的复议部门，其机构不独立，承担着其他繁重的行政管理任务，也就不可能集中精力对下级行政机关的行政行为是否合法进行有效的监督。由于行政上下级之间自成一体，其监督仍然只是一种自我监督，从现代法治精神上说，此种机制不符合回避的原则，也就很难发挥其应有的功能。且不说行政机关上下级之间是否官官相护，存在护短心理，就是上级行政机关对下级严格要求，有错必纠，仍然很难摆脱下级行政机关本身贯彻上级行政机关意图的所存在的问题，同时很多行政行为都是事先请示上级行政领导首肯的，在这种情况下，上级行政机关所进行的复议活动往往容易留于形式，难以真正发挥行政复议制度的作用。
现行的行政复议法中还规定有“对国务院部门或者省、自治区、直辖市人民政府的具体行政行为不服的，向作出该具体行政行为的国务院部门或者省、自治区、直辖市人民政府申请行政复议。对行政复议决定不服的，可以向人民法院提起行政诉讼;也可以和国务院申请裁决，国务院依照本法的规定作出最终裁决。”此规定采取了一个“自审”的方式进行复议，并采取选择的形式，从而部分地用行政裁决权替代了司法审查权，从而使部分行政行为缺乏有效监督。
除上述问题以外，行政复议法对复议工作人员的配备及要求并没有作出相应的规定，这也是该制度的缺陷，但是如果以上的程序问题不能重新设定，在目前的制度框架内，即便素质再高的人也难以有所作为，因为实际上行政复议最终作出决定权的并不是复议机构及复议工作人员，而是复议机构所在的行政机关的负责人，从而造成复议权和裁决权分离的状态。
