【思路】
A项：根据《公务员法》第90条规定，公务员对涉及本人的下列人事处理不服的，可以自知道该人事处理之日起三十日内向原处理机关申请复核；对复核结果不服的，可以自接到复核决定之日起十五日内，按照规定向同级公务员主管部门或者作出该人事处理的机关的上一级机关提出申诉；也可以不经复核，自知道该人事处理之日起三十日内直接提出申诉。该处长若对此人事处理存在异议，可以申请复核或申诉，而不是提出行政诉讼，故选项说法错误。

B项：根据《公务员处分条例》第29条第1款规定，拒不承担赡养、抚养、扶养义务的，给予警告、记过或者记大过处分；情节较重的，给予降级或者撤职处分；情节严重的，给予开除处分。该科员拒不赡养父母，情节严重，单位给予开除处分符合我国相关法律法规，选项说法正确。

C项：根据《公务员法》第102条规定，公务员辞去公职或者退休的，原系领导成员的公务员在离职三年内，其他公务员在离职两年内，不得到与原工作业务直接相关的企业或者其他营利性组织任职，不得从事与原工作业务直接相关的营利性活动。该商务厅厅长退休后第二年就去其下属具有营利性质的商贸公司就职不符合法律规定，该省公务员主管部门责令其限期改正符合法律规定，选项说法正确。

D项：根据《公务员法》第54条规定，公务员执行公务时，认为上级的决定或者命令有错误的，可以向上级提出改正或者撤销该决定或者命令的意见。某税务局科长执行公务时，认为局长的决定有错误，向局长提出改正意见符合法律规定，选项说法正确。

本题为选非题，因此，答案为A。