不适用速裁程序的情形包括：
被告人身份特殊
被告人是尚未完全丧失辨认或者控制自己行为能力的精神病人。
被告人是未成年人。
案件社会影响重大
案件具有重大社会影响。
共同犯罪中的异议
共同犯罪案件中部分被告人对指控的犯罪事实、罪名、量刑建议或者对适用速裁程序有异议的。
缺乏调解或和解
被告人与被害人或者其他法定代理人没有就附带民事诉讼赔偿等事项达成调解或和解协议。
其他不宜适用速裁程序的情形
中院一审的案件，如涉及国恐危安等情形。
自诉案件不适用速裁程序。
这些情形主要是因为速裁程序设计的初衷是为了提高司法效率，但在实际操作中，由于制度激励不到位、规模效应未显现以及周期切换问题等因素，导致速裁程序并未完全达到预期效果。例如，一些地方在审查报告中简化力度不够，导致速裁程序与简易程序的工作负担相差无几，承办人缺乏动力去使用速裁程序。此外，社会调查评估时间长、回复慢也制约了速裁程序的适用。
因此，在实际操作中，需要综合考虑案件的具体情况和社会影响，以及承办人的实际情况，决定是否适用速裁程序。