作者面對的是大型語言模型（LLMs）在解決算術和符號推理任務時的準確性問題。具體問題包括：
- 並行計算的局限性：傳統的Transformer模型在處理需要串行計算的問題時存在固有的局限性，尤其是在模型深度較低時。
- 表達能力的限制：先前研究表明，具有有限精度多項式（poly(n)）嵌入大小的恆定深度 Transformer 在沒有思維鏈（CoT）的情況下，只能解決TC0類問題，而對於需要更複雜計算的問題則束手無策。
- 思維鏈（CoT）的有效性：儘管CoT已被證明可以顯著提高LLMs在複雜推理任務上的準確性，但其背後的機制尚不清楚，需要進一步的理論分析和實證研究來揭示其提升模型推理能力的原因。