人工智能(AI)和大型语言模型(LLMs)正越来越多地应用于包括审计在内的各种业务工作流程中。
而提示工程( Prompt Engineering )是设计和优化输入(提示),以引导 DeepSeek 等大型语言模型( LLMs )和其他人工智能工具产生期望输出的艺术和科学。
举个通俗的例子,提示工程就像教小朋友画画:你想让他画出苹果,就得仔细想怎么描述"又圆又红的水果"(这就是提示)。如果你只说"画个水果",他可能会画出香蕉;但加上"红色、光滑表皮、长在树上"这些细节后,画出的苹果就更接近你的预期。
这种不断调整描述方式的过程就是提示工程——通过反复试验,找到最能让DeepSeek 等大模型理解并准确执行的提问方式。
实践效果
有效的提示工程( Prompt Engineering )使审计人员能够更高效、更准确地利用这些工具完成数据分析、风险识别、报告生成和合规性检查等任务。
从实践的效果看,好的提示词( Prompt )可以在以下几个方面显著提升内部审计工作的效率和深度:
制度解读
总结法规和内部政策:面对冗长复杂的监管文件或内部政策,审计人员可以使用提示工程快速提取核心要求、关键定义或特定章节的摘要。例如,可以要求 AI 总结某项法规对特定业务(如反洗钱客户尽职调查)的具体规定,或比较不同版本政策之间的变化,节省大量阅读和理解时间。
风险识别
根据描述或场景识别潜在风险:在评估新产品、新系统或新流程时,审计人员可以向 AI 提供相关的描述性信息,并运用提示工程引导其从不同维度(如操作风险、合规风险、信用风险、IT风险等)识别潜在的风险点。例如,可以要求 AI 分析一项新移动支付业务的功能描述,并列出可能存在的安全漏洞或监管合规挑战。
控制测试
测试控制描述的清晰度和完整性:审计人员可以将内部控制的书面描述输入 AI,并使用提示工程来评估其语言是否清晰明确、是否存在歧义、是否涵盖了所有必要的控制要素。AI 可以帮助识别模糊的术语(如“定期”、“适当”)、不明确的责任分配或缺失的关键步骤,从而促进控制文档的改进。
审计路径
构思审计程序:针对特定的审计目标或风险领域,审计人员可以利用提示工程让 AI 提出初步的审计程序建议。例如,可以要求 AI“针对核心系统的用户访问权限定期复核控制,建议至少5个具体的测试步骤”,AI 可以基于通用审计知识库或输入的特定标准(如 COSO 框架)生成建议,为审计计划的制定提供参考。
数据分析
分析大型数据集(交易、日志)以发现异常或模式:审计人员可以设计精确的提示,指导 AI 分析交易流水、系统日志或用户访问记录,以识别特定模式(如结构化交易、异常登录尝试)、筛选高风险交易(如大额、跨境、关联方交易),或标记出与预期行为不符的数据点,从而快速定位潜在的欺诈、滥用或控制弱点。
报告生成
生成审计发现或报告章节的草稿:基于审计过程中收集到的事实和证据,审计人员可以通过提示工程,指导 AI 按照标准的审计发现格式(如状况、标准、原因、影响、建议)生成初步的审计发现描述或报告草稿。这有助于确保措辞的专业性、逻辑的连贯性,并可以快速生成多个备选草稿供审计人员完善。
研究型审计
研究行业最佳实践或法规变化:当需要了解特定领域的行业最佳实践或最新的监管动态时,审计人员可以使用提示工程快速搜索和总结相关信息。例如,可以要求 AI 总结近期监管机构发布的关于第三方风险管理的新指南,或比较不同公司在某个控制领域的常见做法。
提升路径
要提升写好提示词(Prompt)的能力,内部审计人员可以遵循一个清晰的路径:理解大型语言模型的基础知识,掌握核心的提示原则,通过相关审计场景进行实践,不断迭代和优化提示。同时要严格遵守安全和保密规定,并持续学习和更新知识。
了解基础知识
理解大型语言模型 (LLMs) 的基础知识
-
工作原理
基本了解 LLMs 是什么,它们如何训练,以及它们的核心能力(如文本生成、摘要、分析、翻译)。 -
优势与劣势
认识到 LLMs 擅长语言任务,但也可能产生不准确的信息(“幻觉”),表现出训练数据中存在的偏见,并且缺乏真正的理解或推理能力。 -
关键概念
熟悉诸如 tokens(标记)、context window(上下文窗口)、temperature(温度)和 top-p 等术语,因为这些会影响模型的行为。
掌握核心的提示原则
-
清晰与具体
-
差提示:
"检查贷款文件。" -
好提示:
"审查附件中的5份贷款申请文件(文件A至E),对照我行《XX贷款审批政策V3.2》第4.1至4.5节的要求,识别并列出所有缺失的文件或不符合政策要求的具体条款。"
-
-
提供背景信息
-
差提示:
"总结这个规定。" -
好提示:
"我是XX的内部审计人员,正在审计我们的客户身份识别计划(CIP)。请根据《xx法》最终规则中关于CIP最低要求的部分,总结在开立账户前必须获取并核实的四类关键客户信息。"
-
-
定义角色/身份
-
差提示:
"告诉我IT风险。" -
好提示:
"你是一位拥有CISA认证的银行IT审计专家,请根据附件中描述的‘xx系统迁移计划’,识别出前5个最关键的IT风险,并简要说明每个风险的潜在影响。"
-
-
指定格式
-
差提示:
"列出问题。" -
好提示:
"请将识别出的所有控制缺陷整理成一个Mardown表格,包含三列:‘缺陷描述’、‘相关控制活动编号’和‘潜在风险’。"
-
-
使用约束条件
-
差提示:
"分析交易。" -
好提示:
"分析附件中的信用卡交易数据(2024年Q1),仅关注交易金额超过1000美元且发生在非营业时间(晚上10点至早上6点之间)的交易。列出交易ID和商户名称,最多列出20条。"
-
-
分解复杂任务
-
复杂任务:
评估整个贷款审批流程的合规性。 -
分解提示1:
"根据我行《XX手册》第5章,列出XX贷款审批所需的所有关键文件清单。" -
分解提示2:
"审查附件中的贷款档案样本X,对照步骤1生成的清单,识别缺失的文件。" -
分解提示3:
"评估贷款档案样本X中信用分析报告的充分性,是否包括了对借款人偿债能力的分析?"
-
通过审计场景不断实践
通过专注于这些审计领域场景的反复联系和迭代,内部审计人员可以培养强大的提示工程技能,从而能够在审计的特定背景下负责任且有效地利用 AI 工具。
-
风险识别
-
场景:
公司计划推出一项新的“XXX”产品。 -
提示:
"作为一名关注消费者合规性的内部审计人员,请根据XXX法规以及对XXX产品的普遍担忧,列出XX在推出新的XXX产品时可能面临的主要合规风险和欺诈风险。"
-
-
数据分析
-
场景:
分析费用报销数据。 -
提示:
"分析这份经过匿名处理的差旅费用报销数据(数据包含ID、报销日期、金额、费用类别)。识别是否存在同一人在同一天提交多笔小金额(低于50元)餐饮费用的模式,这可能暗示拆分报销以规避审批。列出涉及的匿名ID和相关日期。"
-
-
法规摘要
-
场景:
需要快速了解某项监管要求的核心内容。 -
提示:
"请用不超过200字的篇幅,总结《XXX法案》对资产规模超过XX亿元的银行的核心要求。" (注意:防止“幻觉”,需与法案原文核对)
-
-
控制评估
-
场景:
审查IT变更管理流程中的批准控制。 -
提示:
"审查以下IT变更管理控制描述:‘所有生产环境的变更请求必须通过系统提交,并由部门经理批准。’ 作为IT审计人员,请评估此描述是否清晰、完整?是否存在模糊之处?例如,‘系统’是指哪个系统?‘部门经理’的授权级别是否足够?批准方式是什么?"
-
-
审计程序制定
-
场景:
审计XX的模型风险管理框架。 -
提示:
"为审计我行信用风险评分模型的验证环节,请建议至少5个具体的审计测试程序,以评估模型验证的独立性和有效性,需考虑SR 11-7指南的要求。"
-
-
起草发现/报告
-
场景:
发现贷款审批过程中缺少必要的收入证明文件。 -
提示:
"根据以下事实:在抽查的20笔个人消费贷款中,有3笔(贷款号A, B, C)未能提供借款人近6个月的银行流水或工资单作为收入证明,违反了我行《XXX政策》第3.2条。请基于‘状况、标准、原因、影响、建议’(5C要素)的框架,起草一个关于‘贷款审批收入证明文件缺失’的审计发现草稿。原因初步判断为审批人员疏忽。"
-
持续迭代与优化
-
分析输出
不要轻易接受DeepSeek等大模型输出的第一个响应。批判性地评估其准确性、相关性和完整性。如果AI生成的法规摘要不准确,要能识别出来。 -
实验迭代
如果提示“识别高风险交易”效果不佳,尝试更具体的提示,如“识别从高风险国家名单(见附件A)汇入且金额超过5000美元的交易”。 -
分享协作
在审计团队会议中设立一个简短环节,分享本周使用AI工具的经验或一个有效的提示技巧。 -
建立提示库
将用于“检查用户访问权限定期复核”的有效提示保存下来,下次审计类似领域时可以直接调用或稍作修改。
确保安全与保密
-
绝不输入敏感数据
这一点至关重要。 例如,绝不能将包含真实客户姓名、账号、身份证号的表格直接粘贴到公共AI工具中。 -
使用经批准的工具
仅使用公司信息安全部门批准的、部署在内部或有安全保障的AI平台。 -
匿名化与合成
在需要练习分析交易模式时,可以使用生成工具创建与真实数据结构相似但不包含真实信息的合成交易数据。 -
强制性验证
AI提示可以帮助起草审计程序,但最终执行哪些程序、如何执行以及审计结论,必须由审计人员基于专业判断和独立验证来确定。
视频讲解
秘塔AI搜索上线了一个很神奇的功能 “今天学点儿啥” ( https://metaso.cn/study ) ,扔个它一篇文章或文章的网址,可以选择“难度”、“风格”、“角色”、“场景”等,自动根据文章内容生成一个个性化的学习视频,有PPT、有你喜欢的角色讲解。
学习过程中,还可以“问问老师”,对不懂的内容随时提问。
视频学习完了还有根据视频内容生成的测试题,测试下是不是听懂了、掌握了。
我将这篇文章内容提交给秘塔AI搜索“今天学点儿啥”,选择了“初学者”、“讲故事”等,生成的学习视频链接如下:https://metaso.cn/s/p1xcbHj