0625_AI项目分析.md 3.6 KB
- 我想基于AI技术，进行以下功能实现，请帮忙进行扩展，最好说明技术路线和完整的解决方案
针对运行业务：
产品推荐与业务指引
- 持续学习框架：增量学习实现，保留旧产品知识的重要参数权重，同时增量学习新产品特征，避免灾难性遗忘；（可参考Hugging Face PEFT，Avalanche）
- 自动化知识抽取：使用BERT+BiLSTM-CRF模型从新产品手册、售后工单中抽取实体关系，自动更新知识图谱
- 冲突检测：通过对比新旧知识图谱，检测潜在冲突或冗余信息
知识库数字分身
- 通过历史问答聊天记录进行大模型微调，打造数字分身。
- 提供聊天数据到模型微调，从文本生成到语音克隆
- 可参考微信数字分身的实现方式
AutoGLM，基于手势、语音等进行无障碍交互
- MediaPipe 手势识别和 Vosk 语音识别模型
- AI 浏览器自动化框架，可通过自然语言简化浏览器自动化任务
- 底层为playwright
- 通过自然语音调用大模型的Computer Use能力
- 研究不同模型下准确性、成本、速度方面的比较
VTM现场运维工具
- 实时录制，通过屏幕解析工具，将用户界面的截图解析为结构化且易于处理的元素, 可参考微软开源Omni-tools
- 基于 YOLO、BLIP2 和 Florence 等模型，实现较为精准的图标识别并生成描述性文本
- 进行机器运行状态预测，异常状态秒级恢复
- 自动化操作，能够支持自动化测试的执行。
- 跟云端配合，能够进行每日VTM运行的总结。
输入检验校正
无障碍功能
- 手语机器翻译模型将语音/文本转换为手语词序列，并驱动3D数字人实时展示手语动作
- 视频通话时自动生成字幕，辅助听障用户理解客服语音内容
图像修复
- 针对拍照内容给出建议
- 提供部分修复功能
生物识别
- 识别场景，自动优化拍摄参数
- YOLOv8+CLIP融合模型，通过卷积神经网络（CNN）提取物体局部特征（如人像的面部轮廓），同时利用CLIP的图文预训练能力识别抽象场景
- 基于场景，动态校准拍摄参数
- AI声纹修复：优化语音清晰度
- 隐私保护：智能识别周围环境，防止他人窥视屏幕内容，保护用户隐私
针对代码：
- VTM影响范围分析（关联code和重要的配置文件）
- 使用Clang AST解析C++代码，生成函数调用图、类继承关系图，标记变更影响的模块边界
- 对配置变更，通过LLM分析配置键的语义，推断其影响的代码逻辑
- 静态分析：基于依赖图谱，识别直接调用链
- 动态预测：结合历史提交数据训练LSTM模型，预测高频关联模块
- 交互式影响报告：可视化依赖图谱，红色高亮高风险变更
- VTM异常分析
- C++工程，在崩溃时，产生的dump文件，环境上下文记录
- 通过时间戳关联系统日志、应用程序日志，补充崩溃上下文
- 结合源码、pdb、dmp进行符号化解析，还原崩溃点的函数名、源码行号、寄存器状态
- 根因分类：基于崩溃特征（如空指针、堆溢出）分类，采用轻量级XGBoost模型
- 语义关联分析：结合源码AST和调用图，用GNN定位潜在逻辑漏洞
- 智能修复建议生成。
- 人工审核
- C++代码覆盖率实现
- 开发环境为VS：OpenCppCoverage（Windows）+ grcov（Linux）
- 快速生成可视化报告。