我如何使用 LlamaIndex 工作流简化我的研究和演示过程-洪萨配资

原文：towardsdatascience.com/how-i-streamline-my-research-and-presentation-with-llamaindex-workflows-3d75a9a10564?source=collection_archive---------3-----------------------#2024-09-10

一个通过 AI 工作流实现可靠性、灵活性和可控性的示例

https://medium.com/@lzchen.cs?source=post_page---byline--3d75a9a10564--------------------------------https://towardsdatascience.com/?source=post_page---byline--3d75a9a10564-------------------------------- Lingzhen Chen

·发表于 Towards Data Science ·16 分钟阅读·2024 年 9 月 10 日

–

LlamaIndex 最近推出了一项新功能：工作流。对于那些希望创建既可靠又灵活的 AI 解决方案的人来说，这非常有用。为什么呢？因为它允许你定义具有控制流的自定义步骤。它支持循环、反馈和错误处理。它就像一个 AI 驱动的管道。但与通常实现为有向无环图（DAG）的典型管道不同，工作流还支持循环执行，使其成为实现代理式和其他更复杂过程的良好候选。

[## Introducing workflows beta: a new way to create complex AI applications with LlamaIndex …

LlamaIndex 是一个简单灵活的数据框架，用于将自定义数据源连接到大型语言模型（LLMs）。

www.llamaindex.ai](https://www.llamaindex.ai/blog/introducing-workflows-beta-a-new-way-to-create-complex-ai-applications-with-llamaindex?source=post_page-----3d75a9a10564--------------------------------)

在这篇文章中，我将展示如何使用 LlamaIndex 工作流简化我的研究过程，帮助我研究某个主题的最新进展，然后将这些研究成果转化为 PowerPoint 演示文稿。

当涉及到查找新的研究出版物或论文时，ArXiv.org是我主要的来源。然而，网站上的论文非常多。截至 2024 年 9 月，ArXiv 上大约有 250 万篇论文，其中 17,000 篇是仅在 8 月份提交的（统计数据在这里）。即使限制在一个特定主题下，要阅读的内容依然非常庞大。但这并不是一个新问题。长期以来，学术研究人员必须浏览大量的文献以进行自己的研究。过去两年大型语言模型（LLM）的兴起为我们提供了诸如ResearchGPT、papersGPT和许多在OpenAI平台上为特定研究目的构建的定制 GPT 工具，这些工具有助于文献搜索、摘要提取和展示。

尽管这些工具很有用，但我选择使用 LlamaIndex 工作流来构建自己的工作流，原因有几个关键点：

我已经有一个特定的研究过程，并希望保持它，但提高效率。
我想利用 LLM 和代理行为，并保持对大多数步骤的控制。
我的目标不仅仅是获得最终的 PowerPoint 演示文稿；我还希望能访问中间结果，以便在整个过程中观察、调整和排除故障。
我需要一个一体化的解决方案，能够端到端处理所有任务，而无需在不同的工具之间切换来进行摘要或创建幻灯片等任务。
如果我的需求发生变化，我可以轻松地扩展或修改工作流。

我将设置一个工作流，用户提供一个研究主题（例如：“使用 GenAI 制作 PowerPoint 幻灯片”），然后从 arxiv.org 网站拉取几篇论文，并使用 LLM 对每篇论文进行总结。更具体地说，我希望总结的一些关键信息包括：方法类型、模型的组件、预训练或微调方法、数据集、评估方法指标和结论。所有这些的输出将是一个 PowerPoint 演示文稿，每篇论文一张幻灯片，包含来自总结的关键洞见。

在我解释如何实现这个工作流之前，理解 LlamaIndex 工作流中的两个关键概念非常重要：事件和步骤。

步骤：步骤是工作流的构建块。它们是代表工作流各个组件的 Python 函数。每个步骤执行特定任务，如发送网页查询、获取 LLM 响应或处理数据。步骤可以通过接收和发出事件与其他步骤进行交互。步骤还可以访问共享的上下文，从而实现跨不同步骤的状态管理。
Event：事件作为数据承载体和工作流的流程控制器，以 Pydantic 对象的形式实现。它们控制工作流的执行路径，使工作流具有动态性和灵活性。用户可以自定义事件的属性。两个预定义的特殊事件类型StartEvent和StopEvent控制工作流的开始和结束点。

LlamaIndex 提供了几个笔记本示例和视频系列，详细介绍了这些概念。

除了基本组件外，我的工作流还使用了：

异步和并行执行：为了提高效率，能够并发地完成多个任务。
嵌套工作流：工作流中更复杂的层级结构。
LLM 的结构化输出：为了确保数据在步骤之间传递时是结构化的。
不同的 LLM 模型：为了在步骤之间使用具有不同能力和推理速度的模型（gpt-4o和gpt-4o-mini）。
代码执行的动态会话：为了允许在隔离环境中执行代码。
不同步骤的独立代理：在过程中使用特定的代理来处理特定任务。

你可以在Github上找到这个工作流的完整代码。要运行它，你需要 Tavily 搜索、Semantic Scholar 和 Azure OpenAI 的 API 密钥（由于这个实现使用了 Azure 资源，但你可以很容易地将其切换为 OpenAI 或其他模型，使用 LlamaIndex）。在接下来的部分，我将介绍一些构建这个工作流的关键细节和步骤。

主工作流

主工作流由两个嵌套的子工作流组成：

summary_gen：这个子工作流会查找给定主题的研究论文并生成摘要。它通过网页查询进行文献检索，并利用 LLM 根据指示获取见解和摘要。
slide_gen：这个子工作流负责使用前一步的摘要生成 PowerPoint 幻灯片。它使用提供的 PowerPoint 模板格式化幻灯片，并通过创建和执行 Python 代码（使用python-pptx库）生成幻灯片。

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/96f12d1104e4621f16076bdf2db26ea8.png

主工作流概述（作者提供的图像）

摘要生成子工作流

让我们仔细看看这些子工作流。首先是summary_gen工作流，它相当简单。它遵循一个简单的线性过程。它基本上作为一个“数据处理”工作流，某些步骤会向 LLM 发送请求。

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/6b509b343f1fef98f8c97632785d934f.png

摘要生成工作流（作者提供的图像）

工作流首先通过获取用户输入（一个研究主题）开始，并经过以下步骤：

tavily_query：使用 Tavily API 查询与主题相关的学术论文，并返回结构化的响应。
get_paper_with_citations：对于从 Tavily 查询返回的每篇论文，此步骤使用 SemanticScholar API 获取论文元数据以及被引用论文的元数据。
filter_papers：由于并非所有检索到的引用都与原始主题直接相关，因此此步骤对结果进行精炼。每篇论文的标题和摘要会被发送到 LLM，以评估它们的相关性。此步骤定义如下：

@step(num_workers=4)asyncdeffilter_papers(self,ev:PaperEvent)->FilteredPaperEvent:llm=new_gpt4o_mini(temperature=0.0)response=awaitprocess_citation(ev.paper,llm)returnFilteredPaperEvent(paper=ev.paper,is_relevant=response)

在process_citation()函数中，我们使用LlamaIndex 的 FunctionCallingProgram来获取结构化的响应：

IS_CITATION_RELEVANT_PMT=""" You help a researcher decide whether a paper is relevant to their current research topic: {topic} You are given the title and abstract of a paper. title: {title} abstract: {abstract} Give a score indicating the relevancy to the research topic, where: Score 0: Not relevant Score 1: Somewhat relevant Score 2: Very relevant Answer with integer score 0, 1 or 2 and your reason. """classIsCitationRelevant(BaseModel):score:intreason:strasyncdefprocess_citation(citation,llm):program=FunctionCallingProgram.from_defaults(llm=llm,output_cls=IsCitationRelevant,prompt_template_str=IS_CITATION_RELEVANT_PMT,verbose=True,)response=awaitprogram.acall(title=citation.title,abstract=citation.summary,topic=citation.topic,description="Data model for whether the paper is relevant to the research topic.",)returnresponse

download_papers：此步骤收集所有筛选后的论文，根据相关性得分和在 ArXiv 上的可用性对它们进行优先级排序，并下载最相关的论文。
paper2summary_dispatcher：每篇下载的论文都会为生成摘要进行准备，通过设置存储图像和摘要的路径。此步骤使用self.send_event()来启用每篇论文的paper2summary步骤并行执行。它还通过变量ctx.data[“n_pdfs”]设置工作流上下文中的论文数量，以便后续步骤知道需要处理的论文总数。

@step(pass_context=True)asyncdefpaper2summary_dispatcher(self,ctx:Context,ev:Paper2SummaryDispatcherEvent)->Paper2SummaryEvent:ctx.data["n_pdfs"]=0forpdf_nameinPath(ev.papers_path).glob("*.pdf"):img_output_dir=self.papers_images_path/pdf_name.stem img_output_dir.mkdir(exist_ok=True,parents=True)summary_fpath=self.paper_summary_path/f"{pdf_name.stem}.md"ctx.data["n_pdfs"]+=1self.send_event(Paper2SummaryEvent(pdf_path=pdf_name,image_output_dir=img_output_dir,summary_path=summary_fpath,))

paper2summary：对于每篇论文，它将 PDF 转换为图像，然后将图像发送到 LLM 进行摘要生成。一旦生成摘要，它会保存在一个 Markdown 文件中，以供将来参考。特别地，这里生成的摘要非常详细，像一篇小文章，因此还不太适合直接放入演示文稿中。但它会被保留下来，以便用户查看这些中间结果。在后续的步骤中，我们将使这些信息更具可展示性。提供给 LLM 的提示包含关键指令，以确保生成准确且简明的摘要：

SUMMARIZE_PAPER_PMT=""" You are an AI specialized in summarizing scientific papers. Your goal is to create concise and informative summaries, with each section preferably around 100 words and limited to a maximum of 200 words, focusing on the core approach, methodology, datasets, evaluation details, and conclusions presented in the paper. After you summarize the paper, save the summary as a markdown file. Instructions: - Key Approach: Summarize the main approach or model proposed by the authors. Focus on the core idea behind their method, including any novel techniques, algorithms, or frameworks introduced. - Key Components/Steps: Identify and describe the key components or steps in the model or approach. Break down the architecture, modules, or stages involved, and explain how each contributes to the overall method. - Model Training/Finetuning: Explain how the authors trained or finetuned their model. Include details on the training process, loss functions, optimization techniques, and any specific strategies used to improve the model’s performance. - Dataset Details: Provide an overview of the datasets used in the study. Include information on the size, type and source. Mention whether the dataset is publicly available and if there are any benchmarks associated with it. - Evaluation Methods and Metrics: Detail the evaluation process used to assess the model's performance. Include the methods, benchmarks, and metrics employed. - Conclusion: Summarize the conclusions drawn by the authors. Include the significance of the findings, any potential applications, limitations acknowledged by the authors, and suggested future work. Ensure that the summary is clear and concise, avoiding unnecessary jargon or overly technical language. Aim to be understandable to someone with a general background in the field. Ensure that all details are accurate and faithfully represent the content of the original paper. Avoid introducing any bias or interpretation beyond what is presented by the authors. Do not add any information that is not explicitly stated in the paper. Stick to the content presented by the authors. """

finish：此工作流收集所有生成的摘要，验证它们是否正确存储，并记录流程的完成情况，并返回StopEvent作为最终结果。

如果此工作流独立运行，执行将在此处结束。然而，由于这是主流程的一个子工作流，完成后将触发下一个子工作流——slide_gen。

幻灯片生成子工作流

此工作流基于前一步骤中创建的摘要生成幻灯片。以下是slide_gen工作流的概述：

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/573a6a77435fb934c9b90afff1c6acce.png

幻灯片生成工作流（图片来自作者）

当前一个子工作流完成且摘要 Markdown 文件准备好时，启动以下工作流：

get_summaries：此步骤读取摘要文件的内容，针对每个文件触发SummaryEvent，再次使用self.send_event()以便启用并行执行，促进更快速的处理。
summary2outline：此步骤通过使用 LLM 将摘要转化为幻灯片大纲文本。它将摘要缩短为句子或项目符号，以便放入演示文稿中。
gather_feedback_outline：在此步骤中，它将提议的幻灯片大纲与论文摘要一起呈现给用户以供他们审阅。用户提供反馈，如果需要修改，可能会触发OutlineFeedbackEvent。这个反馈循环会继续进行，直到用户批准最终大纲为止，届时会触发OutlineOkEvent。

@step(pass_context=True)asyncdefgather_feedback_outline(self,ctx:Context,ev:OutlineEvent)->OutlineFeedbackEvent|OutlineOkEvent:"""Present user the original paper summary and the outlines generated, gather feedback from user"""print(f"the original summary is:{ev.summary}")print(f"the outline is:{ev.outline}")print("Do you want to proceed with this outline? (yes/no):")feedback=input()iffeedback.lower().strip()in["yes","y"]:returnOutlineOkEvent(summary=ev.summary,outline=ev.outline)else:print("Please provide feedback on the outline:")feedback=input()returnOutlineFeedbackEvent(summary=ev.summary,outline=ev.outline,feedback=feedback)

outlines_with_layout：它通过包括来自给定 PowerPoint 模板的页面布局细节，使用 LLM 增强每个幻灯片大纲。在这个阶段，所有幻灯片页面的内容和设计都会保存在一个 JSON 文件中。
slide_gen：它使用ReAct 代理根据给定的大纲和布局细节制作幻灯片文档。这个代理具有一个代码解释器工具，可以在隔离环境中运行和修正代码，还具有一个布局检查工具，用来查看给定的 PowerPoint 模板信息。该代理会使用python-pptx来创建幻灯片，并能观察并修正错误。

@step(pass_context=True)asyncdefslide_gen(self,ctx:Context,ev:OutlinesWithLayoutEvent)->SlideGeneratedEvent:agent=ReActAgent.from_tools(tools=self.azure_code_interpreter.to_tool_list()+[self.all_layout_tool],llm=new_gpt4o(0.1),verbose=True,max_iterations=50,)prompt=(SLIDE_GEN_PMT.format(json_file_path=ev.outlines_fpath.as_posix(),template_fpath=self.slide_template_path,final_slide_fname=self.final_slide_fname,)+REACT_PROMPT_SUFFIX)agent.update_prompts({"agent_worker:system_prompt":PromptTemplate(prompt)})res=self.azure_code_interpreter.upload_file(local_file_path=self.slide_template_path)logging.info(f"Uploaded file to Azure:{res}")response=agent.chat(f"An example of outline item in json is{ev.outline_example.json()},"f" generate a slide deck")local_files=self.download_all_files_from_session()returnSlideGeneratedEvent(pptx_fpath=f"{self.workflow_artifacts_path}/{self.final_slide_fname}")

validate_slides：检查幻灯片文档，确保它符合给定的标准。这个步骤包括将幻灯片转化为图像，并让 LLM 根据指南对其进行视觉检查，以确保内容正确且风格一致。根据 LLM 的发现，如果有问题，它会发送SlideValidationEvent，如果一切看起来良好，则会发送StopEvent。

@step(pass_context=True)asyncdefvalidate_slides(self,ctx:Context,ev:SlideGeneratedEvent)->StopEvent|SlideValidationEvent:"""Validate the generated slide deck"""ctx.data["n_retry"]+=1ctx.data["latest_pptx_file"]=Path(ev.pptx_fpath).name img_dir=pptx2images(Path(ev.pptx_fpath))image_documents=SimpleDirectoryReader(img_dir).load_data()llm=mm_gpt4o program=MultiModalLLMCompletionProgram.from_defaults(output_parser=PydanticOutputParser(SlideValidationResult),image_documents=image_documents,prompt_template_str=SLIDE_VALIDATION_PMT,multi_modal_llm=llm,verbose=True,)response=program()ifresponse.is_valid:returnStopEvent(self.workflow_artifacts_path.joinpath(self.final_slide_fname))else:ifctx.data["n_retry"]<self.max_validation_retries:returnSlideValidationEvent(result=response)else:returnStopEvent(f"The slides are not fixed after{self.max_validation_retries}retries!")

用于验证的标准是：

SLIDE_VALIDATION_PMT=""" You are an AI that validates the slide deck generated according to following rules: - The slide need to have a front page - The slide need to have a final page (e.g. a 'thank you' or 'questions' page) - The slide texts are clearly readable, not cut off, not overflowing the textbox and not overlapping with other elements If any of the above rules are violated, you need to provide the index of the slide that violates the rule, as well as suggestion on how to fix it. """

modify_slides：如果幻灯片未通过验证检查，上一阶段会发送SlideValidationEvent事件。在这里，另一个ReAct 代理会根据验证反馈更新幻灯片，更新后的幻灯片将被保存并返回进行再次验证。根据SlideGenWorkflow类的max_validation_retries变量属性，这个验证循环可能会多次发生。

为了运行完整的端到端工作流，我们通过以下步骤启动过程：

classSummaryAndSlideGenerationWorkflow(Workflow):@stepasyncdefsummary_gen(self,ctx:Context,ev:StartEvent,summary_gen_wf:SummaryGenerationWorkflow)->SummaryWfReadyEvent:print("Need to run reflection")res=awaitsummary_gen_wf.run(user_query=ev.user_query)returnSummaryWfReadyEvent(summary_dir=res)@stepasyncdefslide_gen(self,ctx:Context,ev:SummaryWfReadyEvent,slide_gen_wf:SlideGenerationWorkflow)->StopEvent:res=awaitslide_gen_wf.run(file_dir=ev.summary_dir)returnStopEvent()asyncdefrun_workflow(user_query:str):wf=SummaryAndSlideGenerationWorkflow(timeout=2000,verbose=True)wf.add_workflows(summary_gen_wf=SummaryGenerationWorkflow(timeout=800,verbose=True))wf.add_workflows(slide_gen_wf=SlideGenerationWorkflow(timeout=1200,verbose=True))result=awaitwf.run(user_query=user_query,)print(result)@click.command()@click.option("--user-query","-q",required=False,help="The user query",default="powerpoint slides automation",)defmain(user_query:str):asyncio.run(run_workflow(user_query))if__name__=="__main__":draw_all_possible_flows(SummaryAndSlideGenerationWorkflow,filename="summary_slide_gen_flows.html")main()

结果

现在让我们看一下为论文LayoutGPT: 基于大语言模型的组合视觉规划与生成生成的一个中间总结示例：

# Summary of "LayoutGPT: Compositional Visual Planning and Generation with Large Language Models"## Key ApproachThe paper introduces LayoutGPT,a framework leveraging large language models(LLMs)forcompositional visual planningandgeneration.The core ideaisto utilize LLMs to generate2Dand3Dscene layoutsfromtextual descriptions,integrating numericalandspatial reasoning.LayoutGPT employs a novel prompt construction methodandin-context learning to enhance the model's ability to understandandgeneratecomplexvisual scenes.## Key Components/Steps1\.**Prompt Construction**:LayoutGPT uses detailed task instructionsandCSS-like structures to guide the LLMsingenerating layouts.2\.**In-Context Learning**:Demonstrative exemplars are provided to the LLMs to improve their understandingandgeneration capabilities.3\.**NumericalandSpatial Reasoning**:The model incorporates reasoning capabilities to handle numericalandspatial relationshipsinscene generation.4\.**Scene Synthesis**:LayoutGPT generates2Dkeypoint layoutsand3Dscene layouts,ensuring spatial coherenceandobjectplacement accuracy.## Model Training/FinetuningLayoutGPTisbuilt on GPT-3.5andGPT-4models,utilizingin-context learning rather than traditional finetuning.The training process involves providing the modelwithstructured promptsandexamples to guide its generation process.Loss functionsandoptimization techniques arenotexplicitly detailed,asthe focusison leveraging pre-trained LLMswithminimal additional training.## Dataset DetailsThe study uses several datasets:-**NSR-1K**:A new benchmarkfornumericalandspatial reasoning,createdfromMSCOCO annotations.-**3D-FRONT**:Usedfor3Dscene synthesis,containing diverse indoor scenes.-**HRS-Bench**:For evaluating color binding accuracyingenerated scenes.These datasets are publicly availableandserveasbenchmarksforevaluating the model's performance.## Evaluation Methods and MetricsThe evaluation involves:-**Quantitative Metrics**:Precision,recall,andF1 scoresforlayout accuracy,numerical reasoning,andspatial reasoning.-**Qualitative Analysis**:Visual inspection of generated scenes to assess spatial coherenceandobjectplacement.-**Comparative Analysis**:Benchmarking against existing methods like GLIGENandATISS to demonstrate improvementsinlayout generation.## ConclusionThe authors conclude that LayoutGPT effectively integrates LLMsforvisual planningandscene generation,achieving state-of-the-art performancein2Dand3Dlayout tasks.The framework's ability to handle numerical and spatial reasoning is highlighted as a significant advancement. Limitations include the focus on specific scene types and the need for further exploration of additional visual reasoning tasks. Future work suggests expanding the model's capabilities to more diverseandcomplexvisual scenarios.