Mixtral：数据流中的生成式稀疏专家混合模型

想了解更多AIGC的内容，请访问：

51CTO AI.x社区

https://www.51cto.com/aigc/

Cloudera公司数据流首席工程师Tim Spann 表示，Mixtral-8x7B大型语言模型(LLM)是一个预先训练的生成式稀疏专家混合模型。

他表示，这款模型非常有趣，也很容易理解。在适当的指导下，它似乎表现很好。而通过例子，他并不确定Mixtral-8x7B是否比Google Gemma、Meta LLAMA2或OLLAMA Mistral更好。

Spann撰写的文章将展示如何使用Mixtral LLM，只需要几个步骤就可以针对文本输入运行Mixtral LLM。

该模型可以由轻量级无服务器REST API或Transformer库运行。也可以使用GitHub存储库，其场景最多可容纳32000个令牌。开发人员还可以输入英语、意大利语、德语、西班牙语和法语的提示。关于如何利用这一模型有很多选择项，而本文将展示如何利用Apache NiFi系统构建实时LLM通道。

开发人员需要决定的一个关键问题是将使用什么样的输入（聊天、代码生成、问题答案、文档分析、摘要等）。一旦决定输入，需要创建一些提示，并且进行调整。文中将提供一些指导，帮助提高快速构建技能的能力。Spann在其培训教程中介绍了一些基本的提示工程。

构建最佳提示的指南

混合：快速工程指南
开始使用混合8X7B

提示符的构建对于使其正常工作非常关键，因此使用Apache NiFi系统构建提示符。

流程概述

步骤1：创建并格式化提示符

在构建应用程序时，以下是将要使用的基本提示模板。

提示模板

{ "inputs": "[INST]Write a detailed complete response that appropriately answers the request.[/INST][INST]Use this information to enhance your answer: ${context:trim():replaceAll('"',''):replaceAll('\n', '')}[/INST] User: ${inputs:trim():replaceAll('"',''):replaceAll('\n', '')}" }

复制

将在ReplaceText处理器的替换值字段中输入这个提示符。

步骤2：构建对HuggingFace REST API的调用，根据模型进行分类

在数据流中添加一个InvokeHTTP处理器，将HTTP URL设置为Mixtral API URL。

步骤3：查询转换和清理结果

使用QueryRecord处理器来清理和转换抓取generated_text字段的HuggingFace结果。

步骤4：添加元数据字段

使用UpdateRecord处理器来添加元数据字段、JSON读取器和写入器，以及文字值替换值策略(Literal Value Replacement Value Strategy)。而正在添加的字段是添加属性。

发送到Kafka和Slack的概述。

步骤5：将元数据添加到数据流

使用UpdateAttribute处理器来添加正确的“application/json Content Type”，并将模型类型设置为Mixtral。

步骤6：将清理后的记录发送到Kafka Topic

将它发送到本地Kafka代理(可能是Docker或其他)和flank-mixtral8x7B主题。如果不存在，NiFi和Kafka会自动创建一个。

步骤7：重新尝试发送

如果出现问题，将尝试重新发送三次，然后中止。

将数据推送到Slack的概述。

步骤8：将相同的数据发送到Slack供用户回复

第一步是拆分为单个记录，每次发送一个记录。为此使用SplitRecord处理器。

和以前一样，重用JSON树读取器和JSON记录集编写器。像往常一样，选择“1”作为“每次拆分的记录”。

步骤9：使生成的文本可用于消息传递

使用EvaluateJsonPath从Mixtral (on HuggingFace)提取生成的文本。

步骤10：将回复发送到Slack

使用PublishSlack处理器，这是Apache NiFi 2.0的新功能。这需要设定频道名称或频道ID。选择使用“Message Text”属性的发布策略。对于消息文本，使用下面的Slack Response模板。

对于用户的最终回复需要一个 Slack 响应模板，该模板的格式应符合需要的沟通方式。以下是一个具有基本功能的示例。

Slack响应模板===============================================================================================================HuggingFace ${modelinformation} Results on ${date}:Question: ${inputs}Answer:${generated_text}=========================================== Data for nerds ====HF URL: ${invokehttp.request.url}TXID: ${invokehttp.tx.id}== Slack Message Meta Data ==ID: ${messageid} Name: ${messagerealname} [${messageusername}]Time Zone: ${messageusertz}== HF ${modelinformation}Meta Data ==Compute Characters/Time/Type: ${x-compute-characters} / ${x-compute-time}/${x-compute-type}Generated/Prompt Tokens/Time per Token: ${x-generated-tokens} / ${x-prompt-tokens} : ${x-time-per-token}Inference Time: ${x-inference-time}// Queue Time: ${x-queue-time}Request ID/SHA: ${x-request-id} / ${x-sha}Validation/Total Time: ${x-validation-time} / ${x-total-time}===============================================================================================================

运行这一程序时，它将看起来像Slack中的下图。

现在已经向 Hugging Face 发送了提示，让它针对 Mixtral 运行，将结果发送到 Kafka，并通过 Slack 回复用户。

现在已经用零代码完成了完整的Mixtral应用程序。

结论

现在，已经使用Apache NiFi、HuggingFace和Slack构建了一个完整的往返程序，以使用新的Mixtral模型构建聊天机器人。

学习摘要

学会了如何为HuggingFace Mixtral建立一个提示
学习如何清理数据流
构建一个可以重用的HuggingFace REST调用
处理HuggingFace模型调用结果
发送第一条 Kafka 消息
格式化和构建Slack调用
为生成式人工智能构建一个完整的数据流

如果需要使用新的Apache NiFi 2.0的其他教程，可以查看：

Apache NiFi 2.0.0-M2 Out!

以下是有关构建Slack机器人的更多信息：

Building a Real-Time Slackbot With Generative AI
Building an LLM Bot for Meetups and Conference Interactivity

Tim Spann正在编写Apache NiFi 2和生成式人工智能教程。

以下是他提供的一些资源：

Mixtral of Experts

Mixture of Experts Explained

mistralai/Mixtral-8x7B-v0.1

Mixtral Overview

Invoke the Mixtral 8x7B model on Amazon Bedrock for text generation

Running Mixtral 8x7b on M1 16GB

Mixtral-8x7B: Understanding and Running the Sparse Mixture of Experts by Mistral AI

Retro-Engineering a Database Schema: Mistral Models vs. GPT4, LLama2, and Bard (Episode 3)

Comparison of Models: Quality, Performance & Price Analysis

A Beginner’s Guide to Fine-Tuning Mixtral Instruct Model

原文标题：Mixtral: Generative Sparse Mixture of Experts in DataFlows，作者：Tim Spann

链接：https://dzone.com/articles/mixtral-generative-sparse-mixture-of-experts-in-da。