文本生成

大语言模型 (LLM) 可用于文本生成等任务（例如电子邮件生成、短篇故事、论文、社交媒体帖子和网页复制）。使用LLM生成文本可以提高生产力。例如，营销团队可以使用自然语言指令在几分钟内创建广告文案。AWS 在 Bedrock 中提供 Amazon Titan 和其他第三方模型。

挑战

LLM生成的文本可能是通用的，缺乏上下文，并且包含幻觉，当模型生成与提示词不对应的文本时，就会发生这种情况。

文本生成有两个模式：

  1. Zero-shot - 通过零样本生成，用户只需提供输入请求即可生成文本(如电子邮件)，而无需任何上下文。我们将使用两种方法探索零样本电子邮件生成：Bedrock API (Boto3) 以及 Bedrock 与 LangChain 的集成。
  2. 使用上下文感知(context-aware) - 在此模式中，我们可以使用 LangChain 向 LLM 提供上下文信息以及提示

Zero shot

在此示例中，我们将通过仅提供zero-shot提示来生成对客户的电子邮件响应:

Write an email from Bob, the Customer Service Manager, to the customer "John Doe"
who provided negative feedback on the service provided by our customer support
engineer.

我们将了解如何使用两种不同的方法来实现这一目标：Bedrock API (boto3) 和 LangChain。

使用 Boto3 SDK 调用 Bedrock API：

摘要文本

  1. 用户使用 Bedrock API 提供输入请求。
  2. Amazon Titan 模型处理该请求。
  3. Bedrock 通过生成的电子邮件/文本进行响应。
import json
import os
import sys

import boto3
import botocore

boto3_bedrock = boto3.client('bedrock-runtime')

# create the prompt
prompt_data = """
Command: Write an email from Bob, Customer Service Manager, to the customer "John Doe" 
who provided negative feedback on the service provided by our customer support 
engineer"""


# Amazon Titan Premier 支持最多 32k 个令牌的上下文窗口，并接受以下参数：
# inputText：LLM Prompt
# textGenerationConfig：这些是模型在生成输出时将考虑的参数。

body = json.dumps({"inputText": prompt_data, "textGenerationConfig" : {"topP":0.95, "temperature":0.1}})

Amazon Bedrock API 提供了一个 API invoke_model，它接受以下内容：

  • modelId：这是 Amazon Bedrock 下可用的各种基础模型的模型 ARN
  • accept：输入请求的类型
  • contentType：输出的内容类型
  • body：由提示和配置组成的 json 字符串
modelId = 'amazon.titan-text-express-v1' # change this to use a different version from the model provider
accept = 'application/json'
contentType = 'application/json'
outputText = "\n"
try:

    response = boto3_bedrock.invoke_model(body=body, modelId=modelId, accept=accept, contentType=contentType)
    print(response)
    response_body = json.loads(response.get('body').read())

    outputText = response_body.get('results')[0].get('outputText')
    print(outputText)

except botocore.exceptions.ClientError as error:
    
    if error.response['Error']['Code'] == 'AccessDeniedException':
           print(f"\x1b[41m{error.response['Error']['Message']}\
                \nTo troubeshoot this issue please refer to the following resources.\
                 \nhttps://docs.aws.amazon.com/IAM/latest/UserGuide/troubleshoot_access-denied.html\
                 \nhttps://docs.aws.amazon.com/bedrock/latest/userguide/security-iam.html\x1b[0m\n")
        
    else:
        raise error

运行以上面的代码，输出：

image-20240519095002466

利用 LangChain 与 Amazon Bedrock 进行交互

LangChain 是一个用于开发由语言模型支持的应用程序的框架。该框架使我们能够通过将各种组件链接在一起来创建高级用例，来增强大型语言模型。

我们将为LangChain 实现提供一个由任务、指令和模型输入组成的输入，以生成输出，而无需提供任何其他示例：

摘要文本

安装依赖

pip install anthropic==0.9.0 --quiet

代码如下：

import json
import os
import sys
from langchain.llms.bedrock import Bedrock

import boto3
import botocore

boto3_bedrock = boto3.client('bedrock-runtime')



inference_modifier = {
    "max_tokens_to_sample": 4096,
    "temperature": 0.5,
    "top_k": 250,
    "top_p": 1,
    "stop_sequences": ["\n\nHuman"],
}

textgen_llm = Bedrock(
    model_id="anthropic.claude-v2",
    client=boto3_bedrock,
    model_kwargs=inference_modifier,
)

print(boto3_bedrock)
print(textgen_llm.client)

# LangChain 抽象了 Amazon Bedrock API，使构建用例变得容易。传入提示词，它会自动路由到适当的 API 以生成响应。只需按原样获取文本输出，而不必从返回的正文中提取结果。

response = textgen_llm("""

Human: Write an email from Bob, Customer Service Manager, 
to the customer "John Doe" that provided negative feedback on the service 
provided by our customer support engineer.

Assistant:""")

print(response)

输出：

image-20240519101107743

创建LangChain PromptTemplate自定义模板

通过为提示词创建模板，我们可以在每次运行时向其传递不同的输入变量。从数据库获取的不同输入变量生成内容时，这非常有用。

之前我们对提示进行了硬编码，可能会出现这样的情况：有多个客户发送类似的负面反馈，而现在想要使用每个客户的电子邮件并道歉来回复他们，但也希望保持回复有点个性化。我们将探索如何创建一个PromptTemplate来实现这个模式：

from langchain.prompts import PromptTemplate

# Create a prompt template that has multiple input variables
multi_var_prompt = PromptTemplate(
    input_variables=["customerServiceManager", "customerName", "feedbackFromCustomer"], 
    template="""

Human: Create an apology email from the Service Manager {customerServiceManager} to {customerName} in response to the following feedback that was received from the customer: 
<customer_feedback>
{feedbackFromCustomer}
</customer_feedback>

Assistant:"""
)

# Pass in values to the input variables
prompt = multi_var_prompt.format(customerServiceManager="Bob", 
                                 customerName="John Doe", 
                                 feedbackFromCustomer="""Hello Bob,
     I am very disappointed with the recent experience I had when I called your customer support.
     I was expecting an immediate call back but it took three days for us to get a call back.
     The first suggestion to fix the problem was incorrect. Ultimately the problem was fixed after three days.
     We are very unhappy with the response provided and may consider taking our business elsewhere.
     """
     )

num_tokens = textgen_llm.get_num_tokens(prompt)
print(f"Our prompt has {num_tokens} tokens")

response = textgen_llm(prompt)

email = response[response.index('\n')+1:]

print(email)

输出：

image-20240519101958118