https://blog.generative-agents.co.jp/entry/2025/02/10/142219

from nemoguardrails import LLMRails, RailsConfig

config = RailsConfig.from_path("./config")
rails = LLMRails(config)

response = rails.generate(
    messages=[
        {
            "role": "user",
            "content": "What is the capital of France?",
        },
    ],
)
print(response)

上記の例では./configディレクトリにNeMo Guardrailsの設定ファイルを配置する必要があります。

./config/config.ymlには、使用するモデルやプロンプトなどを記述します。

models:
  - type: main
    engine: openai
    model: gpt-3.5-turbo-instruct

./config/rails.coには、Colangという言語でガードレールの設定を記述します。

define user express greeting
  "Hello"
  "Hi"
  "Wassup?"

define flow greeting
  user express greeting
  bot express greeting
  bot ask how are you

define bot express greeting
  "Hello World!"

define bot ask how are you
  "How are you doing?"

上記の例は、「Hello」のような挨拶に対して「Hello World!」「How are you doing?」といった特定の応答を返すというものです。

他にもジェイルブレイクのガードレールなどを実装することもできます。

Colangでのガードレールの記述が特有で、しっかり使うにはある程度の学習コストがかかりそうでした。

LangChainとの統合

LangChainとの統合も提供されており、NeMo Guardrailsが提供する「RunnableRails」をChainに組み込むことができます。

from nemoguardrails.integrations.langchain.runnable_rails import RunnableRails

config = RailsConfig.from_path("./config")
guardrails = RunnableRails(config)

chain = prompt | (guardrails | model) | output_parser

LangSmithでトレースを確認すると、ガードレール用のプロンプトでgpt-4o-miniが何度か呼び出されていることが分かります。