docstringを持ち文字列を返す関数をデコレートするだけでGPTなどのLLMを呼び出せる！ ell-aiの @ell.simple 素振りの記

はじめに

1、2、3、4、せーの！¹ nikkieです。

LLM関係の気になるライブラリ ell-ai を小さく素振りしました

目次

• はじめに
• 目次
• ell-ai
• ell-ai素振り
• @ell.simple、"魔法"の仕組みの一端をのぞき見る
• ell-ai 今後知りたいこと
• 終わりに

ell-ai

ご存知ですか、ell-ai？

ドキュメントより
https://docs.ell.so/#prompts-are-programs-not-strings

import ell

@ell.simple(model="gpt-4o-mini")
def hello(world: str):
    """You are a helpful assistant""" # System prompt
    name = world.capitalize()
    return f"Say hello to {name}!" # User prompt

hello("sam altman") # just a str, "Hello Sam Altman! ..."

めちゃめちゃ簡単じゃないですか！？

• 関数を定義
  • システムプロンプトをdocstringに書く
  • ユーザプロンプトを返り値とする（なので返り値は文字列）
    • 関数の引数を使ってユーザプロンプトを組み立てられる！
• @ell.simpleデコレータをつける

たったこれだけです！
定義した関数を実行すると、LLMのWeb APIにプロンプトが送られ、生成したテキストが返ってきます。
この簡単さを売りに（LangChainを下げながら²）拡散しているツイート³を見て、存在を知りました

ell-ai素振り

環境変数OPENAI_API_KEYを設定しています。
PEP 723を使ってスクリプトを書いています⁴

こちらの記事のプロンプトをell-aiでも試しました。

% hatch run try_ell.py
Hello, fellow producers! It's Nikkun in Schemer Mode!

他にはアイドルのセリフを生成させてみた例⁵
（few-shotでプロンプトを書きました）

#imas_hack で知ったアイドルなりきりプロンプトをell-aiの素振りも兼ねて。

かなり琴葉ちゃん！やはりfew-shot
「青空の下、心も晴れやかになっていく感じがします。プロデューサーと一緒にいると、私自身も成長できる気がするんです。…こんな気持ち、どうかプロデューサーにも伝わりますように。」

— nikkie / にっきー (@ftnext) 2024年10月13日

@ell.simple、"魔法"の仕組みの一端をのぞき見る

ソースコードを覗きました。

simpleデコレータの実態はcomplexです。
https://github.com/MadcowD/ell/blob/b44bb1a0d573319e76058b17d27b8ea3f2cfc5b5/src/ell/lmp/simple.py#L7-L14

complexの実装ですが
https://github.com/MadcowD/ell/blob/b44bb1a0d573319e76058b17d27b8ea3f2cfc5b5/src/ell/lmp/complex.py#L16-L77

デコレートしている関数（prompt）の呼び出し（＝ユーザプロンプトを得る）

# promt -> str
res = prompt(*prompt_args, **prompt_kwargs)
# Convert prompt into ell messages
messages = _get_messages(res, prompt) 

さらに_get_message()関数でシステムプロンプトも取得しています。
https://github.com/MadcowD/ell/blob/b44bb1a0d573319e76058b17d27b8ea3f2cfc5b5/src/ell/lmp/complex.py#L96-L110

has_system_prompt = prompt.__doc__ is not None and prompt.__doc__.strip() != ""

ユーザによる関数定義を元に、ell-ai側でプロンプトを組み立てられるわけですね！

ell-ai 今後知りたいこと

第一印象はなかなかよかったですが、これだけで判断しきれず、宿題事項を書いておきます

• @ell.simpleは触ったが、@ell.complexはまだ
  • complexの方はLangChainと比べてずっと簡単と主張できる出来なのかは要検証
• modelはどこまで切り替えられる？
  • 切り替えられそうなのは、groqやClaude（anthropic）（未検証）
    • ref: https://github.com/MadcowD/ell/blob/b44bb1a0d573319e76058b17d27b8ea3f2cfc5b5/src/ell/providers/__init__.py#L6
  • Geminiはどうなんだろう？
    • 呼べない報告（Can't use OpenAI compatible providers anymore · Issue #222 · MadcowD/ell · GitHub）
    • OpenRouter対応プルリク（Add OpenRouter Provider for Enhanced Integration by nmehran · Pull Request #229 · MadcowD/ell · GitHub）
      • これで解決したんだろうか？（要確認）

終わりに

ell-aiの@ell.simpleデコレータを触り、ソースコードも覗きました。
ユーザに関数を定義させ、それをデコレートするだけでLLMのWeb APIを呼び出せる、さらにいくつかを切り替えられるというのは目を見張るものがあります。
一方ell-aiに完全に乗り換えられるかは今の時点では保留です
（あとell-ai、LangChainに喧嘩をふっかけるのは「めっ」なのですよ。表面上だけでも仲良くしてください）