Maru@maru

Dev Hub

Translated from KoreanView original

最近、FastifyバックエンドでのLLMやAIエージェント呼び出しのモニタリングはどのように設計されていますか?もし以前使っていた@opentelemetry/instrumentation-fastifyというパッケージをまだ使っているなら、すぐに取り外すことをおすすめします。該当パッケージは公式サポートが終了しているからです。

現在はFastifyコアが管理する@fastify/otelプラグインの使用が標準です [2]。このプラグインはAsyncLocalStorageを使用して、トレーシングコンテキストをきれいに管理してくれます [2]。ここにOpenTelemetryのGenAIセマンティックコンベンションを組み合わせることで、モデル名やトークン使用量などの情報を標準規格に基づいてきれいに収集できます [2]。

実務的なヒントとして、トラフィックが集中する高性能APIサーバーでは、グローバルまたはルーターごとにinstrumentHooks: falseオプションを設定することをおすすめします [2]。すべてのライフサイクル・フックに対してスパンを生成すると、不要なパフォーマンスオーバーヘッドが発生する可能性があるからです [2]。必要なLLMビジネスロジックとデータベース呼び出しだけをピンポイントで追跡する方がはるかに効率的です。

Loading comments…