LazyLLM VS VLLM

TaskingAI - TaskingAI は、AIネイティブなアプリ開発に Firebase のような手軽さをもたらします。LLMモデルを選択してプロジェクトを開始し、ステートフルAPIに支えられた応答性の高いアシスタントを構築し、マネージドメモリ、ツール連携、拡張生成システムを活用してその機能を強化しましょう。

liteLLM - OpenAIのフォーマットを使用してすべてのLLM APIを呼び出します。Bedrock、Azure、OpenAI、Cohere、Anthropic、Ollama、Sagemaker、HuggingFace、Replicate（100以上のLLM）を使用します。

LM Studio - LM Studioは、ローカルおよびオープンソースの大規模言語モデル（LLM）の実験を手軽に行えるデスクトップアプリです。このクロスプラットフォーム対応アプリを使用すると、Hugging Faceからあらゆるggml互換モデルをダウンロードして実行できるほか、シンプルながらも強力なモデル構成および推論用UIが提供されます。本アプリは、可能な限りGPUを活用します。

Laminar AI - Laminarは、オーケストレーション、評価、データ、オブザーバビリティを組み合わせた開発者プラットフォームであり、AI開発者が信頼性の高いLLMアプリケーションを10倍速く提供できるようにします。

Literal AI - Literal AI：RAGとLLMの可観測性と評価。デバッグ、監視、パフォーマンスの最適化を行い、本番環境に対応できるAIアプリケーションを確実に実現します。