2026年の究極のAIエンジニアツールキット。 必要なツールはすべて、実際に何をするかで整理しています。 ブックマークしてください。そのうち戻ってきます 🧵👇 α. ベクターデータベース RAGやセマンティックサーチシステムの基盤となる。埋め込みを使い始めた瞬間から、こういったものが必要です。 @pinecone - 完全に管理され、本番環境に対応可能。セットアップは最小限で、信頼性は高いです。 @weaviate_io - クリーンなGraphQLインターフェースを備えたオープンソース @qdrant_engine - 組み込みのRust。高速で強力なフィルタリングサポートを搭載 @trychroma - 軽量で、ローカルLLM開発に理想的です @milvusio - クラウドネイティブで、大規模検索向けに構築されています @activeloop - バージョン管理とマルチモーダル対応を備えたAIデータレイク @vectara - マネージドRAGプラットフォーム。一箇所での検索+生成 β. オーケストレーションとワークフロー LLM、ツール、メモリ、データを実際に動作するパイプラインにつなげること。 @LangChain - 最も広く使われているLLMアプリケーションフレームワーク @llama_index - LLMと自分のデータ接続を目的に設計されています @deepset_ai - 本番レベルのNLPパイプラインフレームワーク @DSPyOSS - プロンプトをプログラム的に最適化します。もう推測はやめましょう @langflow_ai - LLMワークフロー向けのビジュアルノーコードビルダー @FlowiseAI - ドラッグ&ドロップ型LLMチェーンビルダー γ. PDFと文書抽出 非構造化文書をクリーンでLLM対応のデータに変換すること。 ドキュメント作成 - PDF、DOCX、PPTX、HTMLを構造化されたMarkdown/JSONに変換します PDFPlumber - 文字レベルのPDF解析とテーブル抽出 PyMuPDF - 高性能テキストおよび画像抽出 非構造化 - 混合されたドキュメントタイプを構造化JSONに解析します Camelot - PDFから表を取り出すことに特化しています Llama Parse - LLMの取り込みに特化したドキュメント解析 ExtractThinker - スキーママッピングされたインテリジェントドキュメント抽出 δ. RAGフレームワーク 検索拡張生成を中心に特化したツールです。 RAGFlow - オープンソースRAGのための詳細なドキュメント理解 PrivateGPT - オープンLLMを用いた完全ローカルドキュメントQ&A AnythingLLM - あらゆるLLMバックエンドで動作するオールインワンのRAGアプリ Quivr - 生成AIによるパーソナルナレッジベース txtai - 意味検索とパイプラインのための埋め込みデータベース Llmware - エンタープライズ用途向けに設計された軽量RAGフレームワーク ε. 評価と試験 測定できないものは改善できません。 Ragas - RAGパイプラインの品質をエンドツーエンドで評価します DeepEval - LLM出力のためのユニットテストフレームワーク Phoenix @arizeai - LLMアプリケーション向け観測性とトレーシング Opik - DevOpsスタイルの完全な評価・監視プラットフォーム TruLens - LLM実験の追跡と評価 Giskard - ML/LLMにおけるバイアス、ロバスト性、安全性のテスト ζ. モデル管理とMLOps 実験の追跡、バージョンモデルの管理、機械学習ライフサイクル全体の管理。 MLflow - ML実験トラッキングの業界標準 Weights & Biases @weights_biases - モデルトレーニングとデバッグのためのリッチなダッシュボード DVC @dataversioncontrol - データとモデルのGitスタイルバージョン管理 ClearML @ClearML - LLMパイプライン対応のエンドツーエンドMLOps Hugging Face Hub @HuggingFace - モデル、データセット、デモの中央リポジトリ η. エージェントフレームワーク 計画を立て、ツールを使い、多段階のタスクを処理するエージェントを構築するためのツール。 Google ADK - AIエージェント構築のためのモジュラーフレームワーク CrewAI @crewAIInc - 複数のロールプレイAIエージェントをオーケストレーションします LangGraph @LangChainAI - 制御可能なステートフルグラフとしてエージェントを構築する AutoGen @Microsoft - Microsoftのマルチエージェント対話フレームワーク Pydantic AI - Pydantic に基づく構造化エージェント推論 Smolagents @huggingface - Hugging Faceの軽量エージェントフレームワーク Letta(MemGPT)@letta_ai - エージェントに持続的な長期記憶を与える Agno - RAG、ワークフロー、メモリを内蔵したエージェント θ. LLMファインチューニング 事前学習済みモデルをあなたの具体的なタスクやドメインに合わせて適応させましょう。 Unsloth @unslothai - 大幅に少ないメモリでLLMをより高速に微調整する Axolotl - オープンモデル向けの柔軟なトレーニング後パイプライン LLaMA-Factory - LLaMAベースのモデル向けの効率的なファインチューニング PEFT @huggingface - 資源需要削減のためのパラメータ効率的微調整 TRL @huggingface - 人間のフィードバックからの強化学習(RLHF) Transformers @huggingface - Hugging Faceの事前学習モデル用コアライブラリ DeepSpeed @Microsoft - 多くのGPUでトレーニングジョブを実行するのに役立ちます ι. 地域開発と奉仕 モデルをローカルで実行・提供するか、自社でAPIをホストすることもできます。 Ollama @ollama - オープンソースのLLMをローカルで単一のコマンドで実行 LM Studio - ローカルモデルの実行およびテストのためのデスクトップGUI llama.cpp - CPUとGPUをまたぐ軽量推論エンジン LocalAI - セルフホスト型でOpenAI互換APIサーバー @LiteLLM - 100+ LLMプロバイダー向け統一ゲートウェイ vLLM - 高速推論およびサービスエンジン κ. 安全とガードレール LLMアプリを公開する前に、管理、制約、ストレステストを行いましょう。 @guardrailsai - 構造化された出力検証および安全レールの追加 NeMo Guardrails @NVIDIA - NVIDIAのプログラム可能なLLM会話制御ツールキット Garak - LLM向けの自動脆弱性スキャナー DeepTeam - フルスタックのLLMアプリケーションのプレッシャーテスト用レッドチーミングフレームワークです。 このスレッドを保存して、AIを使って作っている人と共有してください。

興味👇を持ちそうなギガチャドにタグ付けします - @SamuelXeus - @thesaint_ - @izu_crypt - @Simple_simeon - @RubiksWeb3 - @poopmandefi - @ayyeandy - @DigiTektrades - @Farmercist - @zerokn0wledge_ - @stacy_muur - @Defi_Warhol - @splinter0n - @belizardd - @Eli5defi - @the_smart_ape - @ViktorDefi - @CryptoGirlNova - @Haylesdefi - @defiinfant - @DeFiMinty - @hooeem