Toolkit insinyur AI terbaik untuk tahun 2026. Setiap alat yang Anda butuhkan - diatur berdasarkan apa yang sebenarnya dilakukannya. Tandai ini. Anda akan kembali ke sana 🧵👇 α. BASIS DATA VEKTOR tulang punggung dari sistem pencarian RAG atau semantik apa pun. Anda membutuhkan salah satu dari ini saat Anda mulai bekerja dengan penyematan. @pinecone - dikelola sepenuhnya, siap produksi. pengaturan paling sedikit, paling dapat diandalkan. @weaviate_io - sumber terbuka dengan antarmuka GraphQL yang bersih @qdrant_engine - dibangun di Rust. cepat, dengan dukungan pemfilteran yang kuat @trychroma - ringan, ideal untuk pengembangan LLM lokal @milvusio - cloud-native, dibuat untuk pencarian skala besar @activeloop - danau data AI dengan penerapan versi dan dukungan multimoda @vectara - platform RAG terkelola. Pengambilan + Pembuatan di Satu Tempat β. ORKESTRASI & ALUR KERJA menghubungkan LLM, alat, memori, dan data ke dalam alur yang benar-benar berfungsi. @LangChain - kerangka kerja aplikasi LLM yang paling banyak digunakan @llama_index - dibuat khusus untuk menghubungkan LLM ke data Anda sendiri @deepset_ai - kerangka kerja alur NLP tingkat produksi @DSPyOSS - mengoptimalkan perintah Anda secara terprogram. Tidak perlu lagi menebak-nebak @langflow_ai - pembuat visual tanpa kode untuk alur kerja LLM @FlowiseAI - pembuat rantai LLM seret dan lepas γ. PDF & EKSTRAKSI DOKUMEN mengubah dokumen tidak terstruktur menjadi data yang bersih dan siap untuk LLM. Docling - mengubah PDF, DOCX, PPTX, HTML menjadi Markdown/JSON terstruktur pdfplumber - penguraian PDF tingkat karakter dan ekstraksi tabel PyMuPDF - ekstraksi teks dan gambar berkinerja tinggi Tidak terstruktur - mengurai jenis dokumen campuran menjadi JSON terstruktur Camelot - mengkhususkan diri dalam menarik tabel dari PDF Llama Parse - penguraian dokumen yang dioptimalkan khusus untuk penyerapan LLM ExtractThinker - ekstraksi dokumen cerdas yang dipetakan skema δ. KERANGKA KERJA RAG alat yang dibuat khusus di sekitar Retrieval-Augmented Generation. RAGFlow - pemahaman dokumen mendalam untuk RAG sumber terbuka PrivateGPT - Tanya Jawab dokumen lokal sepenuhnya menggunakan LLM terbuka AnythingLLM - aplikasi RAG all-in-one yang berfungsi dengan backend LLM apa pun Quivr - basis pengetahuan pribadi yang didukung oleh AI Generatif txtai - menyematkan database untuk pencarian semantik dan alur Llmware - kerangka kerja RAG ringan yang dibuat untuk kasus penggunaan perusahaan ε. EVALUASI & PENGUJIAN Anda tidak dapat meningkatkan apa yang tidak Anda ukur. Ragas - mengevaluasi kualitas pipeline RAG end-to-end DeepEval - kerangka kerja pengujian unit untuk output LLM Phoenix @arizeai - observabilitas dan pelacakan untuk aplikasi LLM Opik - platform evaluasi dan pemantauan gaya DevOps penuh TruLens - melacak dan mengevaluasi eksekusi eksperimen LLM Giskard - menguji bias, kekokohan, dan keamanan dalam ML/LLM ζ. MANAJEMEN MODEL & MLOps melacak eksperimen, model versi, mengelola siklus hidup ML penuh. MLflow - standar industri untuk pelacakan eksperimen ML Bobot & Bias @weights_biases - dasbor kaya untuk pelatihan model dan debugging DVC @dataversioncontrol - Kontrol versi gaya Git untuk data dan model ClearML @ClearML - MLOps end-to-end dengan dukungan alur LLM Hugging Face Hub @HuggingFace - repositori pusat untuk model, himpunan data, dan demo η. KERANGKA KERJA AGEN alat untuk membuat agen yang merencanakan, menggunakan alat, dan menangani tugas multi-langkah. Google ADK - kerangka kerja modular untuk membangun agen AI CrewAI @crewAIInc - mengatur beberapa agen AI bermain peran LangGraph @LangChainAI - membangun agen sebagai grafik stateful yang dapat dikontrol AutoGen @Microsoft - Kerangka kerja percakapan multi-agen Microsoft Pydantic AI - penalaran agen terstruktur yang dibangun di atas Pydantic Smolagents @huggingface - Kerangka kerja agen ringan Hugging Face Letta (MemGPT) @letta_ai - memberi agen Anda memori jangka panjang yang terus-menerus Agno - agen dengan RAG, alur kerja, dan memori bawaan θ. PENYETELAN HALUS LLM Sesuaikan model yang telah dilatih sebelumnya dengan tugas dan domain spesifik Anda. Unsloth @unslothai - menyempurnakan LLM lebih cepat menggunakan memori yang jauh lebih sedikit Axolotl - pipeline pasca-pelatihan yang fleksibel untuk model terbuka LLaMA-Factory - penyetelan halus yang efisien untuk model berbasis LLaMA PEFT @huggingface - penyempurnaan yang efisien parameter untuk memangkas kebutuhan sumber daya TRL @huggingface - pembelajaran penguatan dari umpan balik manusia (RLHF) Transformers @huggingface - Perpustakaan inti Hugging Face untuk model yang telah dilatih sebelumnya DeepSpeed @Microsoft - membantu menjalankan pekerjaan pelatihan di banyak GPU PEMBANGUNAN LOKAL & MELAYANI menjalankan dan melayani model secara lokal atau menghosting sendiri API Anda sendiri. Ollama @ollama - jalankan LLM sumber terbuka secara lokal dalam satu perintah LM Studio - GUI desktop untuk menjalankan dan menguji model lokal llama.cpp - mesin inferensi ringan di seluruh CPU dan GPU LocalAI - server API yang dihosting sendiri dan kompatibel dengan OpenAI @LiteLLM - gateway terpadu untuk 100+ penyedia LLM vLLM - inferensi cepat dan mesin servis κ. KESELAMATAN & PAGAR PEMBATAS mengontrol, membatasi, dan menguji stres aplikasi LLM Anda sebelum ditayangkan. @guardrailsai - menambahkan validasi output terstruktur dan rel pengaman NeMo Guardrails @NVIDIA - toolkit NVIDIA untuk kontrol percakapan LLM yang dapat diprogram Garak - pemindai kerentanan otomatis untuk LLM DeepTeam - kerangka kerja tim merah untuk menguji tekanan aplikasi LLMyang merupakan tumpukan penuh. simpan utas ini, dan bagikan dengan seseorang yang membangun dengan AI.

Menandai Gigachads yang mungkin tertarik dengan ini 👇 - @SamuelXeus - @thesaint_ - @izu_crypt - @Simple_simeon - @RubiksWeb3 - @poopmandefi - @ayyeandy - @DigiTektrades - @Farmercist - @zerokn0wledge_ - @stacy_muur - @Defi_Warhol - @splinter0n - @belizardd - @Eli5defi - @the_smart_ape - @ViktorDefi - @CryptoGirlNova - @Haylesdefi - @defiinfant - @DeFiMinty - @hooeem