Tässä syy, miksi kontekstitekniikka on niin iso juttu. Käytimme juuri kaksi tuntia pohtien, milloin agentin tulisi luottaa sisäiseen tietämykseensä verrattuna siihen, milloin yrittää löytää relevanttia kontekstia datasta vain yhteen kysymykseen. Kävimme läpi kaksi testitapausta, joissa oli satoja kappaleita. Jopa aivoriiheeseen osallistuneet eivät kaikki voineet olla yhtä mieltä siitä, mitä he odottaisivat ihmisten tekevän tässä tilanteessa. Oikeaa vastausta ei oikeasti ollut, ja se on aina asiakaskohtaista kontekstikohtaista. Kaikki kontekstisuunnittelussa on kompromissi monien tekijöiden välillä: kuinka nopeasti haluat agentin vastaavan kysymykseen, kuinka paljon edestakaista vuorovaikutusta haluat käyttäjältä vaatia, kuinka paljon työtä sen tulisi tehdä ennen kuin yrittää vastata, miten agentti tietää, että sillä on kattava lähdemateriaali vastaamaan kysymykseen, Mikä on väärän vastauksen riskitaso, ja niin edelleen. Jokaisella päätöksellä, jonka teet yhdessä näistä ulottuvuuksista, on seuraus toisessa päässä. Mitään ei saa ilmaiseksi. Siksi tekoälyagenttien rakentaminen on niin villiä. Se korostaa myös, kuinka paljon arvoa LLM-kerroksen yläpuolella on. Näiden päätösten tekeminen oikein liittyy suoraan arvolupauksen laatuun.