98. LLMを活用したソフトウェアアーキテクチャと代表的なユースケース w/ ryohtaka

fukabori.fm

マイクロソフトの大髙さんに、LLMを活用したソフトウェアアーキテクチャ、langchain、LLM活用のコスト、代表的なユースケースなどについて語っていただいたエピソードです。

話したネタ

• LLMを活用したソフトウェアアーキテクチャ
• Copilot Stack
• Model/Orchestrator/Copilot
• 代表的なOrchestratorのフレームワーク
• langchaing
• semantic-kernel
• フレームワークの抽象度
• デグレ探し・リグレッションテスト大変問題
• GPT-4 のコストの話
• チャット検索である必要性
• クエリとチャットの逆転現象
• 検索の下地にあるデータが結局重要
• 参考：チャット検索やRAGの話
• エンベディングとコサイン類似度
• 参考：LangChain の Vectorstore として Azure Cache for Redis を使ってベクトルの格納と検索を行う
• 抽象化すると、LLMを活用したユースケースはどういうものが多い？
• 情報検索、情報分類、情報抽出
• 非構造化データから構造化データへ
• Azure OpenAI Service の GPT-4 を使ってギリシア神話に登場する神々の関係性を抽出してグラフデータベースに格納する
• Microsoft Build 2023
• Microsoft Build Japan
• ryohtakaのZenn
• ZennのMicrosoft Publication
• QiitaのMicrosoft Organization

公開収録

• fukabori.fm ep.100 公開収録(2023/7/24)の募集ページ

See Privacy Policy at https://art19.com/privacy and California Privacy Notice at https://art19.com/privacy#do-not-sell-my-info.