AWS re:Invent 2023 Keynote — Dr. Swami Sivasubramanian
Published in
12 min readNov 29, 2023
เปิดงาน
- Relationship ระหว่างคนกับ AI ทำให้เกิดสิ่งต่างๆมากมายเหมือนความสัมพันธ์ของสิ่งต่างๆในโลก
- ตั้งแต่ 200 ปีที่แล้วคนได้สร้าง Innovation เกี่ยวกับ Computational ซึ่ง Ada Lovelace เป็นผู้ยุกเบิกในส่วนของการประมวลผลที่ซับซ้อน
- ในส่วนของความสัมพันธ์ตอนนี้จะเป็นความสัมพันธ์ของ Data / Generative AI / Human
- ในการสร้าง Generative AI จะมีส่วนสำคัญต่างๆ ดังนี้ ในการเข้าถึง Foundation Model ที่หลากหลาย การเข้าถึงข้อมูลในองค์กร สร้าง App ได้ง่าย และมี Infrastructure ให้พร้อม
Generative AI Stack — Amazon Bedrock
- Amazon Bedrock เป็น Service สำหรับ Generative AI โดยมี Concept ได้ว่าไม่มี Model ไหนที่เหมาะกับทุกๆ App
- ประกาศ Bedrock Claude 2.1 โดยทำให้ Context มากขึ้นถึง Token 200k และลดในส่วนของ Hallucination rate กว่า 2 เท่า และค่าใช้จ่ายลดลง
- ประกาศ Bedrock Llama 70 B โดยเหมาะกับในส่วนของ Chat Application
- Amazon เองได้มีการทำ Innovation ของ AI มานานกว่า 25 ปี
- Vector เป็นตัวที่ทำให้เราสามารถแปลงข้อมูลที่เป็นข้อความเป็นตัวเลข และสามารถหาความสัมพันธ์ความใกล้ได้ง่ายๆ
- ประกาศ Amazon Titan Multimodel Embeddings สำหรับในการ Search Recommend และ Personalization สามารถรวมในการ Search ได้ทั้งหมดไม่ว่าจะเป็น Text, Image, Video
- ประกาศ Amazon Titan Text Lite และ Amazon Titan Text Express ให้เป็น General Available
- ประกาศ Amazon Titan Image Generator ไว้สำหรับสร้างรูปเสมือนจริง โดยสามารถที่จะใช้ NLP ได้ โดยจะมี Watermark เพื่อที่จะแจ้งว่าเป็นรูปที่สร้างโดย AI
- ตัวอย่าง Intuit มีการย้าย Data Center ขึ้น Cloud และได้เริ่มใช้ Generative AI และสร้าง Platform สำหรับภายในองค์กรเอง โดยใช้ Amazon SageMaker และ Amazon Bedrock
- ในการทำในส่วนของ Generative AI ให้เหมาะกับองค์กร นั่นคือ Fine-Tune แต่ว่าสิ่งที่ต้องใช้คือต้องใช้ Label Data แต่จริงๆ แล้วในส่วนของข้อมูลส่วนใหญ่คือ Unlabled ซึ่งจะต้องมี Pre-model ในการ Label Data
- ตัวอย่างเช่นหากต้องการทำ Campaign จะสามารถสร้าง Generated Content สำหรับ Social Media / Display Ads / Web Copy ได้โดยเราสามารถ
- ในการ Add Content สามารถเพิ่มได้โดยใช้ RAG ในการจัดการพวก Data Source ต่างๆ แต่ว่าในการสร้าง RAG จะต้องจัดการขั้นตอนที่ยุ่งยากรวมถึงการใช้เป็น Vector
- ประกาศ Knowledge Based สำหรับ Amazon Bedrock โดยไม่ต้อง Implement RAG เอง โดยสามารถเชื่อมต่อกับ Vector Engine ของ OpenSearch , Redis
- ประกาศ Agent for Bedrock เป็น GA ที่สามารถสร้างเพื่อสร้าง Interaction กับผู้ใช้งานได้ รวมถึงสามารถเชื่อมกับตัว Knowledge Base ได้
- ประกาศโปรแกรม Custom Model Program for Anthropic Claude สำหรับบริษัทที่ต้องการสร้าง Customize Model
- มีความร่วมมือกับ Nvidia และสร้าง Chipset ของ AWS เอง รวมถึง Foundation Model อื่นๆ ก็ใช้ Amazon SageMaker ในการสร้าง Foundation Model
- ประกาศ SageMaker Hyperpod ในการช่วยในการกระจายงาน จัดการ Node การจัดการ Checkpoint ไม่ต้องกังวลเรื่องการกระจายงาน การ Pause งาน หรือว่าเครื่องมีปัญหา
- ตัวอย่าง Perplexity เป็นคนที่ Train เอง เพราะว่าจะต้องสร้างโดยใช้ RAG และใช้ Hyperpod เพราะว่าจะต้องใช้ข้อมูลที่ Customize สำหรับในการ Research เพื่อ Action
Data Foundation
- ส่วนประกอบจะต้องมี Comprehensive Service (Service ที่หลากหลาย) , Integrated (Service สามารถเชื่อมได้) , Governed (Service ต้องควบคุมได้)
- การเก็บข้อมูลและ Vector เข้าด้วยกันไม่ว่าจะเป็น PostgreSQL, Aurora และ OpenSearch
- ประกาศ Vector Search for OpenSearch Serverless ใช้งานได้แล้ว
- ประกาศ Vector Search for Amazon DocumentDB และ Amazon DynamoDB พร้อมใช้เรียบร้อยแล้ว
- ประกาศ Vector Search for Amazon MemoryDB for Redis ทำให้เราสามารถที่จะ Query ข้อมูลได้โดยใช้ Single-Digit Millisecond Query ได้เลย
- ประกาศ Amazon Neptune Analytics ที่จะสามารถค้นหาโดยใช้ Vector Search พร้อมกับในส่วนของ Graph ไปได้พร้อมๆกัน
- ในตอนนี้ Vector Search จะอยู่ใน Product ของ AWS ในทุกๆ จุด
- Integration ในส่วนที่สำคัญคือ Zero-ETL นั่นเอง โดยสามารถนำข้อมูลเข้า Redshift / OpenSearch
- ประกาศ Amazon OpenSearch Service Zero-ETL integration with Amazon S3 สามารถที่จะนำข้อมูลเข้ามาใน OpenSearch ได้อย่างง่ายๆ โดยไม่จำเป็นต้องเขียน Script มาไว้ในการ Ingest ข้อมูล
- Governed Data ด้วยใช้ Data Zone เป็นเครื่องมือภายในในการ Share ข้อมูลในองค์กร และ Clean Room ใช้สำหรับการ Share ข้อมูลให้ Partner
- ประกาศ AWS Clean Rooms ML โดยสามารถ Deploy Model โดยไม่จำเป็นต้อง Share ข้อมูลด้านล่าง
- ลูกค้า Booking.com ใช้ AI ในการทำ Trip Planner โดยจะต้องใช้ข้อมูลที่มีจำนวนมากในการ Recommend ขึ้นมา ซึ่งสามารถใช้ SageMaker และ Bedrock ในการจัดการได้อย่างดี
Generative AI ในส่วนของ Data Management
- Generative AI มาช่วยงานของ Data Management ไม่ว่าจะเป็นเรื่องของการจัดการ Data Variety และ Performance จึงได้มีการจัดการเช่น Amazon Redshift ใช้ AI ในการ Scale
- Amazon Q มาช่วยในส่วนของ Developer ในทุกๆ Phase ตั้งแต่ Code, Test, Deploy
- ประกาศ Amazon Q Generative SQL in Amazon Redshift มาช่วยสร้าง SQL โดยใช้ภาษาธรรมชาติได้
- ประกาศ Amazon Q Data Integration in AWS Glue มาช่วยสร้าง Script ETL โดยใช้ภาษาธรรมชาติได้
อนาคตของ Generative AI
- ในส่วนของ Generative AI มาช่วยในส่วนของการ Detection ในส่วนของมะเร็ง ในส่วนของโรคมะเร็ง เนื่องจากประเทศแถว Africa มีหมอไม่พอ ตัว Generative
- ลูกค้า Toyota ใช้ AWS ในการทำเรื่องของการชนของรถ รวมถึงการใช้ Generative AI เป็น Car Expert
- ประกาศ Model Evaluation on Amazon Bedrock เพื่อช่วยในการประเมิน เปรียบเทียบและเลือก Foundation Model
- Soft Skill จะต้องมีในส่วนของ Creativity, Ethic และ Adaptability
- AWS Invest ในส่วนของ Generative AI
- ประกาศ PartyRock ไว้สำหรับสร้าง Generative AI App ส่วนตัวของเราได้ (PartyRock.aws)
