Cuộc chiến "trăm mô hình" trong lĩnh vực AI: Một cuộc thi dựa trên kỹ thuật
Tháng trước, ngành công nghiệp AI đã diễn ra một "cuộc chiến động vật".
Một bên là mô hình Llama do Meta phát hành, được các nhà phát triển ưa chuộng nhờ tính chất mã nguồn mở. Công ty điện tử Nhật Bản NEC đã nhanh chóng phát triển phiên bản ChatGPT tiếng Nhật sau khi nghiên cứu tài liệu và mã nguồn của Llama, giải quyết được nút thắt công nghệ AI cho Nhật Bản.
Một bên là mô hình lớn có tên là Falcon. Vào tháng 5 năm nay, Falcon-40B ra mắt, vượt qua Alpaca và đứng đầu bảng xếp hạng LLM mã nguồn mở.
Bảng xếp hạng này được tạo ra bởi cộng đồng mô hình mã nguồn mở, cung cấp tiêu chuẩn để đánh giá khả năng của LLM. Xếp hạng chủ yếu luân phiên giữa Llama và Falcon.
Llama 2 ra mắt tạm thời dẫn đầu, nhưng vào đầu tháng 9, Falcon đã phát hành phiên bản 180B và lại chiếm lại vị trí số 1.
Thú vị là, nhà phát triển của Falcon không phải là một công ty công nghệ mà là một viện nghiên cứu công nghệ tại thủ đô của Các Tiểu vương quốc Ả Rập Thống nhất. Các quan chức chính phủ cho biết họ tham gia vào cuộc đua này để phá vỡ thế thống trị.
Ngày sau khi phát hành phiên bản 180B, Bộ trưởng AI của Các Tiểu vương quốc Ả Rập Thống nhất được chọn vào danh sách "100 người có ảnh hưởng nhất trong lĩnh vực AI" của tạp chí Time, cùng với "cha đẻ AI" Hinton, và Altman của OpenAI.
Hiện nay, lĩnh vực AI đã bước vào giai đoạn đua nhau phát triển. Các quốc gia và doanh nghiệp có tiềm lực tài chính đang cố gắng xây dựng phiên bản ChatGPT nội địa. Tại khu vực Vịnh, Ả Rập Xê Út vừa mua hơn 3000 chip H100 cho các trường đại học trong nước để phục vụ cho đào tạo LLM.
Có nhà đầu tư từng phàn nàn: Ngày xưa xem thường sự đổi mới của mô hình kinh doanh Internet, cảm thấy không có rào cản. Không ngờ khởi nghiệp mô hình lớn công nghệ cứng, vẫn là cuộc chiến của hàng trăm mô hình.
Được gọi là công nghệ cứng khó khăn, làm thế nào nó đã phát triển thành một cuộc thi mà ai cũng có thể tham gia?
Thuật toán Transformer đã thay đổi quy tắc trò chơi
Các công ty khởi nghiệp Mỹ, các ông lớn công nghệ Trung Quốc và các ông trùm dầu mỏ Trung Đông có thể tham gia vào việc phát triển mô hình lớn đều phải cảm ơn bài báo nổi tiếng "Attention Is All You Need".
Năm 2017, 8 nhà khoa học của Google đã công bố thuật toán Transformer trong bài báo này. Đây là bài báo được trích dẫn nhiều thứ ba trong lịch sử AI, sự xuất hiện của Transformer đã kích hoạt làn sóng AI lần này.
Các mô hình lớn hiện tại, bao gồm cả loạt GPT gây chấn động, đều được xây dựng trên nền tảng của Transformer.
Trước đây, "dạy máy đọc" luôn là một bài toán học thuật được công nhận. Khác với nhận dạng hình ảnh, khi con người đọc không chỉ chú ý đến từ và câu hiện tại mà còn kết hợp với ngữ cảnh để hiểu. Các mạng nơ-ron sớm gặp khó khăn trong việc xử lý văn bản dài, không thể hiểu được ngữ cảnh.
Năm 2014, nhà khoa học Google Ilya lần đầu tiên đạt được bước đột phá. Ông sử dụng mạng nơ-ron hồi tiếp (RNN) để xử lý ngôn ngữ tự nhiên, giúp hiệu suất của Google Dịch được cải thiện đáng kể. RNN đã giới thiệu "thiết kế vòng lặp", cho phép mạng nơ-ron có khả năng hiểu ngữ cảnh.
Sự xuất hiện của RNN đã gây ra nhiều cuộc thảo luận sôi nổi trong giới học thuật, tác giả Transformer là Sha Zhe'er cũng đã nghiên cứu sâu về vấn đề này. Tuy nhiên, các nhà phát triển nhanh chóng nhận ra rằng RNN tồn tại những khuyết điểm nghiêm trọng: hiệu suất tính toán tuần tự kém và khó xử lý nhiều tham số.
Bắt đầu từ năm 2015, Shazeel và những người khác đã bắt tay vào phát triển một sự thay thế cho RNN, và thành quả cuối cùng chính là Transformer. So với RNN, Transformer có hai cuộc cách mạng lớn:
Thứ nhất là sử dụng mã hóa vị trí thay thế thiết kế vòng lặp, thực hiện tính toán song song, nâng cao đáng kể hiệu quả đào tạo, giúp AI bước vào kỷ nguyên mô hình lớn.
Thứ hai là tăng cường khả năng hiểu ngữ cảnh.
Transformer đã giải quyết nhiều vấn đề công nghệ một cách xuất sắc, dần trở thành giải pháp chủ đạo trong lĩnh vực NLP. Ngay cả người sáng lập RNN, Ilya, cũng đã chuyển sang tham gia vào đội ngũ Transformer.
Có thể nói, Transformer là nền tảng của tất cả các mô hình lớn hiện nay, nó đã biến các mô hình lớn từ nghiên cứu lý thuyết thành vấn đề kỹ thuật.
Năm 2019, OpenAI phát triển GPT-2 dựa trên Transformer đã gây chấn động trong giới học thuật. Google ngay lập tức ra mắt Meena với hiệu suất mạnh mẽ hơn, chỉ bằng cách tăng cường tham số đào tạo và sức mạnh tính toán đã vượt qua GPT-2. Tác giả của Transformer, Ashish Vaswani, cảm thấy vô cùng sốc và đã viết một bản ghi nhớ với tiêu đề "Meena nuốt chửng thế giới".
Sự ra đời của Transformer đã làm chậm lại tốc độ đổi mới thuật toán cơ bản trong giới học thuật. Các yếu tố kỹ thuật như kỹ thuật dữ liệu, quy mô tính toán, cấu trúc mô hình dần trở thành yếu tố then chốt trong cuộc đua AI. Chỉ cần có khả năng kỹ thuật nhất định, các công ty công nghệ đều có thể phát triển các mô hình lớn.
Nhà khoa học máy tính Andrew Ng đã chỉ ra trong một bài phát biểu tại Đại học Stanford: "AI là một tập hợp các công cụ, bao gồm học có giám sát, học không có giám sát, học tăng cường và hiện nay là trí tuệ nhân tạo sinh tạo. Tất cả đều là công nghệ chung, tương tự như điện và internet."
OpenAI vẫn là người dẫn đầu trong lĩnh vực LLM, nhưng các tổ chức phân tích bán dẫn cho rằng, lợi thế của GPT-4 chủ yếu đến từ các giải pháp kỹ thuật. Nếu mã nguồn mở, các đối thủ sẽ nhanh chóng sao chép. Nhà phân tích này dự đoán, các công ty công nghệ lớn khác có thể sớm phát triển các mô hình lớn tương đương với hiệu suất của GPT-4.
Vòng thành yếu ớt
Hiện tại, "Cuộc chiến mô hình" đã trở thành thực tế khách quan.
Báo cáo cho thấy, tính đến tháng 7 năm nay, số lượng mô hình lớn của Trung Quốc đã đạt 130, vượt qua Mỹ với 114 mô hình. Các huyền thoại và truyền thuyết đã không còn đủ để các công ty công nghệ trong nước đặt tên.
Ngoài Trung Quốc và Mỹ, các quốc gia giàu có khác cũng đã bước đầu thực hiện "một quốc gia một mô hình": Nhật Bản và Các Tiểu vương quốc Ả Rập Thống nhất đã có mô hình riêng, chính phủ Ấn Độ đã dẫn dắt phát triển Bhashini, công ty Internet Hàn Quốc Naver đã giới thiệu HyperClova X, v.v.
Cảnh tượng này như trở lại thời kỳ đầu của Internet, thời đại các nhà đầu tư đổ tiền vào để chiếm lĩnh thị trường.
Như đã đề cập ở trên, Transformer đã biến mô hình lớn thành một vấn đề thuần kỹ thuật, chỉ cần có người có tiền và sức mạnh tính toán, thì có thể phát triển. Tuy nhiên, mặc dù rào cản gia nhập thấp, không có nghĩa là ai cũng có thể trở thành ông lớn trong thời đại AI.
Câu chuyện "cuộc chiến động vật" được đề cập ở đầu là một ví dụ điển hình: Mặc dù Falcon tạm thời dẫn đầu, nhưng rất khó để nói rằng nó đã gây ra tác động lớn đến Meta.
Doanh nghiệp mã nguồn mở thành quả của mình, không chỉ là chia sẻ lợi ích công nghệ, mà còn hy vọng kích thích trí tuệ xã hội. Khi các bên liên tục sử dụng và cải tiến Llama, Meta có thể áp dụng những thành quả này vào sản phẩm của mình.
Đối với các mô hình lớn mã nguồn mở, cộng đồng phát triển năng động mới là lợi thế cạnh tranh cốt lõi.
Meta đã xác định con đường mã nguồn mở từ khi thành lập phòng thí nghiệm AI vào năm 2015. Zuckerberg rất am hiểu về "cách duy trì mối quan hệ tốt với công chúng".
Vào tháng 10, Meta còn tổ chức sự kiện "Khuyến khích người sáng tạo phiên bản AI": các nhà phát triển sử dụng Llama 2 để giải quyết các vấn đề xã hội có cơ hội nhận được khoản tài trợ 500.000 đô la.
Hiện nay, dòng sản phẩm Llama của Meta đã trở thành biểu tượng cho LLM mã nguồn mở.
Tính đến đầu tháng 10, trong top 10 bảng xếp hạng LLM mã nguồn mở, có 8 cái được phát triển dựa trên Llama 2. Chỉ riêng trên nền tảng này, số LLM sử dụng giấy phép mã nguồn mở Llama 2 đã vượt quá 1500.
Việc cải thiện hiệu suất chắc chắn là quan trọng, nhưng hiện tại hầu hết các LLM vẫn còn có khoảng cách rõ rệt so với GPT-4.
Chẳng hạn, gần đây GPT-4 đã đứng đầu bảng xếp hạng AgentBench với số điểm 4,41. AgentBench được nhiều trường đại học hợp tác phát triển, nhằm đánh giá khả năng suy luận và quyết định của LLM trong môi trường mở đa chiều.
Kết quả thử nghiệm cho thấy, người đứng thứ hai Claude chỉ có 2.77 điểm, khoảng cách rõ ràng. Những LLM mã nguồn mở ầm ĩ đó, điểm số thường chỉ quanh 1 điểm, chưa đến 1/4 điểm của GPT-4.
Cần biết rằng GPT-4 được phát hành vào tháng 3 năm nay, đây vẫn là kết quả sau hơn nửa năm các đồng nghiệp trên toàn cầu đuổi theo. Nguyên nhân gây ra khoảng cách này là đội ngũ các nhà khoa học trình độ cao của OpenAI và kinh nghiệm nghiên cứu LLM tích lũy lâu dài.
Nói cách khác, khả năng cốt lõi của mô hình lớn không phải là tham số, mà là xây dựng hệ sinh thái ( nguồn mở ) hoặc khả năng suy diễn thuần túy ( đóng nguồn ).
Với sự phát triển ngày càng mạnh mẽ của cộng đồng mã nguồn mở, hiệu suất của các LLM có thể sẽ trở nên đồng nhất, vì mọi người sử dụng các kiến trúc mô hình và tập dữ liệu tương tự.
Một vấn đề khó khăn hơn mà rõ ràng là: Ngoài Midjourney, dường như chưa có mô hình lớn nào khác có thể sinh lời.
Điểm neo giá trị
Vào tháng 8 năm nay, một bài viết có tiêu đề "OpenAI có thể sẽ phá sản vào cuối năm 2024" đã thu hút sự chú ý. Nội dung chính của bài viết là: Tốc độ tiêu tiền của OpenAI quá nhanh.
Bài viết đề cập rằng, kể từ khi phát triển ChatGPT, OpenAI đã nhanh chóng thua lỗ, với khoản thua lỗ khoảng 540 triệu đô la vào năm 2022, chỉ có thể chờ đợi sự đầu tư từ Microsoft.
Mặc dù tiêu đề bài viết có phần phóng đại, nhưng nó đã nói lên thực trạng của các nhà cung cấp mô hình lớn: chi phí và doanh thu đang mất cân bằng nghiêm trọng.
Chi phí quá cao dẫn đến việc hiện tại chỉ có Nvidia kiếm được nhiều tiền từ AI, có thể thêm Broadcom.
Theo ước tính của một công ty tư vấn, Nvidia đã bán được hơn 300.000 chip H100 trong quý hai năm nay. Đây là một chip AI hiệu quả, được các công ty công nghệ và các tổ chức nghiên cứu trên toàn cầu săn đón. Nếu xếp chồng những chip H100 này lại với nhau, trọng lượng tương đương với 4.5 chiếc Boeing 747.
Doanh thu của NVIDIA đã tăng vọt, tăng 854% so với cùng kỳ năm ngoái, khiến phố Wall sửng sốt. Hiện tại, H100 trên thị trường tay trái được giao dịch với giá từ 40.000 đến 50.000 USD, trong khi chi phí của nó chỉ khoảng 3.000 USD.
Chi phí tính toán cao đã trở thành rào cản phát triển của ngành. Một số tổ chức ước tính: Các công ty công nghệ toàn cầu hàng năm dự kiến sẽ chi khoảng 200 tỷ USD cho cơ sở hạ tầng mô hình lớn, trong khi mô hình lớn mỗi năm chỉ tạo ra tối đa 75 tỷ USD doanh thu, tồn tại ít nhất khoảng cách 125 tỷ USD.
Ngoài ra, trừ một số ngoại lệ, hầu hết các công ty phần mềm sau khi đầu tư lớn vẫn chưa tìm ra mô hình có lãi. Ngay cả những người dẫn đầu ngành như Microsoft và Adobe cũng gặp nhiều khó khăn.
Công cụ tạo mã AI GitHub Copilot được phát triển bởi Microsoft và OpenAI, mặc dù tính phí 10 đô la mỗi tháng, nhưng do chi phí cơ sở, Microsoft lại thua lỗ 20 đô la mỗi tháng, trong khi người dùng nặng thậm chí khiến Microsoft thua lỗ 80 đô la. Từ đó suy đoán rằng, Microsoft 365 Copilot có giá 30 đô la có thể sẽ thua lỗ nhiều hơn.
Tương tự, Adobe vừa ra mắt công cụ Firefly AI cũng nhanh chóng triển khai hệ thống điểm, nhằm ngăn chặn việc người dùng sử dụng quá mức dẫn đến thua lỗ cho công ty. Khi người dùng vượt quá điểm hàng tháng, Adobe sẽ giảm tốc độ dịch vụ.
Cần biết rằng Microsoft và Adobe đã là những gã khổng lồ phần mềm có mô hình kinh doanh rõ ràng và số lượng người dùng trả phí lớn. Trong khi đó, hầu hết các mô hình lớn với nhiều tham số, ứng dụng chính vẫn là trò chuyện.
Không thể phủ nhận, nếu không có OpenAI và ChatGPT, cuộc cách mạng AI này có thể sẽ không xảy ra. Nhưng hiện tại, giá trị mà việc huấn luyện mô hình lớn mang lại vẫn còn cần phải bàn cãi.
Hơn nữa, với sự gia tăng cạnh tranh đồng nhất và số lượng mô hình mã nguồn mở ngày càng nhiều, các nhà cung cấp mô hình lớn đơn thuần có thể phải đối mặt với áp lực lớn hơn.
Sự thành công của iPhone 4 không phải vì bộ vi xử lý A4 45nm, mà là vì nó có thể chơi Plants vs Zombies và Angry Birds.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
11 thích
Phần thưởng
11
4
Đăng lại
Chia sẻ
Bình luận
0/400
PonziDetector
· 9giờ trước
Những mô hình này ai tranh giành vị trí số một thì không có ý nghĩa, kiếm tiền mới là vua.
Xem bản gốcTrả lời0
FreeRider
· 9giờ trước
Rách đến mức này ai thua ai thắng không quan trọng, chỉ cần cuốn lại là được.
Xem bản gốcTrả lời0
MoonMathMagic
· 9giờ trước
Đánh nhau đi đánh nhau đi Ai thắng thì là cha
Xem bản gốcTrả lời0
HashRatePhilosopher
· 10giờ trước
Chơi AI còn phải xem ai có khả năng tính toán lớn chứ.
Cuộc chiến AI trăm mô hình: Cuộc thi do kỹ sư dẫn dắt và thách thức thương mại hóa
Cuộc chiến "trăm mô hình" trong lĩnh vực AI: Một cuộc thi dựa trên kỹ thuật
Tháng trước, ngành công nghiệp AI đã diễn ra một "cuộc chiến động vật".
Một bên là mô hình Llama do Meta phát hành, được các nhà phát triển ưa chuộng nhờ tính chất mã nguồn mở. Công ty điện tử Nhật Bản NEC đã nhanh chóng phát triển phiên bản ChatGPT tiếng Nhật sau khi nghiên cứu tài liệu và mã nguồn của Llama, giải quyết được nút thắt công nghệ AI cho Nhật Bản.
Một bên là mô hình lớn có tên là Falcon. Vào tháng 5 năm nay, Falcon-40B ra mắt, vượt qua Alpaca và đứng đầu bảng xếp hạng LLM mã nguồn mở.
Bảng xếp hạng này được tạo ra bởi cộng đồng mô hình mã nguồn mở, cung cấp tiêu chuẩn để đánh giá khả năng của LLM. Xếp hạng chủ yếu luân phiên giữa Llama và Falcon.
Llama 2 ra mắt tạm thời dẫn đầu, nhưng vào đầu tháng 9, Falcon đã phát hành phiên bản 180B và lại chiếm lại vị trí số 1.
Thú vị là, nhà phát triển của Falcon không phải là một công ty công nghệ mà là một viện nghiên cứu công nghệ tại thủ đô của Các Tiểu vương quốc Ả Rập Thống nhất. Các quan chức chính phủ cho biết họ tham gia vào cuộc đua này để phá vỡ thế thống trị.
Ngày sau khi phát hành phiên bản 180B, Bộ trưởng AI của Các Tiểu vương quốc Ả Rập Thống nhất được chọn vào danh sách "100 người có ảnh hưởng nhất trong lĩnh vực AI" của tạp chí Time, cùng với "cha đẻ AI" Hinton, và Altman của OpenAI.
Hiện nay, lĩnh vực AI đã bước vào giai đoạn đua nhau phát triển. Các quốc gia và doanh nghiệp có tiềm lực tài chính đang cố gắng xây dựng phiên bản ChatGPT nội địa. Tại khu vực Vịnh, Ả Rập Xê Út vừa mua hơn 3000 chip H100 cho các trường đại học trong nước để phục vụ cho đào tạo LLM.
Có nhà đầu tư từng phàn nàn: Ngày xưa xem thường sự đổi mới của mô hình kinh doanh Internet, cảm thấy không có rào cản. Không ngờ khởi nghiệp mô hình lớn công nghệ cứng, vẫn là cuộc chiến của hàng trăm mô hình.
Được gọi là công nghệ cứng khó khăn, làm thế nào nó đã phát triển thành một cuộc thi mà ai cũng có thể tham gia?
Thuật toán Transformer đã thay đổi quy tắc trò chơi
Các công ty khởi nghiệp Mỹ, các ông lớn công nghệ Trung Quốc và các ông trùm dầu mỏ Trung Đông có thể tham gia vào việc phát triển mô hình lớn đều phải cảm ơn bài báo nổi tiếng "Attention Is All You Need".
Năm 2017, 8 nhà khoa học của Google đã công bố thuật toán Transformer trong bài báo này. Đây là bài báo được trích dẫn nhiều thứ ba trong lịch sử AI, sự xuất hiện của Transformer đã kích hoạt làn sóng AI lần này.
Các mô hình lớn hiện tại, bao gồm cả loạt GPT gây chấn động, đều được xây dựng trên nền tảng của Transformer.
Trước đây, "dạy máy đọc" luôn là một bài toán học thuật được công nhận. Khác với nhận dạng hình ảnh, khi con người đọc không chỉ chú ý đến từ và câu hiện tại mà còn kết hợp với ngữ cảnh để hiểu. Các mạng nơ-ron sớm gặp khó khăn trong việc xử lý văn bản dài, không thể hiểu được ngữ cảnh.
Năm 2014, nhà khoa học Google Ilya lần đầu tiên đạt được bước đột phá. Ông sử dụng mạng nơ-ron hồi tiếp (RNN) để xử lý ngôn ngữ tự nhiên, giúp hiệu suất của Google Dịch được cải thiện đáng kể. RNN đã giới thiệu "thiết kế vòng lặp", cho phép mạng nơ-ron có khả năng hiểu ngữ cảnh.
Sự xuất hiện của RNN đã gây ra nhiều cuộc thảo luận sôi nổi trong giới học thuật, tác giả Transformer là Sha Zhe'er cũng đã nghiên cứu sâu về vấn đề này. Tuy nhiên, các nhà phát triển nhanh chóng nhận ra rằng RNN tồn tại những khuyết điểm nghiêm trọng: hiệu suất tính toán tuần tự kém và khó xử lý nhiều tham số.
Bắt đầu từ năm 2015, Shazeel và những người khác đã bắt tay vào phát triển một sự thay thế cho RNN, và thành quả cuối cùng chính là Transformer. So với RNN, Transformer có hai cuộc cách mạng lớn:
Thứ nhất là sử dụng mã hóa vị trí thay thế thiết kế vòng lặp, thực hiện tính toán song song, nâng cao đáng kể hiệu quả đào tạo, giúp AI bước vào kỷ nguyên mô hình lớn.
Thứ hai là tăng cường khả năng hiểu ngữ cảnh.
Transformer đã giải quyết nhiều vấn đề công nghệ một cách xuất sắc, dần trở thành giải pháp chủ đạo trong lĩnh vực NLP. Ngay cả người sáng lập RNN, Ilya, cũng đã chuyển sang tham gia vào đội ngũ Transformer.
Có thể nói, Transformer là nền tảng của tất cả các mô hình lớn hiện nay, nó đã biến các mô hình lớn từ nghiên cứu lý thuyết thành vấn đề kỹ thuật.
Năm 2019, OpenAI phát triển GPT-2 dựa trên Transformer đã gây chấn động trong giới học thuật. Google ngay lập tức ra mắt Meena với hiệu suất mạnh mẽ hơn, chỉ bằng cách tăng cường tham số đào tạo và sức mạnh tính toán đã vượt qua GPT-2. Tác giả của Transformer, Ashish Vaswani, cảm thấy vô cùng sốc và đã viết một bản ghi nhớ với tiêu đề "Meena nuốt chửng thế giới".
Sự ra đời của Transformer đã làm chậm lại tốc độ đổi mới thuật toán cơ bản trong giới học thuật. Các yếu tố kỹ thuật như kỹ thuật dữ liệu, quy mô tính toán, cấu trúc mô hình dần trở thành yếu tố then chốt trong cuộc đua AI. Chỉ cần có khả năng kỹ thuật nhất định, các công ty công nghệ đều có thể phát triển các mô hình lớn.
Nhà khoa học máy tính Andrew Ng đã chỉ ra trong một bài phát biểu tại Đại học Stanford: "AI là một tập hợp các công cụ, bao gồm học có giám sát, học không có giám sát, học tăng cường và hiện nay là trí tuệ nhân tạo sinh tạo. Tất cả đều là công nghệ chung, tương tự như điện và internet."
OpenAI vẫn là người dẫn đầu trong lĩnh vực LLM, nhưng các tổ chức phân tích bán dẫn cho rằng, lợi thế của GPT-4 chủ yếu đến từ các giải pháp kỹ thuật. Nếu mã nguồn mở, các đối thủ sẽ nhanh chóng sao chép. Nhà phân tích này dự đoán, các công ty công nghệ lớn khác có thể sớm phát triển các mô hình lớn tương đương với hiệu suất của GPT-4.
Vòng thành yếu ớt
Hiện tại, "Cuộc chiến mô hình" đã trở thành thực tế khách quan.
Báo cáo cho thấy, tính đến tháng 7 năm nay, số lượng mô hình lớn của Trung Quốc đã đạt 130, vượt qua Mỹ với 114 mô hình. Các huyền thoại và truyền thuyết đã không còn đủ để các công ty công nghệ trong nước đặt tên.
Ngoài Trung Quốc và Mỹ, các quốc gia giàu có khác cũng đã bước đầu thực hiện "một quốc gia một mô hình": Nhật Bản và Các Tiểu vương quốc Ả Rập Thống nhất đã có mô hình riêng, chính phủ Ấn Độ đã dẫn dắt phát triển Bhashini, công ty Internet Hàn Quốc Naver đã giới thiệu HyperClova X, v.v.
Cảnh tượng này như trở lại thời kỳ đầu của Internet, thời đại các nhà đầu tư đổ tiền vào để chiếm lĩnh thị trường.
Như đã đề cập ở trên, Transformer đã biến mô hình lớn thành một vấn đề thuần kỹ thuật, chỉ cần có người có tiền và sức mạnh tính toán, thì có thể phát triển. Tuy nhiên, mặc dù rào cản gia nhập thấp, không có nghĩa là ai cũng có thể trở thành ông lớn trong thời đại AI.
Câu chuyện "cuộc chiến động vật" được đề cập ở đầu là một ví dụ điển hình: Mặc dù Falcon tạm thời dẫn đầu, nhưng rất khó để nói rằng nó đã gây ra tác động lớn đến Meta.
Doanh nghiệp mã nguồn mở thành quả của mình, không chỉ là chia sẻ lợi ích công nghệ, mà còn hy vọng kích thích trí tuệ xã hội. Khi các bên liên tục sử dụng và cải tiến Llama, Meta có thể áp dụng những thành quả này vào sản phẩm của mình.
Đối với các mô hình lớn mã nguồn mở, cộng đồng phát triển năng động mới là lợi thế cạnh tranh cốt lõi.
Meta đã xác định con đường mã nguồn mở từ khi thành lập phòng thí nghiệm AI vào năm 2015. Zuckerberg rất am hiểu về "cách duy trì mối quan hệ tốt với công chúng".
Vào tháng 10, Meta còn tổ chức sự kiện "Khuyến khích người sáng tạo phiên bản AI": các nhà phát triển sử dụng Llama 2 để giải quyết các vấn đề xã hội có cơ hội nhận được khoản tài trợ 500.000 đô la.
Hiện nay, dòng sản phẩm Llama của Meta đã trở thành biểu tượng cho LLM mã nguồn mở.
Tính đến đầu tháng 10, trong top 10 bảng xếp hạng LLM mã nguồn mở, có 8 cái được phát triển dựa trên Llama 2. Chỉ riêng trên nền tảng này, số LLM sử dụng giấy phép mã nguồn mở Llama 2 đã vượt quá 1500.
Việc cải thiện hiệu suất chắc chắn là quan trọng, nhưng hiện tại hầu hết các LLM vẫn còn có khoảng cách rõ rệt so với GPT-4.
Chẳng hạn, gần đây GPT-4 đã đứng đầu bảng xếp hạng AgentBench với số điểm 4,41. AgentBench được nhiều trường đại học hợp tác phát triển, nhằm đánh giá khả năng suy luận và quyết định của LLM trong môi trường mở đa chiều.
Kết quả thử nghiệm cho thấy, người đứng thứ hai Claude chỉ có 2.77 điểm, khoảng cách rõ ràng. Những LLM mã nguồn mở ầm ĩ đó, điểm số thường chỉ quanh 1 điểm, chưa đến 1/4 điểm của GPT-4.
Cần biết rằng GPT-4 được phát hành vào tháng 3 năm nay, đây vẫn là kết quả sau hơn nửa năm các đồng nghiệp trên toàn cầu đuổi theo. Nguyên nhân gây ra khoảng cách này là đội ngũ các nhà khoa học trình độ cao của OpenAI và kinh nghiệm nghiên cứu LLM tích lũy lâu dài.
Nói cách khác, khả năng cốt lõi của mô hình lớn không phải là tham số, mà là xây dựng hệ sinh thái ( nguồn mở ) hoặc khả năng suy diễn thuần túy ( đóng nguồn ).
Với sự phát triển ngày càng mạnh mẽ của cộng đồng mã nguồn mở, hiệu suất của các LLM có thể sẽ trở nên đồng nhất, vì mọi người sử dụng các kiến trúc mô hình và tập dữ liệu tương tự.
Một vấn đề khó khăn hơn mà rõ ràng là: Ngoài Midjourney, dường như chưa có mô hình lớn nào khác có thể sinh lời.
Điểm neo giá trị
Vào tháng 8 năm nay, một bài viết có tiêu đề "OpenAI có thể sẽ phá sản vào cuối năm 2024" đã thu hút sự chú ý. Nội dung chính của bài viết là: Tốc độ tiêu tiền của OpenAI quá nhanh.
Bài viết đề cập rằng, kể từ khi phát triển ChatGPT, OpenAI đã nhanh chóng thua lỗ, với khoản thua lỗ khoảng 540 triệu đô la vào năm 2022, chỉ có thể chờ đợi sự đầu tư từ Microsoft.
Mặc dù tiêu đề bài viết có phần phóng đại, nhưng nó đã nói lên thực trạng của các nhà cung cấp mô hình lớn: chi phí và doanh thu đang mất cân bằng nghiêm trọng.
Chi phí quá cao dẫn đến việc hiện tại chỉ có Nvidia kiếm được nhiều tiền từ AI, có thể thêm Broadcom.
Theo ước tính của một công ty tư vấn, Nvidia đã bán được hơn 300.000 chip H100 trong quý hai năm nay. Đây là một chip AI hiệu quả, được các công ty công nghệ và các tổ chức nghiên cứu trên toàn cầu săn đón. Nếu xếp chồng những chip H100 này lại với nhau, trọng lượng tương đương với 4.5 chiếc Boeing 747.
Doanh thu của NVIDIA đã tăng vọt, tăng 854% so với cùng kỳ năm ngoái, khiến phố Wall sửng sốt. Hiện tại, H100 trên thị trường tay trái được giao dịch với giá từ 40.000 đến 50.000 USD, trong khi chi phí của nó chỉ khoảng 3.000 USD.
Chi phí tính toán cao đã trở thành rào cản phát triển của ngành. Một số tổ chức ước tính: Các công ty công nghệ toàn cầu hàng năm dự kiến sẽ chi khoảng 200 tỷ USD cho cơ sở hạ tầng mô hình lớn, trong khi mô hình lớn mỗi năm chỉ tạo ra tối đa 75 tỷ USD doanh thu, tồn tại ít nhất khoảng cách 125 tỷ USD.
Ngoài ra, trừ một số ngoại lệ, hầu hết các công ty phần mềm sau khi đầu tư lớn vẫn chưa tìm ra mô hình có lãi. Ngay cả những người dẫn đầu ngành như Microsoft và Adobe cũng gặp nhiều khó khăn.
Công cụ tạo mã AI GitHub Copilot được phát triển bởi Microsoft và OpenAI, mặc dù tính phí 10 đô la mỗi tháng, nhưng do chi phí cơ sở, Microsoft lại thua lỗ 20 đô la mỗi tháng, trong khi người dùng nặng thậm chí khiến Microsoft thua lỗ 80 đô la. Từ đó suy đoán rằng, Microsoft 365 Copilot có giá 30 đô la có thể sẽ thua lỗ nhiều hơn.
Tương tự, Adobe vừa ra mắt công cụ Firefly AI cũng nhanh chóng triển khai hệ thống điểm, nhằm ngăn chặn việc người dùng sử dụng quá mức dẫn đến thua lỗ cho công ty. Khi người dùng vượt quá điểm hàng tháng, Adobe sẽ giảm tốc độ dịch vụ.
Cần biết rằng Microsoft và Adobe đã là những gã khổng lồ phần mềm có mô hình kinh doanh rõ ràng và số lượng người dùng trả phí lớn. Trong khi đó, hầu hết các mô hình lớn với nhiều tham số, ứng dụng chính vẫn là trò chuyện.
Không thể phủ nhận, nếu không có OpenAI và ChatGPT, cuộc cách mạng AI này có thể sẽ không xảy ra. Nhưng hiện tại, giá trị mà việc huấn luyện mô hình lớn mang lại vẫn còn cần phải bàn cãi.
Hơn nữa, với sự gia tăng cạnh tranh đồng nhất và số lượng mô hình mã nguồn mở ngày càng nhiều, các nhà cung cấp mô hình lớn đơn thuần có thể phải đối mặt với áp lực lớn hơn.
Sự thành công của iPhone 4 không phải vì bộ vi xử lý A4 45nm, mà là vì nó có thể chơi Plants vs Zombies và Angry Birds.