ওপেন এআই মডেল কেন সবার জন্য জরুরি (এমনকি আপনার জন্যও!)

আধুনিক কম্পিউটিংয়ের অদৃশ্য রক্ষাকবচ

ওপেন মডেলগুলো হলো আধুনিক বিশ্বের এক অদৃশ্য অবকাঠামো। আপনি হয়তো কখনো Hugging Face থেকে কোনো ফাইল ডাউনলোড করেননি বা নিজের লোকাল সার্ভার চালাননি, তবুও এই মডেলগুলোই ঠিক করে দেয় আপনি প্রোপাইটারি সার্ভিসের জন্য কত টাকা দেবেন এবং নতুন ফিচারগুলো কত দ্রুত আপনার কাছে পৌঁছাবে। এগুলো বাজারে একটি প্রতিযোগিতামূলক পরিবেশ বজায় রাখে। এগুলো না থাকলে, হাতেগোনা কয়েকটি কোম্পানি এই শতাব্দীর সবচেয়ে গুরুত্বপূর্ণ প্রযুক্তির ওপর একচেটিয়া আধিপত্য বিস্তার করত। ওপেন মডেলগুলো সক্ষমতার এমন একটি ভিত্তি তৈরি করে যা বড় বড় কোম্পানিগুলোকে উদ্ভাবন চালিয়ে যেতে এবং তাদের প্রাইসিং মডেল কিছুটা নাগালে রাখতে বাধ্য করে। এটি কেবল উৎসাহী বা গবেষকদের জন্য কোনো শখের বিষয় নয়। এটি টেক ইন্ডাস্ট্রিতে ক্ষমতার বণ্টনের একটি মৌলিক পরিবর্তন। যখন Llama-এর মতো কোনো মডেল রিলিজ হয়, তখন সাধারণ হার্ডওয়্যারে কী কী সম্ভব তার একটি নতুন স্ট্যান্ডার্ড তৈরি হয়। এই চাপের কারণেই আপনি প্রতিদিন যে ক্লোজড মডেলগুলো ব্যবহার করেন সেগুলো উন্নত এবং সাশ্রয়ী থাকে। এই ওপেননেসের খুঁটিনাটি বোঝাটাই হলো ইন্ডাস্ট্রি কোন দিকে যাচ্ছে তা দেখার প্রথম ধাপ।

ওপেননেসের মার্কেটিং ভাষা বোঝা

এই ক্ষেত্রে ‘ওপেন’ বা উন্মুক্ত বলতে আসলে কী বোঝায় তা নিয়ে অনেক বিভ্রান্তি আছে। সত্যিকারের ওপেন সোর্স সফটওয়্যার যে কাউকে কোড দেখার, তা পরিবর্তন করার এবং ডিস্ট্রিবিউট করার অনুমতি দেয়। লার্জ ল্যাঙ্গুয়েজ মডেলের দুনিয়ায় এই সংজ্ঞাটি কিছুটা জটিল। বেশিরভাগ মডেল যেগুলোকে মানুষ ওপেন সোর্স বলে, সেগুলো আসলে ওপেন ওয়েট মডেল। এর মানে হলো, কোম্পানি মডেলটির চূড়ান্ত ট্রেইনড প্যারামিটারগুলো প্রকাশ করেছে, কিন্তু তারা সেই বিশাল ডেটাসেট বা ডেটা প্রসেস করার স্ক্রিপ্টগুলো দেয়নি। ডেটা ছাড়া আপনি মডেলটিকে একদম শুরু থেকে তৈরি করতে পারবেন না। আপনার কাছে কেবল তৈরি পণ্যটি আছে। এরপর আসে পারমিসিভ লাইসেন্স। কিছু কোম্পানি এমন কাস্টম লাইসেন্স ব্যবহার করে যা দেখতে ওপেন মনে হলেও বাণিজ্যিক ব্যবহারের ক্ষেত্রে বিধিনিষেধ থাকে। যেমন, কোনো মডেল হয়তো ব্যক্তিগত ব্যবহারের জন্য ফ্রি, কিন্তু আপনার কোম্পানির মাসিক ইউজার ৭০ কোটি পার হলে লাইসেন্স ফি দিতে হবে। এটি ইন্টারনেট গড়ে তোলা প্রথাগত GPL বা MIT লাইসেন্সের চেয়ে অনেক আলাদা। আমরা এমন মার্কেটিং ভাষাও দেখি যেখানে ওপেন বলতে এমন একটি API-কে বোঝানো হয় যা সবার জন্য উন্মুক্ত কিন্তু পুরোপুরি একটি কোম্পানির নিয়ন্ত্রণে। এটি মোটেও ওপেন নয়। এটি কেবল একটি পাবলিক এন্ট্রান্সসহ একটি প্রোডাক্ট। প্রকৃত ওপেন মডেল আপনাকে ফাইলগুলো ডাউনলোড করে ইন্টারনেট কানেকশন ছাড়াই নিজের হার্ডওয়্যারে চালানোর সুযোগ দেয়। এই পার্থক্যটি গুরুত্বপূর্ণ কারণ এটি ঠিক করে দেয় কার হাতে চূড়ান্ত নিয়ন্ত্রণ বা কিল সুইচ থাকবে। আপনি যদি কোনো API-এর ওপর নির্ভর করেন, তবে প্রোভাইডার যেকোনো সময় নিয়ম বদলে দিতে পারে বা আপনাকে বন্ধ করে দিতে পারে। কিন্তু আপনার হার্ড ড্রাইভে ওয়েট থাকলে, সক্ষমতাটি আপনার নিজের।

কেন বিভিন্ন দেশ পাবলিক ওয়েটের ওপর বাজি ধরছে

এই মডেলগুলোর বৈশ্বিক প্রভাব বলে শেষ করা যাবে না। অনেক দেশের জন্য তাদের পুরো এআই অবকাঠামোর জন্য কয়েকটি মার্কিন কোম্পানির ওপর নির্ভর করা জাতীয় ডিজিটাল সার্বভৌমত্বের জন্য বড় ঝুঁকি। ইউরোপ এবং এশিয়ার সরকারগুলো এখন নিজেদের লোকাল এআই ভার্সন তৈরির জন্য ওপেন মডেলের দিকে ঝুঁকছে। এটি তাদের নিশ্চিত করতে সাহায্য করে যে মডেলগুলো কেবল সিলিকন ভ্যালির নয়, বরং তাদের নিজস্ব সাংস্কৃতিক মূল্যবোধ এবং ভাষার সূক্ষ্ম বিষয়গুলো ফুটিয়ে তুলছে। এটি ডেটাকেও দেশের সীমানার ভেতরে রাখে, যা প্রাইভেসি এবং সিকিউরিটির জন্য বড় বিষয়। ছোট ও মাঝারি এন্টারপ্রাইজগুলোও এর থেকে উপকৃত হয়। তারা তাদের মূল প্রযুক্তি হারিয়ে ফেলার ভয় ছাড়াই বিশেষায়িত টুল তৈরি করতে পারে। ওপেন মডেলগুলো উদীয়মান বাজারের ডেভেলপারদের জন্য বাধার প্রাচীর কমিয়ে দেয়। লাগোস বা জাকার্তার কেউ সান ফ্রান্সিসকোর কারো মতোই একই স্টেট-অফ-দ্য-আর্ট প্রযুক্তি ব্যবহার করতে পারে, যদি তাদের কাছে তা চালানোর মতো হার্ডওয়্যার থাকে। এটি এমনভাবে সবার জন্য সমান সুযোগ তৈরি করে যা প্রোপাইটারি API কখনো পারে না। এই মডেলগুলোর অস্তিত্ব সেকেন্ডারি টুলের একটি বিশাল ইকোসিস্টেম তৈরি করে। ডেভেলপাররা মডেলগুলোকে দ্রুত চালানোর বা কম মেমরি ব্যবহারের উপায় বের করে। এই সম্মিলিত উদ্ভাবন যেকোনো একক কোম্পানির চেয়ে অনেক দ্রুত কাজ করে। এটি একটি ফিডব্যাক লুপ তৈরি করে যেখানে ওপেন ইম্প্রুভমেন্টগুলো শেষ পর্যন্ত আমাদের ব্যবহৃত প্রোপাইটারি মডেলগুলোতেও জায়গা করে নেয়।

ক্লাউড ছাড়া একদিন

চলুন দেখি সারাহ নামের একজন সফটওয়্যার ডেভেলপারের সাধারণ একটি দিন কেমন কাটে। সারাহ একটি মেডিকেল স্টার্টআপে কাজ করেন যেখানে রোগীদের সংবেদনশীল ডেটা হ্যান্ডেল করা হয়। তার কোম্পানি ক্লাউড-ভিত্তিক এআই ব্যবহার করতে পারে না কারণ ডেটা ব্রিচের ঝুঁকি অনেক বেশি এবং রেগুলেটরি বাধা অনেক কড়া। এর বদলে সারাহ একটি সিকিউর লোকাল সার্ভারে চলা ওপেন ওয়েট মডেল ব্যবহার করেন। সকালে তিনি একটি জটিল কোড রিফ্যাক্টর করতে মডেলটির সাহায্য নেন। মডেলটি লোকাল হওয়ায় তাকে চিন্তা করতে হয় না যে তার প্রোপাইটারি কোড কোনো কমার্শিয়াল এআই-এর পরবর্তী ভার্সন ট্রেইন করতে ব্যবহৃত হবে কিনা। পরে তিনি রোগীদের নোট সামারি করার জন্য মডেলটির একটি ফাইন-টিউনড ভার্সন ব্যবহার করেন। এই বিশেষ মডেলটি মেডিকেল টার্মিনোলজির ওপর ট্রেইন করা হয়েছে, যা তার কাজের জন্য সাধারণ মডেলের চেয়ে অনেক বেশি নির্ভুল। লাঞ্চ ব্রেকে সারাহ লোকাল ইনফারেন্সের লেটেস্ট ট্রেন্ড নিয়ে এআই ইন্ডাস্ট্রি অ্যানালাইসিস এর একটি ব্লগ পোস্ট পড়েন। তিনি বুঝতে পারেন যে তিনি তার ওয়ার্কফ্লো আরও অপ্টিমাইজ করতে পারবেন। বিকেলে তিনি একটি নতুন কোয়ান্টাইজেশন টেকনিক নিয়ে পরীক্ষা করেন যা তাকে বর্তমান হার্ডওয়্যারেই আরও বড় মডেল চালানোর সুযোগ দেয়। এটাই ওপেন ইকোসিস্টেমের সৌন্দর্য। তিনি কোনো বড় টেক কোম্পানির নতুন ফিচারের জন্য বসে নেই। কমিউনিটির তৈরি টুল ব্যবহার করে তিনি নিজেই তা ইমপ্লিমেন্ট করতে পারছেন। দিনের শেষে তিনি তার সামারি টুলের নির্ভুলতা ১৫ শতাংশ বাড়িয়ে ফেলেছেন। এই দৃশ্যটি এখন অনেক ইন্ডাস্ট্রিতেই সাধারণ হয়ে উঠছে। লিগ্যাল ফার্ম থেকে শুরু করে ক্রিয়েটিভ এজেন্সি—সবাই দেখছে যে ওপেন মডেলের নিয়ন্ত্রণ এবং প্রাইভেসি সেটআপ করার বাড়তি কষ্টের চেয়ে অনেক বেশি মূল্যবান। তারা জেনেরিক এআই অ্যাসিস্ট্যান্টের ছাঁচে নিজেদের সমস্যা না ফেলে বরং নিজেদের প্রয়োজন অনুযায়ী টুল তৈরি করছে। এই পরিবর্তন শিক্ষা ক্ষেত্রেও দৃশ্যমান। বিশ্ববিদ্যালয়গুলো শিক্ষার্থীদের এআই কীভাবে কাজ করে তা শেখাতে ওপেন মডেল ব্যবহার করছে। তারা ওয়েটগুলো ইনস্পেক্ট করতে পারে এবং বিভিন্ন ট্রেইনিং টেকনিক নিয়ে পরীক্ষা করতে পারে। এটি ভবিষ্যতের জন্য আরও দক্ষ জনশক্তি তৈরি করছে। অফলাইনে এই সিস্টেমগুলো চালানোর ক্ষমতা মানে হলো প্রত্যন্ত অঞ্চলের গবেষকরাও স্থিতিশীল ইন্টারনেট ছাড়াই তাদের কাজ চালিয়ে যেতে পারবেন।

ফ্রি সফটওয়্যারের চড়া দাম

সুবিধাগুলো স্পষ্ট হলেও, আমাদের এই ওপেননেসের প্রকৃত খরচ নিয়ে কঠিন প্রশ্ন তুলতে হবে। এই মডেলগুলো ট্রেইন করতে যে বিশাল কম্পিউট পাওয়ার লাগে, তার টাকা আসলে কে দিচ্ছে? মেটার মতো কোনো কোম্পানি যদি একটি মডেল ট্রেইন করতে কোটি কোটি ডলার খরচ করে এবং তারপর ওয়েটগুলো ফ্রিতে দিয়ে দেয়, তবে তাদের দীর্ঘমেয়াদী পরিকল্পনা কী? এটি কি ছোট প্রতিযোগীদের শেষ করে দেওয়ার কোনো উপায় যারা তাদের প্রোডাক্ট ফ্রিতে দেওয়ার সামর্থ্য রাখে না? আমাদের নিরাপত্তার ঝুঁকিও বিবেচনা করতে হবে। যদি একটি মডেল সত্যিই ওপেন হয়, তবে এর সেফটি গার্ডরেলগুলো সরিয়ে ফেলা সম্ভব। এটি ক্ষতিকর উদ্দেশ্যে ডিপফেক তৈরি বা ক্ষতিকর কোড জেনারেট করার সুযোগ করে দিতে পারে। আমরা কীভাবে ওপেন ইনোভেশন এবং জননিরাপত্তার মধ্যে ভারসাম্য বজায় রাখব?

হার্ডওয়্যারের লুকানো খরচও আরেকটি চিন্তার বিষয়। এই মডেলগুলো লোকালভাবে চালানোর জন্য শক্তিশালী GPU প্রয়োজন যা বেশ দামি এবং প্রচুর বিদ্যুৎ খরচ করে। ওপেন মডেলের স্বাধীনতা কি কেবল তাদের জন্যই যারা হার্ডওয়্যার কেনার সামর্থ্য রাখে? আর ডেটার কী হবে? এই মডেলগুলো ট্রেইন করতে কী ডেটা ব্যবহার করা হয়েছে তা যদি আমরা না জানি, তবে আমরা কীভাবে নিশ্চিত হব যে সেগুলো পক্ষপাতদুষ্ট নয় বা কপিরাইট লঙ্ঘন করছে না? ওপেন সোর্স ইনিশিয়েটিভ এই স্ট্যান্ডার্ডগুলো নির্ধারণে কাজ করছে, কিন্তু ইন্ডাস্ট্রি পলিসির চেয়েও দ্রুত এগোচ্ছে। আমাদের এটাও ভাবতে হবে যে ‘ওপেন’ শব্দটি কি রেগুলেশন এড়ানোর ঢাল হিসেবে ব্যবহৃত হচ্ছে? মডেলগুলো ওপেন দাবি করে কোম্পানিগুলো হয়তো এর ব্যবহারের দায়ভার শেষ ব্যবহারকারীর ওপর চাপিয়ে দেওয়ার চেষ্টা করছে। এই প্রশ্নগুলোর উত্তর দেওয়া সহজ নয়, কিন্তু ইন্ডাস্ট্রির ভবিষ্যৎ বুঝতে চাইলে এগুলো অপরিহার্য।

লোকাল ইনফারেন্সের অন্দরমহল

যারা এই মডেলগুলোকে পেশাদার ওয়ার্কফ্লোতে যুক্ত করতে চান, তাদের জন্য টেকনিক্যাল ডিটেইলস গুরুত্বপূর্ণ। লোকালভাবে এই মডেলগুলো চালানোর সবচেয়ে সাধারণ উপায় হলো স্পেশালাইজড ফ্রেমওয়ার্ক ব্যবহার করা। এই টুলগুলো কোয়ান্টাইজেশন ব্যবহার করে মডেলের সাইজ কমিয়ে আনে, ফলে সেগুলো কনজিউমার GPU-এর VRAM-এ জায়গা করে নেয়। উদাহরণস্বরূপ, যে মডেলটির শুরুতে ৪০ জিবি মেমরি লাগত, তা গুণগত মান খুব একটা না কমিয়েই ৮ জিবিতে নামিয়ে আনা সম্ভব। এটি করা হয় ওয়েটগুলোর প্রিসিশন ১৬-বিট থেকে ৪-বিট বা তারও নিচে নামিয়ে। API-এর ক্ষেত্রে অনেক ওপেন মডেল Hugging Face বা Together AI-এর মতো প্রোভাইডারের মাধ্যমে পাওয়া যায়। এই সার্ভিসগুলো প্রোপাইটারি প্রোভাইডারের চেয়ে অনেক বেশি রেট লিমিট দেয়, যা হাই-ভলিউম অ্যাপ্লিকেশনের জন্য আদর্শ। তবে আসল শক্তি আসে লোকাল স্টোরেজ এবং ফাইন-টিউনিং থেকে। LoRA-এর মতো টেকনিক ব্যবহার করে আপনি একটি মাত্র GPU-তে কয়েক ঘণ্টার মধ্যে নিজের ডেটা দিয়ে একটি মডেল ট্রেইন করতে পারেন। এটি এমন একটি বিশেষায়িত টুল তৈরি করে যা নির্দিষ্ট কাজে অনেক বড় মডেলকেও হার মানায়। আপনাকে কনটেক্সট উইন্ডোর কথাও মাথায় রাখতে হবে। অনেক ওপেন মডেল এখন ৩২ হাজার বা এমনকি ১ লাখ ২৮ হাজার টোকেন সাপোর্ট করে, যা আপনাকে একসাথে পুরো ডকুমেন্ট প্রসেস করার সুযোগ দেয়। স্ট্যান্ডার্ডাইজড API-এর কল্যাণে বিদ্যমান সফটওয়্যারে এই মডেলগুলোর ইন্টিগ্রেশন সহজ হচ্ছে। এর মানে হলো আপনি প্রায়ই আপনার অ্যাপ্লিকেশনের কোডের মাত্র একটি লাইন পরিবর্তন করে ক্লোজড মডেল থেকে ওপেন মডেলে চলে যেতে পারেন। আমরা আশা করি এই টুলগুলো সাধারণ ডেভেলপারদের কাছে আরও সহজলভ্য হবে।

• ক্রস প্ল্যাটফর্ম CPU এবং GPU ইনফারেন্সের জন্য Llama.cpp
• সহজ লোকাল মডেল ম্যানেজমেন্টের জন্য Ollama

পছন্দের চূড়ান্ত রায়

ওপেন এবং ক্লোজড মডেলের মধ্যে পছন্দটি কোনো বাইনারি বিষয় নয়। বেশিরভাগ মানুষ দুটির মিশ্রণই ব্যবহার করবেন। Meta AI বা অন্যদের ক্লোজড মডেলগুলো সাধারণ কাজের জন্য সুবিধা, পালিশড অভিজ্ঞতা এবং স্টেট-অফ-দ্য-আর্ট পারফরম্যান্স দেয়। ওপেন মডেলগুলো দেয় নিয়ন্ত্রণ, প্রাইভেসি এবং বিশেষায়িত করার ক্ষমতা। আপনি নিজে কখনো কোনো মডেল ডাউনলোড না করলেও, অন্যরা তা করতে পারছে—এই বিষয়টিই পুরো ইন্ডাস্ট্রিকে স্বচ্ছ রাখে। এটি নিশ্চিত করে যে এআই কেবল কয়েকজনের গোপন সম্পদ না হয়ে সবার জন্য একটি টুল হিসেবে থাকবে। ওপেন কমিউনিটির মাধ্যমে চালিত এই প্রতিযোগিতাই আজ টেক দুনিয়ার সবচেয়ে শক্তিশালী ইতিবাচক শক্তি। এটি স্বচ্ছতা বজায় রাখতে বাধ্য করে এবং এ পর্যন্ত তৈরি হওয়া সবচেয়ে শক্তিশালী টুলগুলোর অ্যাক্সেসকে গণতান্ত্রিক করে তোলে।

আপনার কি কোনো এআই গল্প, টুল, প্রবণতা, বা প্রশ্ন আছে যা আপনার মনে হয় আমাদের কভার করা উচিত? আপনার প্রবন্ধের ধারণা আমাদের পাঠান — আমরা তা শুনতে আগ্রহী।

সম্পাদকের মন্তব্য: আমরা এই সাইটটি একটি বহুভাষিক এআই সংবাদ এবং নির্দেশিকা কেন্দ্র হিসাবে তৈরি করেছি তাদের জন্য যারা কম্পিউটার বিশেষজ্ঞ নন, কিন্তু তবুও কৃত্রিম বুদ্ধিমত্তা বুঝতে চান, এটিকে আরও আত্মবিশ্বাসের সাথে ব্যবহার করতে চান এবং যে ভবিষ্যত ইতিমধ্যেই আসছে, তা অনুসরণ করতে চান।

কোনো ত্রুটি বা সংশোধনের প্রয়োজন এমন কিছু খুঁজে পেয়েছেন? আমাদের জানান।