ఈ ఏడాది తెలివితేటలు చౌకయ్యాయి — విలువ మీరు దానితో నిర్మించేదానికి మారింది

యంత్ర తెలివితేటల ధర పన్నెండు నెలల్లో దాదాపు మూడొంతులు తగ్గింది. ఇది ఒక చిన్న విషయం కాదు. ఇది ఎవరు గెలుస్తారనేదాన్ని నిశ్శబ్దంగా తిరగరాస్తుంది.

లెక్కను మార్చిన సంఖ్య

ఆలోచించదగిన సంఖ్య ఇది: ఒక మిలియన్ టోకెన్ల సగటు ఖర్చు — AI మోడళ్ళు బిల్లు చేయబడే యూనిట్ — గత ఏడాదిలో సుమారు $10 నుండి $2.50 వరకు తగ్గింది. పన్నెండు నెలల్లో దాదాపు నాలుగు రెట్లు తగ్గుదల, ఒక మొత్తం పరిశ్రమ యొక్క ముఖ్య ఇన్‌పుట్‌పై.

ఇంత వేగంగా పడిపోయిన పోల్చదగిన ఇన్‌పుట్ ఖర్చును ఆలోచించడం కష్టం. విద్యుత్, ఉక్కు, లేదా బ్యాండ్‌విడ్త్ ధర ఒక ఏడాదిలో డెబ్బై ఐదు శాతం తగ్గితే ఊహించండి. పాత ధరకు అర్థం లేని వ్యాపార నమూనాలు కొత్త ధరకు అకస్మాత్తుగా లాభదాయకంగా మారతాయి. ఒక ప్రాథమిక ఖర్చు ఇంత తగ్గినప్పుడు, ఆసక్తికరమైన చర్య కొత్త ధరను ఉపయోగించుకోగలవారికి మారుతుంది — అది దానిని నిర్ణయించేవారు అరుదుగా.

నేను దీన్ని నేరుగా అనుభవించాను. పద్దెనిమిది నెలల క్రితం, ఫ్రాంటియర్ మోడల్‌ను లూప్‌లో పిలిచే ఏదైనా నిర్మించడం అంటే మీటర్‌ను చూస్తూ ప్రతి అభ్యర్థనను రేషన్ చేయడం. అదే లూప్ ఈ రోజు తక్కువ ఖర్చవుతుంది, నేను లెక్కించడం ఆపేశాను. ఆ మార్పు మీరు ఏమి ప్రయత్నించడానికి సిద్ధంగా ఉన్నారో మారుస్తుంది.

ధరను ఎవరు తగ్గించారు

తగ్గుదల ఒత్తిడి ఎక్కువగా ఆధిపత్య US ల్యాబ్‌లు పూర్తిగా నియంత్రించని దిశ నుండి వచ్చింది: చౌకైన, నిజంగా సమర్థవంతమైన ఓపెన్-వెయిట్ మోడళ్ళు, వాటిలో చాలా చైనా నుండి. డీప్‌సీక్, క్వెన్, కిమి వంటి పేర్లు కష్టమైన పనులపై పోటీపడే మోడళ్ళను విడుదల చేశాయి — చాలా తక్కువ ఖర్చుతో, మరియు మీరు డౌన్‌లోడ్ చేసి స్వయంగా నడపగల ఓపెన్ వెయిట్‌లతో. ఒక సమర్థ మోడల్ ఉచితంగా లభించి, నడపడానికి చౌకైనప్పుడు, అది ప్రతి చెల్లింపు APIకి ఒక కనిష్ట స్థాయిని నిర్ణయిస్తుంది.

జూన్‌లో, OpenAI తన టోకెన్ ధరలను బాగా తగ్గించడాన్ని పరిశీలిస్తోందని వ్యాపార పత్రికలు నివేదించాయి. ఇక్కడ ఒక నిజమైన ఉద్రిక్తత ఉంది: పబ్లిక్‌గా వెళ్ళడానికి సిద్ధమవుతున్న ల్యాబ్‌లే ధరలు తగ్గించడానికి ఒత్తిడిలో ఉన్నాయి, ధరలు తగ్గించడం పబ్లిక్-మార్కెట్ పెట్టుబడిదారులు పరిశీలించే మార్జిన్లను సరిగ్గా కుదిస్తుంది.

ఈ ల్యాబ్‌ల కోసం తిరుగుతున్న కంటిని మిరుమిట్లుగొలిపే వాల్యుయేషన్ సంఖ్యలు మూలాల మధ్య విపరీతంగా మారతాయి, వాటిని అనుమానంగా చూడాలి. ధృవీకరించదగిన కథ టోకెన్ల ధర, కంపెనీల ధర కాదు.

ఇప్పుడు రక్షణ ఎక్కడ ఉంది

ముడి తెలివితేటలు అరుదుగా మరియు ఖరీదుగా ఉన్నప్పుడు, ఉత్తమ మోడల్‌కు యాక్సెస్ నిజమైన ప్రయోజనం. కానీ సమర్థ తెలివితేటలు చౌకగా, డజను ప్రొవైడర్ల నుండి లభించినప్పుడు — మరింతగా ఉచితంగా డౌన్‌లోడ్ చేయదగినప్పుడు — మోడల్ యాక్సెస్ ఒక రక్షణ కాకుండా పోతుంది. ఇది విద్యుత్ లేదా క్లౌడ్ స్టోరేజ్ వంటి వస్తువు ఇన్‌పుట్‌గా మారుతుంది.

అయితే ప్రయోజనం ఎక్కడికి వెళ్తుంది? దిగువకు. ఎల్లప్పుడూ కష్టమైనవి, ఇంకా కష్టమైనవి: నిజంగా ఉపయోగకరమైన ఉత్పత్తి, యాజమాన్య డేటా, నిజమైన వినియోగదారులను చేరే పంపిణీ మార్గం, మరియు ఒక వ్యవస్థను విశ్వసనీయంగా చేసే ఇంజనీరింగ్. రక్షణ అప్లికేషన్, మోడల్ కాదు. మీరు ఒక ట్రిలియన్ డాలర్ ల్యాబ్ కాకుండా బిల్డర్ అయితే ఇది నిజంగా శుభవార్త.

మోడల్ మీ ల్యాప్‌టాప్‌లోకి వచ్చింది

సమర్థ మోడళ్ళు మరింతగా స్థానికంగా, మీ స్వంత యంత్రంలో, ఏ టోకెన్ ఫీజ్ లేకుండా నడపడానికి తగినంత చిన్నగా ఉంటున్నాయి. ఒల్లామా, llama.cpp, LM స్టూడియో, ఆపిల్ సిలికాన్‌పై MLX వంటి పరిపక్వ సాధనాలతో జతచేస్తే, ఉపయోగకరమైన అసిస్టెంట్‌ను పూర్తిగా ఆఫ్‌లైన్‌లో నడపడం ఆచరణాత్మకం. ప్రైవసీ, లేటెన్సీ, ఖర్చు, నియంత్రణ సౌలభ్యం ప్రేరకాలు.

స్థానిక మోడళ్ళు ఇంకా కష్టమైన తార్కికతలో వెనుకబడి ఉన్నాయి, కాబట్టి ఉద్భవిస్తున్న నమూనా హైబ్రిడ్: ఒక చిన్న స్థానిక మోడల్ సాధారణ, ప్రైవేట్ పనిని నిర్వహిస్తుంది, నిజంగా కష్టమైన సమస్యలను మాత్రమే ఫ్రాంటియర్ APIకి పంపుతుంది.

మీరు నేర్చుకునేదానికి దీని అర్థం ఏమిటి

విలువైన ఇంజనీరింగ్ నైపుణ్యం ఇకపై "ఉత్తమ మోడల్‌కు యాక్సెస్ పొందడం" కాదు. ఇది ఖర్చు-సమర్థవంతమైన వ్యవస్థలు నిర్మించడం: ఫలితాలను కాష్ చేయడం, సులభమైన అభ్యర్థనలను చౌక మోడల్‌కు, కష్టమైనవి ఫ్రాంటియర్ మోడల్‌కు రూట్ చేయడం, మరియు ధర-నాణ్యత నిష్పత్తిని ట్రాక్ చేయడం. ఓపెన్-వెయిట్ మోడల్‌ను ఫైన్-ట్యూన్ చేయడం ఇప్పుడు అత్యంత బదిలీ చేయదగిన నైపుణ్యాలలో ఒకటి.

నేను సూచించగల చౌకైన, అత్యధిక-రాబడి చర్య: ఈ వారం ఒల్లామా లేదా LM స్టూడియో ఇన్‌స్టాల్ చేసి, చిన్న మోడల్‌ను స్థానికంగా నడపండి. ఇది ఏమీ ఖర్చు కాదు, ఒక గంట చేయడం ఇన్‌ఫరెన్స్, క్వాంటైజేషన్ గురించి ఒక నెల చదవడం కంటే ఎక్కువ నేర్పుతుంది. ఇది ఆసక్తిగల పిల్లవాడికి సురక్షితమైన, ఉచిత శాండ్‌బాక్స్ కూడా.

ల్యాబ్‌లు ఫ్రాంటియర్‌లో పోరాడటం కొనసాగిస్తాయి. కానీ ఈ ఏడాది నిశ్శబ్ద సత్యం ఏమిటంటే ఫ్రాంటియర్ చాలా విలువ ఉన్న ప్రదేశంగా ఉండటం ఆపేంత చౌకగా మారింది. విలువ నిజమైన సమస్యకు దగ్గరగా ఉన్నవారికి మారింది.

తరచుగా అడిగే ప్రశ్నలు

మోడళ్ళు చౌకవుతుంటే, ల్యాబ్‌లకు ఇంత డబ్బు ఎందుకు అవసరం?

ఫ్రాంటియర్ మోడళ్ళకు శిక్షణ ఇవ్వడం అపారంగా మూలధన-తీవ్రమైనది — కంప్యూట్, డేటా, ప్రతిభ అన్నీ ముందుగా చాలా ఖర్చవుతాయి. టోకెన్‌కు మీరు చెల్లించే ధర తగ్గింది, కానీ దాని వెనుక ఉన్న మోడల్ నిర్మించే ఖర్చు అంత వేగంగా తగ్గలేదు.

చౌక ఇన్‌ఫరెన్స్ అంటే ఫ్రాంటియర్ మోడళ్ళకు చెల్లించడం ఆపాలా?

తప్పనిసరిగా కాదు — దీని అర్థం పనికి సాధనాన్ని సరిపోల్చడం. కష్టమైన తార్కికతకు, ఫ్రాంటియర్ మోడల్ ఇంకా దాని ధరను సంపాదిస్తుంది. సాధారణ పనికి, చౌక లేదా స్థానిక మోడల్ తరచుగా సరిపోతుంది.

ఓపెన్-వెయిట్ మోడళ్ళు నిజంగా పెద్ద చెల్లింపు మోడళ్ళతో పోటీపడతాయా?

చాలా పనులపై, అవును — నాణ్యత అంతరం సంవత్సరాల కంటే నెలలకు తగ్గింది, కోడింగ్ వంటి నిర్దిష్ట పనులపై కొన్ని ఓపెన్ మోడళ్ళు అగ్రశ్రేణిలో ఉన్నాయి. అవి ఇంకా అత్యంత కష్టమైన తార్కికతలో వెనుకబడి ఉన్నాయి.

మోడళ్ళను స్థానికంగా నడపడంలో సమస్య ఏమిటి?

స్థానిక మోడళ్ళు కొంత సామర్థ్యాన్ని నియంత్రణ కోసం వదులుకుంటాయి. అవి భారీ కంప్రెషన్ ద్వారా వినియోగదారు హార్డ్‌వేర్‌పై నడుస్తాయి, ఇది కొంత నాణ్యతను ఖర్చు చేస్తుంది. ప్రయోజనం ప్రైవసీ, సున్నా ఖర్చు, ఏ విక్రేతపై ఆధారపడకపోవడం.