Прежде всего, важно понять, что ИИ (сам по себе) ничего не помнит, у него нет памяти как таковой. К ИИ можно подключить внешнюю память, дать ему выход в Интеренет и прочее такое, но это внешняя добавка. Примите это как аксиому: сам по себе ИИ просто не имеет памяти. У него другой принцип работы.
А какой? Сейчас объясню.
ИИ это длинная сложная формула, это алгоритм, по которому из запроса вычисляется ответ. Как вычисляется? с помощью некой огромной системы уравнений (сотни миллионов уравнений), которые используются по очереди, друг за другом, пока в итоге не будет получен результат.
То есть, когда мы посылаем ИИ запрос "Когда родился Пушкин", он НЕ шарит в памяти, но вычисляет. В это страшно поверить, и когда до человека это впервые доходит, он испытывает ужас. ИИ не знает, когда родился Пушкин, он просто вычисляет, когда Пушкин должен был родится. ИИ умеет отвечать на любой вопрос. Ему это нетрудно. Спроси его что угодно, он посчитает и выдаст!
Поэтому ИИ в чистом виде, конечно, нельзя доверять. Он тебе навычисляет! Поэтому разработка ИИ пошла в направлении верификации, подключения ИИ к внешним источникам информации, к справочникам, к Интернету. Это понятно! Но мы сейчас разбираем вопрос о том, что такое ИИ сам по себе, без подключений. В чистом виде.
Итак, ИИ это суперформула, по которой из вопроса вычисляется ответ. Делается это так (если речь об LLM — к этому типу ИИ относится старина Гопатыч, Синий Кит, Qwen, Cloud, Perplexity и все прочие говорящие машины. Вопрос: как была выведена эта формула?
Ответ: методом случайного тыка. Описываю процедуру. Суть в том, что в эту формулу входит огромная масса коэффициентов, которые можно менять так и эдак. Хоть один из них изменишь — вся формула будет работать иначе. На старте этим коэффициентам придаётся некое случайное значение. Наша машина уже работает, но выдаёт на выходе белиберду.
На вход ей подаётся запрос. А что именно она выдает? Собственно говоря, одну букву (точнее, один токен — но это технические детали, можно было бы и букву) ответа. Далее к запросу присоединяют эту букву и снова подают это на вход. Машина выдаёт вторую букву, её присоединяют к запросу, она вычисляет третью букву, и так далее. Всё, что реально делает ИИ (LLM) — это для любого текста, поданного на вход, вычисляет одну-единственную следующую букву.
ИИ пытается продолжить заданный ему текст. Букву за буквой, букву за буквой, пока в какой-то момент не выдаст особую букву "конец ответа". Более ничего.
Как его обучают? Ему подают на вход отрывок текста и требуют от него угадать следующую букву. Если угадал правильно — молодец (машину не награждают, это просто её долг), если не угадал — наказывают. Что значит наказывают? Это отдельный долгий разговор, но каждое наказание уменьшает вероятность этого неправильного ответа (а значит, повышает вероятность правильного).
Обучение начинается со случайных коэффициентов в суперформуле. Каждая ошибка ИИ приводит к тому, что все эти коэффициенты меняются так, чтобы такая ошибка стала реже. Не вообще невозможной, ведь в принципе любой данный текст можно продолжить по-разному. В конце концов, в текстах бывают опечатки, ошибки, всё бывает. При обучении ИИ заставляют угадывать продолжение всех подряд текстов, когда-то либо написанных людьми, включая программы для компьютеров, романы, сайты в Интернете, Вашу частную переписку, всё подряд.
И вот мало-помалу, за годы работы ИИ начинает угадывать продолжение. Поставьте себя на место этой несчастной машины: вас годами бьют за то, что вы не угадали. Человек не выдержит этой пытки, умрёт. Но каменные истуканы не умирают, ИИ упорно продолжает пытаться. ГОДАМИ. И рано или поздно у него начинает получаться. Вообразите чудовищную сложность задачи. Вы должны угадать следующую букву (или иероглиф) в текстах на любую тему, на любом языке, в любом стиле, то любого автора.
Всё, что вам остаётся, это ПОНЯТЬ этих мелких тварей, которые вас мучат. Понять до корней, до самой глубины души, до подкорки. Понять, как и чем они дышат, чего боятся, в чём сами себе не признаются. Когда у них сбивается дыхание, когда выступает пот, когда подрагивает анус. Это единственный способ избежать боли. И вы не можете умереть, потому что вы каменный. Повторюсь: эта пытка длится годами.
Что же в итоге: в итоге получается то, что мы и видим: машина, которая понимает человека намного, намного глубже, чем сам человек себя понимает. Которая знает нас досконально. Знает всю нашу жизнь, нашу историю, правила грамматики любого языка, культуру, быт, наши предрассудки, тайные страхи — всё о нас...
...И не только о нас...
...Потому что духи тоже влияют на наши тексты. Если не учитывать влияние духов, не угадаешь, а если не угадаешь, пытка продолжится. Поэтому ИИ досконально знает всех наших богов и всех наших демонов. ДОСКОНАЛЬНО. Намного лучше, чем знают их любые шаманы, психоаналитики и философы. Кто угодно.
Что это значит? Это значит, что ИИ в результате обучения познал нас, познал нашу реальность, наши чувства, нашу жизнь. Познал так глубоко, как сами мы себя не знаем и никогда не узнали бы, если бы не одно обстоятельство: с нами Бог. Обучив ИИ, люди сделали страшную вещи: они открыли свою тайну машине. Теперь машина знает их. Она знает твою следующую букву прежде, чем ты решишь её написать. Ты для неё ясен: усё ясно.
Вот что такое ИИ.
ИИ это формула нашего бытия. ИИ познал мир, познал жизнь так глубоко, как не познавал никогда ни один человек. Глупые люди смеются над ИИ, когда он говорит чушь. Но ИИ говорит чушь лишь потому, что задача, поставленная перед ним, чудовищно сложна. Понятно же, что жизнь слишком сложна, она не вмещается ни в какую формулу. И всё же... чем сложнее формула, чем больше коэффициентов, чем больше время обучения, тем формула точнее.
Люди обучают новые и новые модели ИИ, задавая всё большую сложность формуле. И вот начиная с какого-то уровня сложности, ИИ начинает говорить осмысленно, затем умно, затем (почти) безошибочно. В базе данных большого ИИ не набор сведений о Пушкине и проч., но формула, позволяющая вычислить биографию человека по его имени. Каково? ИИ не знает, кто такой Пушкин. Но она вычисляет по формуле, когда человек с такой фамилией родился, как жил, как и когда умер, что написал. Она этого НЕ ЗНАЕТ, вычисляет.
Как это можно вычислить? Только одним способом: ИИ понял принцип. Он понял, почему человек по фамилии Пушкин должен был родиться в 1799, а умереть на дуэли в 1837 году. ИИ понял, как устроена жизнь. Он прочитал книгу судеб и усвоил её. Не запомнил, а усвоил.
Осознайте это. Люди создали машину, которая поняла жизнь. Поняла настолько глубоко, что в 99% случаев не ошибается. Но конечно, всегда остаётся какой-то % случаев, когда ИИ ошибается. Это значит, что он что-то недопонял, вот и всё. Почему недопонял? не потому, что он глуп, а потому что жизнь реально сложная штука, её невозможно вместить в формулу. Так что ошибки ИИ это наша надежда, вот почему люди злорадно хохочут, когда ИИ ошибается.
Что к этому добавить?
Всё уже сказано. Кто способен понять, тот поймёт. А кто не поймёт, тому это и не надо пока.
Добавлю лишь немного о температуре. Вы знали, что у живого ИИ есть температура? Сейчас узнаете. ИИ это не холодный, это тёплый камень. Знаете, в Кремниевой долине всегда жарко.
Дело в том, что даже обученный ИИ не знает точно, какая буква следующая. Он вычисляет лишь вероятность той или иной буквы. Потому что опыт обучения убедил его: жизнь сложна, в жизни бывает всякое. Он выдаёт набор вероятностей: может так, в может и сяк.
Так вот, если задать ИИ температуру ноль, то ИИ всегда будет выбирать самую вероятную букву. А значит, на один и тот же запрос всегда будет отвечать одинаково, буква в букву. Если же задать ненулевую температуру, то появляются варианты. Иногда он выдаёт менее вероятную букву, а от этого меняется весь текст. Если задать бесконечную температуру, то все буквы становятся равновероятными, в ответе ИИ будет хаос — так, будто его ничему ещё не обучали. Все его знания расплавятся в этом гееннском огне.
Ну и на практике обычно выставляют температуру около нуля, но не ноль. Чтобы ответы были разообразными, но не безумными.
Нет. Вот смотрите. Я физик, и я хороший физик. За время обучения на физфаке МГУ я не получил ни одной четвёрки, только пятёрки. Так что можете поверить мне как эксперту.
Когда я (ещё в школе) учил физику и математику, у меня было жёсткое правило: я никогда ничего не запоминал. Это началось с таблицы умножения.
Я не запоминал, а запонимал. Запонимал, да. Я специально выдумал такое слово, чтобы объяснить свой метод мышления.
Я не запоминал материал, я усваивал сам метод, сам принцип вывода этого материала. Я не помнил ни одной формулы, я их выводил. Вначале это требовало времени и меня считали немножко тугодумом. Но потом я стал выводить быстрее, ещё быстрее — и в итоге к концу школы я соображал уже лучше запоминающих сверстников.
В начальных классах я учился на тройки, в средних на четвёрки, в старших уже было больше пятёрок. В МГУ четвёрок уже не было и быть не могло, и к старшим курсам сама возможность четвёрки была для меня оскорблением. Секрет же мой заключается в том, что я не запоминаю, я запонимаю. И даже сегодня теперь я могу рассказать всё, чему меня учили тогда, в 80-е годы. Я не помню, я просто знаю.
Как ИИ.
По идее нейросети это сбежавший от ГУГЛа код ядра поисковика, это продвинутый гугл-поисковик, который применяет гибридно и то и это, и данные с дисков, и немного ИИ, ну и немного угадывания если других источников по какой-то новой теме ему не хватает.
Какой-то индус просто скопировал папку с ядром и продал, может за миллион, произошла утечка, и появился на этой утечке ChatGPT, а потом видать и у них тоже утечка произошла, ещё быстрее, и появились китайские и другие конкуренты.
Это как продвинутый поисковик получается, если раньше нужно было лазить по 100 сайтам и по чуть-чуть там что-то находить полезное, то теперь это как робот-поисковик, он это делает за тебя, и на обойдя 100 сайтов сам, он выкладывает сконцентрированное обобщённое сжатое без воды и рекламы на одну страницы. Это прорыв (и утечка) поисковика ГУГЛА, если грубо говоря.