Как правильно проанализировать данные?

Вопросы, связанные с химией вообще. Вы можете задать здесь свой вопрос, и мы постараемся на него ответить.
General chemical questions go here
Дмитрий Подкопаев
Сообщения: 193
Зарегистрирован: Вс авг 07, 2011 8:35 pm

Как правильно проанализировать данные?

Сообщение Дмитрий Подкопаев » Пн ноя 03, 2014 7:36 pm

Последнее время часто встречаюсь с такой проблемой:
Допустим мы ставим эксперимент-наблюдение за ходом реакции и отслеживаем накопление продукта реакции с течением времени.
1. Через определенные промежутки времени отбираем из реактора пробу и проводим количественный анализ продукта 1 раз. В ходе эксперимента мы сделали n отборов (анализов) и соответственно получили n значений концентраций. После всего решаем построить график и линию тренда (описать уравнением). Понятно, что точки не лягут идеально на кривую уравнения, какие то ниже, какие то выше. Фактически аппроксимирующая кривая усреднит значения и при очень большом количестве точек она максимально точно опишет процесс. При меньшем количестве точек, качество кривой будет ниже.
2.Через определенные промежутки времени отбираем из реактора пробу и проводим количественный анализ продукта k раз (повторностей). В ходе эксперимента мы сделали m отборов (анализов) при этом m<n и соответственно получили k*m значений концентраций. Из отдельных серий повторностей для отдельных временных точек находим средние значения. После всего решаем построить график и линию тренда (описать уравнением). Для построения кривой используем средние значения. Фактически аппроксимирующая кривая усреднит средние значения.

Возникает вопрос как делать лучше: брать меньше точек в динамике, но делать больше повторностей для нахождения лучшего среднего или лучше брать больше точек в динамике, но меньше повторностей? Есть ли какое то разумное соотношение точки динамики/повторности?

StYV
Сообщения: 3080
Зарегистрирован: Пн окт 24, 2005 11:43 pm

Re: Как правильно проанализировать данные?

Сообщение StYV » Пн ноя 03, 2014 8:33 pm

Эти проблемы в кинетике химических реакций решены, внимательно почитайте книги по этому вопросу. Не зная Вашу ситуацию сложно давать конкретные рекомендации.
С уважением StYV.

kika
Сообщения: 7031
Зарегистрирован: Ср окт 04, 2006 1:59 pm

Re: Как правильно проанализировать данные?

Сообщение kika » Пн ноя 03, 2014 11:02 pm

А я бы провела k экспериментов с n значениями в каждом эксперименте, построила бы k кривых и усереднила бы коэффициенты в аппроксимирующих кривых.
Вот интересно, было бы одно и тоже, если построить кривую по усредненным n?
Цель ведь какая? Приблизится к реальности. А сторон ведь много, с которых можно
приблизиться, хотя теория, может, и одна. :-)

stearan
Сообщения: 979
Зарегистрирован: Пт мар 02, 2007 4:21 pm

Re: Как правильно проанализировать данные?

Сообщение stearan » Вт ноя 04, 2014 2:05 am

StYV писал(а):Эти проблемы в кинетике химических реакций решены, внимательно почитайте книги по этому вопросу...
:up:
В первую очередь стоит попытаться выяснить, что на самом деле представляют собой Ваши данные: "чистая" кинетика, или результат наложения химической кинетики и эффектов гидравлики (структуры потоков), разного рода диффузионных сопротивлений итп. И потом подключить соответствующую теорию. Если дело настолько сложно, что детерминистический подход нереален или неоправдан, подключить статистику - там тоже своя теория есть.

Лекарь МС
Сообщения: 490
Зарегистрирован: Ср ноя 16, 2011 12:05 am

Re: Как правильно проанализировать данные?

Сообщение Лекарь МС » Вт ноя 04, 2014 2:51 am

Статобработка однозначно скажет, что отобранную пробу надо мерять не менее трёх раз, потом с помощью коэффициентов Стьюдента...
В итоге получится "тренд" с доверительным интервалом...
И так для каждого процесса.
Так что первый вариант не правильный.
Второй - только до половины. Дальше пошли какие-то фантазии
Когда же метода будет отработана, можно наверно и вообще не контролировать.
Контрольная проба и всё(если всё нормально).
sex, drinks and rock-n-roll
Festina lente.
1024 МегаПевта равны одному ГигаПевту, 1024 ГигаПевта равны 1 ТераПевту.

Дмитрий Подкопаев
Сообщения: 193
Зарегистрирован: Вс авг 07, 2011 8:35 pm

Re: Как правильно проанализировать данные?

Сообщение Дмитрий Подкопаев » Вт ноя 04, 2014 12:38 pm

Я привел кинетику в качестве примера,т.к. обычно с ней такая история чаще всего случается. На самом деле мне нужен универсальный статистический подход.
kika писал(а):А я бы провела k экспериментов с n значениями в каждом эксперименте, построила бы k кривых и усереднила бы коэффициенты в аппроксимирующих кривых.
Вот интересно, было бы одно и тоже, если построить кривую по усредненным n?
Цель ведь какая? Приблизится к реальности. А сторон ведь много, с которых можно
приблизиться, хотя теория, может, и одна. :-)
Нечто подобное делают программы обработки спектральных данных для снижения шума. В этом случае шум снижается в корень раз от количества экспериментов. Т.е. 9 кривых сняли, объединили, шум снизился в 3 раза,т.е. получили усредненный график с меньшим разбросом. Может действительно этот путь правильный?

Аватара пользователя
зыркало1
Сообщения: 10665
Зарегистрирован: Пт окт 02, 2009 6:56 pm

Re: Как правильно проанализировать данные?

Сообщение зыркало1 » Вт ноя 04, 2014 1:54 pm

Как кинетик рекомендую прислушаться к Лекарю МС... Но отбирала одну пробу и делала 5 параллнльных анализа и весь массив подвергала статобработке...
Нужно ли спасать Рим, если из тебя всё равно сделают шкварки...

Дмитрий Подкопаев
Сообщения: 193
Зарегистрирован: Вс авг 07, 2011 8:35 pm

Re: Как правильно проанализировать данные?

Сообщение Дмитрий Подкопаев » Вт ноя 04, 2014 5:15 pm

Еще одно: Если строить регрессию с помощью стандартного пакета анализа данных в Экселе,то вводятся обычно входной интервал Y и входной интервал X. Y - один столбец (т.к. результативный признак) и Х - можно много столбцов,т.к. перебираются факторы. При этом в качестве значений вводятся или единожды полученные или средние, т.е. если я правильно понял,то нельзя ввести 3 и более значения X для одного фактора, чтобы программа сама посчитала среднее. При это после нажатия ОК, прога сама считает дисперсию по отклонению экспериментальных данных от рассчитанной кривой и сама выводит значения коэффициентов для нижних и верхних 95%. Таким образом, не требуется вводить весь массив данных, а только одно значение для точки и все равно получаем Стьюдента и всю статистику. Или данный подход неприменим для решения подобных задач?

Лекарь МС
Сообщения: 490
Зарегистрирован: Ср ноя 16, 2011 12:05 am

Re: Как правильно проанализировать данные?

Сообщение Лекарь МС » Ср ноя 05, 2014 12:25 am

Дмитрий Подкопаев, а вы вообще статобработку знаете?
Судя по вашим вопросам - нет.
Может стоит изучить?
Так как делать что-то, не зная этого самого "что-то", просто пустая трата времени.
Регрессия-прогрессия.
Мы делаем вам курсовую работу? По изучению и применению Экселя?
sex, drinks and rock-n-roll
Festina lente.
1024 МегаПевта равны одному ГигаПевту, 1024 ГигаПевта равны 1 ТераПевту.

Аватара пользователя
Гесс
Сообщения: 13053
Зарегистрирован: Ср фев 15, 2012 11:19 pm

Re: Как правильно проанализировать данные?

Сообщение Гесс » Ср ноя 05, 2014 2:12 am

Лекарь МС,
А может стоит все же повежливее?
Судя по постам в других темах ТС разбирается в том чем занимается. Задал достаточно конкретный вопрос. В вашем последнем посте информации полезной ТС или кому либо интерсующемуся темой 0.0
Если вы считаете что ответ слишком обьемен и очевиден из некоей литературы - посоветуйте книгу, а самоутверждаться высмеивая незнание/неумение других - это в худших школьных традициях. :down:

Лекарь МС
Сообщения: 490
Зарегистрирован: Ср ноя 16, 2011 12:05 am

Re: Как правильно проанализировать данные?

Сообщение Лекарь МС » Ср ноя 05, 2014 3:10 am

Гесс, я не буду мониторить все темы, где участвовал ТС.
Начну с того, что статобработку должны изучать на первом курсе.
Наверно даже в первом семестре.
То есть до "сейчас", "сейчас" и от "сейчас" и до Нового года.
Потом сессия, но без сданных лабораторок на сессию не допустят.
А на лабораторках обязаны делать статобработку лабораторной работы. Каждую лабораторку!!!
Или у вас не так было?
Может у вас "шара" была?
Теперь представим, КАК ТС-у могут дать изучать Эксель, а конкретно статобработку в применении к Экселю, если не вычитан курс?
Значит курс вычитан. Значит перед нами как минимум второкурсник!
Но как-то странно у него с статобработкой... Почему?
А как он обсчитывает лабы?
Так что в моём "пустом" посте 100% полезной информации - изучить статобработку!!!
Пропустил/прогулял/проигнорировал - возьми конспект у сокурсников/сокурсниц.
Изучи, освой.
Я могу дать список литературы. Но зачем?
Преподаватель даёт список литературы, а там тоже есть ссылки на другую литературу.
Можно так зачитаться...
Литература возможно есть в факультетской библиотеке.
Если второкурсник, в ЦНБ его не пустят. Да и город у него наверно немного другой, чем у нас с вами.
А если честно - я дал ему все ответы и все подсказки.
Иными словами - нормальный пинок в нормальном направлении.
Грамотный поймет и оценит, среднеграмотному поможет, а остальным и не нужно будет.
Сори за прямолинейность.
Но вот употребление/склонение Стьюдента как-то наводит на мысли...
Таким образом, не требуется вводить весь массив данных, а только одно значение для точки и все равно получаем Стьюдента и всю статистику
Есть такое?
Или дать список литературы по статобработке?
sex, drinks and rock-n-roll
Festina lente.
1024 МегаПевта равны одному ГигаПевту, 1024 ГигаПевта равны 1 ТераПевту.

Дмитрий Подкопаев
Сообщения: 193
Зарегистрирован: Вс авг 07, 2011 8:35 pm

Re: Как правильно проанализировать данные?

Сообщение Дмитрий Подкопаев » Ср ноя 05, 2014 12:06 pm

Лекарь МС писал(а): Или дать список литературы по статобработке?
В действительности я давно уже не школьник и даже не студент. И перед тем как создавать эту тему внимательно ознакомился с лекциями по мат.статистике и учебниками по аналитической химии. Ответа в них я не нашел. Именно поэтому и создал тему здесь. Возможно у нас были разные лекции и Ваших лекциях конкретно этот вопрос рассмотрен подробно. Буду очень признателен, если Вы не будете заниматься анализом моей личности в духе "битвы экстрасенсов", а ответите по существу на вопрос: "как делать лучше: брать меньше точек в динамике, но делать больше повторностей для нахождения лучшего среднего или лучше брать больше точек в динамике, но меньше повторностей? Есть ли какое то разумное соотношение точки динамики/повторности?" или дадите конкретную ссылку где данный вопрос рассмотрен подробно. Не занимайтесь оффтопом.

Лекарь МС
Сообщения: 490
Зарегистрирован: Ср ноя 16, 2011 12:05 am

Re: Как правильно проанализировать данные?

Сообщение Лекарь МС » Ср ноя 05, 2014 2:00 pm

Лекции лекциями, но они понимаются и закрепляются на лабораторных работах.
Ответ на ваш вопрос никто не даст.
Количество измерений отобранной вами пробы зависит от необходимой точности.
При условии, что измерители обеспечивают необходимую точность.
То есть точность измерителей должна быть выше необходимой вам точности.
Потом - вы ведь пытаетесь что-то поймать/найти?
Самое простое - делить время процесса пополам.
Есть изменения - предыдущий отрезок времени делите пополам и измеряете.
Если нет изменений - последующий отрезок делите пополам и измеряете.
И так находите то, что вам нужно.
Потом подбираете промежуток времени между отборами пробы и измеряете с необходимой вам точностью.
Процесс монотонный или с экстремумом/экстремумами?
sex, drinks and rock-n-roll
Festina lente.
1024 МегаПевта равны одному ГигаПевту, 1024 ГигаПевта равны 1 ТераПевту.

mendel
Сообщения: 1615
Зарегистрирован: Пт фев 06, 2009 11:42 am

Re: Как правильно проанализировать данные?

Сообщение mendel » Ср ноя 05, 2014 7:41 pm

2 Дмитрий Подкопаев
Для изучения зависимости предпочтительнее получить максимально возможное число данных в динамике. Во-первых, при проведении корреляции уже происходит своего рода усреднение (при Δt->0, Ваша ситуация 2) и расчет доверительных интервалов коэффициентов. Во-вторых, уменьшение количества точек не добавит знаний, хотя и увеличит коэффициент корреляции (согласитесь, если Вы максимально точно определите мат.ожидание концентрации в начале процесса и конце, это не добавит понимания кинетики).

Если Вас так заботит статистическая достоверность получаемых данных, я бы выбрал следующий подход:
1. Определить среднеквадратичное отклонение для результатов, полученых по Вашей методике. Для этого сделать максимально возможное определение концентраций при различных концентрациях (Ваша ситуация 2) и статистически оценить равенство дисперсий для этих определений. Полученая общая дисперсия позволить определить доверительный интервал каждой точки кинетических данных полученых позднее.
2. Провести максимально возможное количество паралельных экспериментов с максимально возможным количеством точек (Ваша ситуация 1). Равенство коэффициентов, так же оценить статистически.

kika
Сообщения: 7031
Зарегистрирован: Ср окт 04, 2006 1:59 pm

Re: Как правильно проанализировать данные?

Сообщение kika » Ср ноя 05, 2014 9:26 pm

А нельзя сделать так, посчитать регрессии по двум вариантам, как предложил ТС в начале темы,
а потом проверить на десяти экспериментах. И "победит" потом та регрессия, которая подойдет
для большего числа экспериментов. Ну и соответственно "победит" подход. :-)

VTur
Сообщения: 7357
Зарегистрирован: Пт авг 31, 2007 1:36 pm

Re: Как правильно проанализировать данные?

Сообщение VTur » Ср ноя 05, 2014 9:36 pm

А если они случайно совпали?
Нужно проверять гипотезы
После отстоя требуйте долива

kika
Сообщения: 7031
Зарегистрирован: Ср окт 04, 2006 1:59 pm

Re: Как правильно проанализировать данные?

Сообщение kika » Ср ноя 05, 2014 10:23 pm

Эх, в таких случаях хочется поспорить ... на шоколадку, что не сопадут. :-)

Дмитрий Подкопаев
Сообщения: 193
Зарегистрирован: Вс авг 07, 2011 8:35 pm

Re: Как правильно проанализировать данные?

Сообщение Дмитрий Подкопаев » Вс ноя 09, 2014 2:35 pm

А можно ли использовать следующий подход:

Снять динамику процесса проведя одно измерение для 80% временных точек, а остальные равномерно распределенные по времени 20% сделать в нескольких повторностях? Таким образом, регрессия будет на 80% построена на данных одного измерения, а оставшиеся 20% можно будет использовать для оценки изменения СКО в ходе процесса.

Лекарь МС
Сообщения: 490
Зарегистрирован: Ср ноя 16, 2011 12:05 am

Re: Как правильно проанализировать данные?

Сообщение Лекарь МС » Вс ноя 09, 2014 5:52 pm

Дмитрий Подкопаев, ещё раз повторяю.
Любую отобранную пробу на протяжении всего процесса вы должны измерять не менее трёх раз.
То есть, если вы отобрали на анализ 10 проб, у вас должно быть не менее 30 измерений(3*10)
В варианте зыркало - она измеряла бы 50 раз.
Для каждого отбора после получения результатов трёх и более измерений проводится статобработка ТОЛЬКО ЭТОГО ОТБОРА ПРОБЫ(только этих трёх и более измерений).
Для этого отбора вычисляется СКО.
Когда именно и как вы будете измерять - это ваши проблемы.
Между отборами, или потом, после окончания процесса.
Это ваша специфика.

По результатам измерений вы строите график, представляющий из себя 10 отборов проб по оси абсцисс и 10 соответствующих им отрезков СКО по оси ординат.
Если использовать интерполяцию, то можно нарисовать зону вероятного протекания процесса на основе ваших измерений.
Есть ещё метод экстраполяции.
Что именно вы хотите применить?
sex, drinks and rock-n-roll
Festina lente.
1024 МегаПевта равны одному ГигаПевту, 1024 ГигаПевта равны 1 ТераПевту.

Дмитрий Подкопаев
Сообщения: 193
Зарегистрирован: Вс авг 07, 2011 8:35 pm

Re: Как правильно проанализировать данные?

Сообщение Дмитрий Подкопаев » Вс ноя 09, 2014 9:08 pm

В общем порывшись в литературе нашел следующее:

В книге "Количественные методы в масс-спектрометрии" И.Лаваньини и др. Техносфера 2008 г. написано следующее:калибровочную кривую можно строить как по случаю единичного измерения (уравнение 4.8 ), по случаю нескольких измерений (4.9) и при большом количестве измерений (4.10). При этом линия регрессии будет примерно одинаковой, а вот доверительная полоса линии регрессии - разной. Т.е. при большом количестве единичных измерений мы получим достаточно хорошо описывающую процесс кривую, но +- будет достаточно большим. Таким образом, меняя соотношение точки динамики/повторности мы меняем соотношение коэффициент корреляции/разброс (+-). Я привел в качестве примера линейную регрессию, в книге описана и нелинейная с теми же выводами. Кроме того написано, что если в результате эксперимента выяснится что дисперсии для разных временных точек не равны, то для построения кривой лучше использовать не метод наименьших квадратов (МНК), а метод взвешенных наименьших квадратов (ВНК).
графики.JPG
У вас нет необходимых прав для просмотра вложений в этом сообщении.
Последний раз редактировалось Дмитрий Подкопаев Вс ноя 09, 2014 9:23 pm, всего редактировалось 1 раз.

Ответить

Вернуться в «общехимические вопросы / general chemical issues»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 8 гостей