<html><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><div class="">Hi Martina,</div><div class=""><br class=""></div><div class="">once again, thank you very much. This helps a lot. </div><div class=""><br class=""></div><div class="">Just to make sure I got your suggestions for the bimodal patterns right: When I run the GOF simulations and generate a density/distribution plot for these simulations just like the ones for convergence analysis, the model probably is degenerate if I a also see a u-shaped pattern in these plots? If I see a different pattern (e.g. a sawtooth pattern with high probability for medium values), things should be fine? I indeed observe both types of patterns for different networks.</div><div class=""><br class=""></div><div class="">Thank you,</div><div class="">Best,</div><div class="">David</div><div class="">
<div style="color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""><br class="Apple-interchange-newline"><br class=""></div><div style="color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class="">-- <br class="">David Kretschmer<br class="">Universität Mannheim</div><div style="color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class="">Mannheimer Zentrum für Europäische Sozialforschung (MZES)<br class="">A5, 6<br class="">68159 Mannheim<br class="">Tel.: +49-621-181-2024</div>
</div>
<div style=""><br class=""><blockquote type="cite" class=""><div class="">On 2. Oct 2020, at 20:31, martina morris <<a href="mailto:morrism@uw.edu" class="">morrism@uw.edu</a>> wrote:</div><br class="Apple-interchange-newline"><div class=""><div class="">On Fri, 2 Oct 2020, David Kretschmer wrote:<br class=""><br class=""><br class=""><blockquote type="cite" class="">thank you very much for the extremely helpful reply! I wasn’t aware of the fact that the distribution/density plots do<br class="">not bear significance for convergence but only for inference, but what you described makes perfect sense. Given that<br class="">parameter estimates (and standard errors) in my analysis are fed into a meta-regression model rather than used for<br class="">network-level inference, I suppose that this is less of a problem for my setup.<br class=""></blockquote><br class="">the one caveat for this is that if the MCMC netstat distribution plots are<br class="">bimodal, which should also be seen in the traceplots as jumps between high<br class="">and low values of the stats, this is not ideal.  more below at your q2<br class=""><br class=""><blockquote type="cite" class="">I do have two brief follow-up questions and would be very grateful if you could provide some insight on these too:<br class="">1. Regarding the “fuzzy caterpillar”: Given the few observations for the network statistics, the Markov Chain frequently<br class="">only jumps between a very small number of discrete values (say deviations from the observed value of -1, 0, 1, and 2).<br class="">Therefore, the chain frequently does not look like a fuzzy caterpillar. However, I suppose that this also is a direct<br class="">consequence of the low observed number for the network statistic and not an indicator of bad convergence? I suppose that<br class="">the criterion for MCMC convergence that the chain explores the parameter space then is still fulfilled, but that the<br class="">parameter space just is much smaller in these situations?<br class=""></blockquote><br class="">yes.  it just means the fuzz doesn't extend far from the deviation = 0 reference line.  you can increase the MCMC.interval and MCMC.sample to 1e5 and see if the correlation is reduced, but the range probably won't change.<br class=""><br class=""><blockquote type="cite" class="">2. In some cases, the chains only alternate between deviations from the observed statistic of -1 and 1, and either never<br class="">or only infrequently take on a deviation of 0. (In the density/distribution plot, this is reflected in a u-shaped<br class="">distribution, with low density at a value of 0 and high density at -1 and 1). Do you have any idea for why this pattern<br class="">occurs and what this means for convergence?<br class=""></blockquote><br class=""><br class="">bimodal distributions are one dx for model degeneracy -- and they imply model misspecification. the model is reproducing the mean values of the sufficient statistics (the netstats) by averaging over values that are too high, and too low (see <a href="https://csss.uw.edu/research/working-papers/assessing-degeneracy-statistical-models-social-networks" class="">https://csss.uw.edu/research/working-papers/assessing-degeneracy-statistical-models-social-networks</a>)<br class=""><br class="">if the deviation values bounce back and forth between 1 and -1, you're not<br class="">in the classic degeneracy situation where the counts are way off in both<br class="">directions, so the question is really what happens when you simulate from<br class="">the fitted model.  normally, that should be assessed with the GOF plots,<br class="">not the MCMC plots, and in particular gof ~ model (by default, this is one<br class="">of the plots output from that function).  but the boxplots in that routine<br class="">would obscure a persistent bimodal pattern.  with your small network, i'd<br class="">suggest visual inspection of the networks produced by the simulation, to<br class="">see if they look markedly different than your observed net.<br class=""><br class=""><blockquote type="cite" class="">Thank you,<br class="">Best<br class="">David<br class="">-- <br class="">David Kretschmer<br class="">Universität Mannheim<br class="">Mannheimer Zentrum für Europäische Sozialforschung (MZES)<br class="">A5, 6<br class="">68159 Mannheim<br class="">Tel.: +49-621-181-2024<br class=""><br class="">      On 2. Oct 2020, at 19:22, martina morris <<a href="mailto:morrism@uw.edu" class="">morrism@uw.edu</a>> wrote:<br class="">Hi David,<br class="">There are two dx issues here:  convergence and statistical inference.  The MCMC plots give some insight into both.<br class="">Statistical inference:<br class="">The principles here are similar to traditional statistical inference -- if you have a small number of observations<br class="">(esp. for subgroups), the sampling distributions of your statistics may not approximate a symmetric or normal<br class="">distribution.  This is exacerbated by the lower bound at 0.<br class="">The MCMC distribution plots (on the right side of the MCMC dx plot layout) are essentially showing the sampling<br class="">distribution of the stats under the model. Asymmetries here suggest the statistical inference may be compromised.<br class=""> For small nets, you'll often see sawtooth shaped MCMC dx plots.  That is also a function of discrete, integer<br class="">valued stats that only vary over a small range.  Not inherently a problem for statistical inference.<br class="">Convergence:<br class="">Convergence is best assessed using the MCMC traceplots on the left hand side of the plot layout.  There, you're<br class="">looking for a "fuzzy caterpillar". What you don't want to see is a plot that trends up or down, or one that has<br class="">strong serial correlation in the estimates (some modest correlation is not a problem).<br class="">HTH,<br class="">Martina<br class="">On Fri, 2 Oct 2020, David Kretschmer wrote:<br class=""><br class="">      Dear all,<br class="">      I estimate models on relatively small networks (about 20-30 nodes), including dyadic covariates with<br class="">      limited information,<br class="">      e.g. with only one or two actual tie observations for the dyadic covariate in some of the networks.<br class="">      I wonder about convergence analysis in this setup, in particular when considering density plots.<br class="">      The values for the network statistics related to the dyadic covariate produced during ERGM estimation<br class="">      have to be zero or<br class="">      positive; they cannot be negative. Because the number of tie observations in the empirical network is<br class="">      so low (only one or<br class="">      two instances), the deviations from these observations shown in the convergence analysis very<br class="">      frequently cannot  produce<br class="">      symmetrical density plots: Because the number predicted in the ERGM estimation is constrained to be<br class="">      zero or higher, the<br class="">      deviations are also constrained in one direction. This is also what I observe when looking at density<br class="">      plots for these<br class="">      networks.<br class="">      What I would like to know is what this implies *substantively* for the analysis of these networks:<br class="">      Should criteria for<br class="">      convergence be relaxed in such settings, i.e., is it also fine for the density plots to be asymmetric?<br class="">      Or does this<br class="">      simply mean that results from these networks should not be interpreted at all?<br class="">      Any help would be greatly appreciated.<br class="">      Best,<br class="">      David<br class="">      --<br class="">      David Kretschmer<br class="">      Universität Mannheim<br class="">      Mannheimer Zentrum für Europäische Sozialforschung (MZES)<br class="">      A5, 6<br class="">      68159 Mannheim<br class="">      Tel.: +49-621-181-2024<br class="">****************************************************************<br class="">Professor Emerita of Sociology and Statistics<br class="">Box 354322<br class="">University of Washington<br class="">Seattle, WA 98195-4322<br class="">Office:        (206) 685-3402<br class="">Dept Office:   (206) 543-5882, 543-7237<br class="">Fax:           (206) 685-7419<br class=""><a href="mailto:morrism@u.washington.edu" class="">morrism@u.washington.edu</a><br class="">http://faculty.washington.edu/morrism/<br class=""><br class=""></blockquote><br class="">****************************************************************<br class=""> Professor Emerita of Sociology and Statistics<br class=""> Box 354322<br class=""> University of Washington<br class=""> Seattle, WA 98195-4322<br class=""><br class=""> Office:        (206) 685-3402<br class=""> Dept Office:   (206) 543-5882, 543-7237<br class=""> Fax:           (206) 685-7419<br class=""><br class=""><a href="mailto:morrism@u.washington.edu" class="">morrism@u.washington.edu</a><br class="">http://faculty.washington.edu/morrism/</div></div></blockquote></div><br class=""></body></html>